OpenAI mở rộng hệ thống lưu trữ để phục vụ hơn 1 tỷ người dùng ChatGPT
OpenAI mô tả cách họ mở rộng Habitat, hệ thống lưu trữ trực tuyến của mình, để phục vụ ChatGPT với hơn 1 tỷ người dùng. Hệ thống sử dụng multi-tenancy đáng tin cậy, tức nhiều khách hàng hoặc tác vụ có thể dùng chung hạ tầng nhưng vẫn được tách biệt, cùng bộ nhớ đệm toàn cầu để cung cấp dữ liệu thường xuyên được yêu cầu ở gần người dùng hơn. OpenAI cho biết những thay đổi này, kết hợp với Azure Cosmos DB, đã giúp tốc độ đọc nhanh hơn 12 lần. Công việc này quan trọng vì hệ thống lưu trữ nhanh và ổn định là nền tảng để duy trì khả năng phản hồi của một dịch vụ AI có lượng người dùng rất lớn.
Bài viết đáng chú ý với các nhà phát triển và doanh nghiệp xây dựng ứng dụng AI quy mô lớn: hiệu năng của mô hình không chỉ phụ thuộc vào GPU mà còn vào hệ thống lưu trữ và cơ sở dữ liệu phía sau. Các đội kỹ thuật có thể tham khảo cách dùng multi-tenancy, bộ nhớ đệm toàn cầu và Azure Cosmos DB để giảm độ trễ khi lượng người dùng tăng mạnh.
Đọc bài gốc