Người dùng LocalLLaMA chia sẻ hệ thống AI nội bộ phục vụ 40 người bằng 4 GPU 6000 Blackwell MaxQ
Một thành viên cộng đồng LocalLLaMA cho biết công ty của họ đang phục vụ 40 người, trong đó có 10 lập trình viên, bằng một hệ thống AI tự vận hành tại chỗ. Hệ thống chạy trên máy chủ 4U với bốn GPU NVIDIA 6000 Blackwell MaxQ, 384GB RAM DDR5 và CPU AMD EPYC 9275F 24 lõi. n8n được dùng để tự động hóa quy trình, còn Whisper và Vexa AI vận hành một bot tham gia các cuộc họp Microsoft Teams, tạo bản ghi và sau đó trích xuất quyết định cùng các việc cần làm. Nhân viên truy cập OpenWebUI, giao diện web giống ChatGPT nhưng đã tắt phần lớn tính năng agent, đồng thời có thể tìm kiếm web qua Tavily. Mỗi lập trình viên được cấp một API key thông qua BiFrost, bộ định tuyến API tương thích OpenAI, và có một máy ảo Linux cục bộ để cài đặt các AI agent. Mô hình này cho thấy doanh nghiệp có thể tập trung hóa dịch vụ AI nội bộ cho nhân viên phổ thông nhưng vẫn dành không gian linh hoạt hơn cho đội phát triển, dù bài chia sẻ chưa nêu số liệu về hiệu năng, chi phí hay độ ổn định.
Mô hình này đáng tham khảo cho doanh nghiệp muốn tự vận hành AI nội bộ: có thể bắt đầu từ giao diện dùng chung, tự động hóa biên bản họp và API cho đội phát triển. Tuy nhiên, nên tự đánh giá chi phí, hiệu năng và độ ổn định trước khi đầu tư phần cứng tương tự.
Đọc bài gốc