Cộng đồng GitHub giới thiệu colibri, công cụ C chạy mô hình MoE lớn từ ổ đĩa
Dự án mã nguồn mở colibri tuyên bố có thể chạy các mô hình mixture-of-experts (MoE) rất lớn trên máy tính thông thường bằng cách giữ phần mô hình đang hoạt động trong RAM và đọc các “chuyên gia” còn lại từ ổ đĩa khi cần. Engine này được viết thuần C, không bắt buộc phụ thuộc bên ngoài, không cần GPU và hiện hỗ trợ 13 engine cho mô hình ngôn ngữ, tạo ảnh và ra quyết định, gồm các biến thể của GLM, DeepSeek, Qwen, Kimi và OLMoE. Colibri có thể đọc các tệp mô hình GGUF có sẵn và chạy trên CPU, GPU hỗ trợ Vulkan hoặc GPU NVIDIA thông qua CUDA. Dự án đưa ra ví dụ chạy mô hình GLM-5.2 với 744 tỷ tham số, dùng khoảng 9,9 GB RAM thường trú; người dùng cần ít nhất 8 GB RAM, 22 GB dung lượng trống cho mô hình nhỏ nhất và kết nối internet để cài đặt. Trình cài đặt hướng dẫn sẽ dựa trên RAM, dung lượng lưu trữ, CPU và GPU của máy để đề xuất mô hình, sau đó cung cấp giao diện trình duyệt cùng các endpoint tương thích với OpenAI và Anthropic. Nếu các tuyên bố này hoạt động ổn định trong thực tế, colibri có thể giúp chạy một số mô hình mã nguồn mở cực lớn trên phần cứng sẵn có, nhưng tốc độ vẫn phụ thuộc vào tốc độ ổ đĩa và từng mô hình.
Những người muốn chạy AI cục bộ có thể thử colibri nếu máy có ít nhất 8 GB RAM và đủ dung lượng lưu trữ; công cụ có thể tự chọn mô hình và cung cấp API tương thích với OpenAI hoặc Anthropic. Tuy nhiên, nên kỳ vọng tốc độ phụ thuộc nhiều vào ổ đĩa, CPU/GPU và từng mô hình cụ thể.
Đọc bài gốc