Cộng đồng GitHub giới thiệu PolyStrata để chạy mô hình AI lớn trên máy cá nhân
Dự án mã nguồn mở PolyStrata tuyên bố cho phép người dùng chạy các mô hình AI lớn ngay trên PC Windows hoặc Linux, không gửi dữ liệu lên máy chủ từ xa. Công cụ hỗ trợ 11 mô hình qua hai engine suy luận, gồm Qwen3.8-Flash-Next, GLM 5.3 Flash, DeepSeek V4 Flash, LFM2.5, Qwen3.6, Gemma 4, Tiel Coder, MiniCPM-V và một số mô hình khác, đồng thời cung cấp API cục bộ tương thích với OpenAI và Anthropic cho ứng dụng và tác nhân lập trình. Yêu cầu phần cứng rất khác nhau: một số mô hình nhỏ hơn có thể chạy trên laptop với GPU 8 GB, trong khi GLM 5.3 Flash và DeepSeek V4 Flash cần GPU 32 GB cùng lượng RAM hệ thống lớn. Dự án báo cáo tốc độ sinh khoảng 60–100 token/giây cho một số mô hình trên laptop GPU 8 GB, và cho biết engine của họ đọc prompt nhanh hơn 2,7–3,5 lần, sinh văn bản nhanh hơn 1,5–1,8 lần so với bản llama.cpp được dùng để so sánh trong một số bài kiểm tra. Máy chủ có thể chuyển đổi giữa các mô hình đã cài khi đang chạy, kèm trình cài đặt một lần nhấp và lệnh benchmark cục bộ. Với lập trình viên và người dùng có phần cứng phù hợp, PolyStrata có thể giúp chạy các mô hình chat, lập trình và đọc ảnh mà không phải trả chi phí đám mây hay gửi dữ liệu riêng tư ra ngoài, nhưng dự án cho biết nhiều mô hình vẫn đang ở trạng thái thử nghiệm và các số liệu hiệu năng do chính dự án đo.
Các lập trình viên và người dùng có GPU từ 8 GB có thể thử PolyStrata để chạy một số mô hình AI ngay trên máy Windows hoặc Linux, dùng qua API tương thích với OpenAI và Anthropic. Hãy kiểm tra kỹ yêu cầu VRAM, RAM và dung lượng ổ đĩa trước khi cài; các mô hình lớn nhất cần GPU 32 GB và nhiều RAM.
Đọc bài gốc