Người dùng Hacker News giới thiệu Llmspeed để ước tính tốc độ LLM cục bộ trước khi mua phần cứng
Llmspeed là một công cụ do cộng đồng xây dựng, giúp ước tính các mô hình ngôn ngữ chạy cục bộ sẽ phản hồi nhanh đến mức nào trên nhiều loại phần cứng trước khi người dùng mua máy. Công cụ cho phép duyệt từ GPU phổ thông, máy tính Apple đến card workstation, CPU và bộ tăng tốc đám mây, rồi so sánh với các mô hình như Qwen, Gemma, GPT-OSS, Llama và DeepSeek. Các ước tính nhắm đến những prompt ngắn chạy trên một thiết bị duy nhất. Một số con số lấy từ benchmark cộng đồng, trong đó có r/LocalLLaMA và localscore.ai, còn những số khác được suy ra từ các hệ thống tương tự hoặc dự phóng dựa trên thông số phần cứng. Dự án được mở mã nguồn trên GitHub, nhưng các con số này không phải benchmark chính thức hay được đo trong một môi trường kiểm soát thống nhất. Với các nhà phát triển cân nhắc chạy AI cục bộ, công cụ này cung cấp cách nhanh để so sánh độ phản hồi dự kiến và thu hẹp lựa chọn phần cứng; tuy vậy, nên xem số liệu cộng đồng là tham khảo sơ bộ thay vì bảo đảm chắc chắn khi mua hàng.
Các lập trình viên và người muốn chạy AI cục bộ có thể dùng Llmspeed để ước tính độ phản hồi của nhiều mẫu trên từng loại phần cứng trước khi mua máy. Vì một phần số liệu là ước tính từ benchmark cộng đồng, nên hãy xem đây là công cụ tham khảo ban đầu và kiểm tra thêm với cấu hình thực tế.
Đọc bài gốc