Cộng đồng LocalLLaMA cho rằng Qwen 27B chạy khoảng 20 token/giây trên GPU PS5 đã jailbreak
Một bài đăng trong cộng đồng cho rằng mô hình ngôn ngữ Qwen 27B đang chạy với tốc độ khoảng 20 token/giây trên GPU của một máy PlayStation 5 đã jailbreak. Nếu chính xác, kết quả này cho thấy phần cứng của máy console có thể thực hiện suy luận AI cục bộ với một mô hình khá mạnh, nhưng thiết lập và số liệu nói trên chưa được xác minh độc lập.
Những người quan tâm đến chạy mô hình ngôn ngữ cục bộ có thể theo dõi thêm các thử nghiệm trên PS5, nhưng không nên coi mức 20 token/giây là kết quả đã được xác nhận. Đây chưa phải hướng triển khai thực tế cho doanh nghiệp hay người dùng phổ thông.
Đọc bài gốc