Cộng đồng LocalLLaMA thử chuyển các lớp mô hình đang chạy giữa GPU trong lúc trả lời
Một nhà phát triển tuyên bố engine suy luận thử nghiệm jitllm có thể chuyển các lớp của mô hình giữa các GPU ngay khi mô hình đang tạo câu trả lời, với độ trễ được báo cáo khoảng 8 mili giây và không cần xử lý lại prompt. Trong video minh họa, toàn bộ các lớp của Llama-3.2-3B được chuyển từ một GPU T4 sang GPU T4 khác rồi quay lại trên một máy ảo đám mây. Hệ thống này cũng được cho là có thể sắp xếp lại mô hình giữa CPU, GPU CUDA và GPU tích hợp dùng Vulkan trên một chiếc laptop trong lúc đang sinh văn bản. KV cache dạng phân trang—dữ liệu attention được lưu để tiếp tục tạo câu trả lời—di chuyển cùng các lớp, giúp đầu ra khớp với lần chạy không phải xử lý lại prompt. Nếu hoạt động ổn định ngoài bản trình diễn, cách làm này có thể giúp engine suy luận thích ứng với phần cứng thay đổi hoặc hạn chế mà không phải khởi động lại quá trình sinh.
Các nhà phát triển hệ thống suy luận có thể theo dõi hoặc thử nghiệm jitllm để nghiên cứu việc phân bổ mô hình động giữa CPU và nhiều GPU, nhưng đây vẫn là một tuyên bố chưa được xác minh rộng rãi. Với người dùng chạy mô hình cục bộ, kỹ thuật này có thể giúp tận dụng linh hoạt phần cứng hiện có nếu được triển khai ổn định.
Đọc bài gốc