PyTorch 2.15 bổ sung FP8 và tăng tốc MPS trên máy Mac Apple Silicon
PyTorch 2.15 mang đến nhiều nâng cấp lớn cho MPS, backend Metal của Apple cho phép PyTorch sử dụng GPU Apple Silicon. Bản phát hành bổ sung tensor FP8, giúp trọng số và giá trị trung gian chỉ dùng một byte mỗi phần tử—bằng một nửa dung lượng của BF16—cùng phép nhân ma trận có scale trực tiếp trên GPU. Tốc độ giải mã mô hình ngôn ngữ tăng đáng kể: các mô hình mixture-of-experts được báo cáo nhanh hơn 5–6,5 lần so với PyTorch 2.14, trong đó Qwen3.6-35B-A3B tăng từ 9,4 lên 61,3 token/giây trên M3 Ultra khi dùng torch.compile. Các mô hình dense cũng hưởng lợi từ kernel chuyên biệt cho phép nhân ma trận–vector khi giải mã từng token và softmax trên toàn bộ từ vựng nhanh hơn khoảng 8 lần, còn các lớp tuyến tính đạt mức tăng tốc trung bình hình học 1,23% trên 96 hình dạng BF16. Những thay đổi khác cải thiện đại số tuyến tính, tích chập, padding, dropout, nội suy, phép rút gọn và giải mã video; mức dùng bộ nhớ đỉnh khi giải mã VAE dạng tiled của Wan2.2 được báo cáo giảm từ 270 GiB xuống khoảng 8 GiB, trong khi một thay đổi về padding khôi phục độ chính xác cho quy trình chỉnh sửa ảnh Qwen-Image-2.1 trên MPS. Bản phát hành yêu cầu máy Mac dùng Apple Silicon chạy macOS 15 trở lên và Python 3.11 trở lên, đồng thời bổ sung MPS stream công khai cùng cơ chế đo thời gian sự kiện đáng tin cậy hơn. Trên thực tế, người dùng Mac chạy LLM cục bộ, công cụ tạo ảnh hoặc mô hình video có thể nhận được tốc độ tốt hơn, mức dùng bộ nhớ thấp hơn và khả năng chạy các tác vụ trước đây cần nhiều workaround.
Người dùng Mac Apple Silicon chạy PyTorch, Transformers, Diffusers hoặc ComfyUI nên thử PyTorch 2.15 nếu đáp ứng yêu cầu macOS 15 và Python 3.11. Bản này có thể giúp LLM chạy nhanh hơn, giảm đáng kể bộ nhớ khi tạo video và hỗ trợ FP8 để tiết kiệm dung lượng mô hình.
Đọc bài gốc