Hugging Face ra mắt TorchNeuron, đơn giản hóa việc chạy mô hình trên AWS Trainium
Hugging Face đã giới thiệu TorchNeuron, backend PyTorch native để chạy và huấn luyện mô hình trên AWS Trainium, với bản beta công khai dự kiến phát hành ngày 20/10/2026. Nhà phát triển có thể cài đặt bằng lệnh pip install torch-neuronx và sử dụng các tính năng PyTorch quen thuộc như eager execution, torch.compile, FSDP, tensor parallelism cùng các API phân tán native. Hugging Face cho biết Transformers, Diffusers, Accelerate, PEFT và TRL giờ đây có thể làm việc trực tiếp với Trainium, thay thế quy trình chuyên biệt hơn dựa trên Optimum Neuron. Đối với sinh văn bản, 89% trong 100 kiến trúc mô hình được sử dụng nhiều nhất đã được hỗ trợ sẵn, so với 46% ở Optimum Neuron v0.4.5. Mô hình có thể được chuyển sang Trainium bằng devicemap="neuron", còn suy luận phân tán có thể dùng tensor parallelism; ví dụ của Hugging Face sử dụng Qwen/Qwen3.8-27B và static cache để giảm việc biên dịch lặp lại. Huấn luyện cũng dùng các script quen thuộc của Hugging Face, bao gồm SFTTrainer của TRL, dù vẫn cần một số thiết lập riêng cho Neuron và còn hạn chế về automatic dynamic shapes. Thay đổi này đáng chú ý vì giúp giảm rào cản phần mềm cho các nhà phát triển muốn dùng chip AI của AWS, khiến quy trình trên Trainium gần với cách làm trên GPU hơn và mở rộng khả năng tương thích mô hình.
Lập trình viên và nhóm nghiên cứu đang dùng AWS Trainium có thể thử TorchNeuron public beta từ ngày 20/10/2026 và tiếp tục dùng các thư viện quen thuộc như Transformers, TRL và PEFT thay vì phải viết quy trình riêng cho Neuron. Hãy lưu ý đây vẫn là bản beta và một số tính năng, như tự động xử lý dynamic shapes, còn hạn chế.
Đọc bài gốc