Hugging Face ra mắt công cụ kiểm tra model Transformers trên AWS Trainium
Hugging Face đã ra mắt một Space kiểm tra, cho biết những model Transformers phổ biến nào có thể chạy nguyên bản trên AWS Trainium, dòng chip tăng tốc AI của Amazon. Với mỗi model đã thử nghiệm, công cụ hiển thị kết quả, số lõi Trainium được sử dụng, thời gian chạy tổng cộng bao gồm cả thời gian biên dịch, bộ nhớ thiết bị tối đa và script để người dùng tự tái hiện. Người dùng có thể tìm model theo thứ hạng lượt tải hoặc xu hướng trên Hub, chọn phiên bản trình biên dịch Neuron và Transformers, đồng thời xem chính xác ngăn xếp phần mềm cùng lệnh run.py đã được dùng. Hiện các bài kiểm tra chỉ bao phủ model text-generation và image-text-to-text có thể nằm trên tối đa bốn thiết bị Trainium2, tương đương 16 lõi; kết quả được lưu trong dataset công khai aws-neuron/torch-neuronx-model-support. Lần chạy đầu thường phải biên dịch các biểu đồ tính toán của model, nhưng người dùng có thể tải các biểu đồ đã biên dịch từ NEFF cache công khai của Hugging Face để bỏ qua bước này. Kết quả PASS chỉ có nghĩa model đã tạo đầu ra và vượt qua một bài kiểm tra ngắn về tính đúng hoặc độ trôi chảy; nó không đo thông lượng khi chạy thực tế hay hiệu năng với đoạn sinh dài. Công cụ này giúp nhà phát triển kiểm tra khả năng tương thích trước khi chuyển model Hugging Face sang AWS Trainium, đồng thời nhấn mạnh rằng chạy được không đồng nghĩa với nhanh hoặc tiết kiệm chi phí.
Nhà phát triển đang triển khai model Transformers trên AWS Trainium có thể dùng Space này để kiểm tra nhanh model có chạy được hay không, xem cấu hình phần mềm và lấy sẵn script để thử lại. Tuy nhiên, kết quả PASS chỉ xác nhận khả năng tương thích qua bài kiểm tra ngắn, không đảm bảo tốc độ khi chạy thực tế.
Đọc bài gốc