NVIDIA ra mắt Global Performance Tuner trong TensorRT 11.1 để mở rộng tối ưu hiệu năng suy luận
NVIDIA đã giới thiệu Global Performance Tuner trong TensorRT 11.1, một tính năng được thiết kế để tự động tìm kiếm nhiều lộ trình biên dịch mạng nơ-ron hơn thay vì chỉ dựa vào một lộ trình cố định. TensorRT phải đưa ra các quyết định liên quan chặt chẽ đến biến đổi đồ thị, hợp nhất toán tử, lựa chọn kernel, bố trí bộ nhớ và lượng tử hóa; những tổ hợp khác nhau có thể tạo ra hiệu năng đầu-cuối rất khác nhau dù vẫn giữ nguyên hành vi của mô hình. Tuner coi quá trình biên dịch như một bài toán tìm kiếm: tạo ra các cấu hình build, đo lường chúng và chọn cấu hình nhanh nhất đáp ứng yêu cầu về độ chính xác của ứng dụng. Cách tiếp cận này nhằm giảm sự phụ thuộc vào ngày càng nhiều heuristic dành riêng cho từng mô hình—những quy tắc có thể giúp một workload nhưng làm giảm hiệu năng của workload khác khi mô hình và môi trường triển khai trở nên đa dạng hơn. Tính năng hỗ trợ các lộ trình build có thể tùy chỉnh và đánh giá engine hoàn chỉnh, thay vì chỉ xem xét từng kernel riêng lẻ; nhờ đó nó tính đến các tương tác giữa layout tensor, fusion, lưu lượng bộ nhớ và sai khác số học do các phép tính độ chính xác thấp gây ra. Với các nhà phát triển triển khai mô hình bằng TensorRT, điều này cho phép điều chỉnh hiệu năng theo từng mô hình và môi trường thay vì chỉ phụ thuộc vào chiến lược lập lịch mặc định.
Các nhà phát triển triển khai mô hình bằng TensorRT nên tìm hiểu Global Performance Tuner trong TensorRT 11.1 để thử nhiều lộ trình build và chọn engine nhanh nhất vẫn đáp ứng ngưỡng độ chính xác. Cách tiếp cận này hữu ích khi mô hình hoặc môi trường triển khai khác với những workload mà heuristic mặc định đã được tối ưu.
Đọc bài gốc