NVIDIA và AI4Bharat công bố kho dữ liệu 2,8 nghìn tỷ token cho 22 ngôn ngữ Ấn Độ
NVIDIA, AI4Bharat và IIT Madras công bố Nemotron-pretraining-Indic-v1, một kho dữ liệu khoảng 2,8 nghìn tỷ token cho 22 ngôn ngữ Ấn Độ, cùng quy trình tăng tốc bằng GPU để tạo và kiểm tra dữ liệu. Bản phát hành dự kiến bao gồm cả bộ dữ liệu lẫn toàn bộ quy trình tạo dữ liệu, từ prompt dịch, quy trình dùng mô hình ngôn ngữ lớn đến đánh giá chất lượng và sửa lỗi có mục tiêu. Kho dữ liệu có khoảng 2.601,0 tỷ token dùng chữ viết bản địa và 224,6 tỷ token được roman hóa, tương ứng 34 tổ hợp ngôn ngữ–chữ viết. Dữ liệu bắt nguồn từ các tài liệu tiếng Anh đã tuyển chọn về nội dung web, toán học, mã nguồn và hỏi đáp; mỗi kết quả đều được truy ngược về tài liệu gốc và đối chiếu với đầu vào. “Romanized” nghĩa là ngôn ngữ Ấn Độ được viết bằng bảng chữ cái Latin thay vì tiếng Anh. Quy trình được thiết kế để bảo toàn các nội dung khó như công thức, bảng biểu và mã nguồn, đồng thời có thể được điều chỉnh cho tài liệu riêng của nhà phát triển. Bộ dữ liệu đã đóng góp 10 tỷ token Indic cho quá trình tiếp tục huấn luyện Nemotron 3.5 Super VL, sử dụng một tập con gồm 12 ngôn ngữ cùng với văn bản Indic do con người tạo ra. Bản phát hành có thể cung cấp thêm dữ liệu và một phương pháp có thể tái lập để xây dựng các hệ thống AI hiểu và tạo nội dung bằng nhiều ngôn ngữ lớn của Ấn Độ, dù dữ liệu bản địa do con người viết vẫn rất quan trọng đối với kiến thức văn hóa và vùng miền.
Các nhóm phát triển mô hình ngôn ngữ, đặc biệt ở Ấn Độ và những nơi cần hỗ trợ nhiều ngôn ngữ, có thể theo dõi và tận dụng bộ dữ liệu cùng quy trình mở này khi được phát hành. Quy trình có thể giúp tạo dữ liệu dịch, kiểm tra chất lượng và sửa lỗi cho nguồn tài liệu riêng, nhưng dữ liệu bản địa do con người viết vẫn cần thiết để phản ánh văn hóa và kiến thức địa phương.
Đọc bài gốc