Model embedding nào tốt cho tiếng Việt hiện nay?
Mình đang chọn model embedding cho hệ thống tìm kiếm tài liệu nội bộ bằng tiếng Việt (khoảng 300 nghìn tài liệu: hợp đồng, biên bản, email). Yêu cầu: - Hiểu tốt tiếng Việt, cả có dấu và không dấu (nhiều người gõ không dấu khi tìm) - Chạy được on-premise vì dữ liệu nhạy cảm - Tốc độ tạo embedding chấp nhận được trên GPU 24GB - Hỗ trợ văn bản dài khoảng 512 token trở lên Những gì mình đã thử sơ bộ: - Model embedding đa ngôn ngữ cỡ nhỏ: nhanh nhưng câu hỏi không dấu kết quả kém - Model cỡ lớn: tốt hơn rõ nhưng chậm gấp 3–4 lần Câu hỏi: 1. Mọi người đã thử model nào cho tiếng Việt và kết quả ra sao? 2. Có benchmark tiếng Việt nào đáng tin không? 3. Có nên chuẩn hoá câu hỏi (thêm dấu bằng model riêng) trước khi tìm kiếm không?