Nghiên cứu RAG cho thấy các kỹ thuật mạnh riêng lẻ có thể không kết hợp tốt
Một nghiên cứu về Retrieval-Augmented Generation (RAG) cho thấy các kỹ thuật hoạt động tốt riêng lẻ không phải lúc nào cũng hiệu quả khi kết hợp. Nhóm tác giả giới thiệu LASAGNA, một framework mã nguồn mở để đánh giá RAG có kiểm soát, và thử nghiệm 450 cấu hình trên tám bộ benchmark cùng các kho dữ liệu từ 5.000 đến 200.000 tài liệu. Thí nghiệm bao phủ embedding, chia nhỏ văn bản, truy xuất, reranking, mở rộng truy vấn, nén ngữ cảnh và cơ chế xác minh bằng tác tử. Trong một ví dụ, ba kỹ thuật truy xuất được dự đoán sẽ tạo ra mức cải thiện cộng dồn 47% dựa trên kết quả riêng lẻ, nhưng chỉ đạt 17% khi dùng cùng nhau, cho thấy chất lượng truy xuất và độ trung thực của câu trả lời có thể phù hợp với những lựa chọn thiết kế khác nhau. Với các nhà phát triển, kết quả này cho thấy cần đánh giá toàn bộ pipeline RAG trên quy mô dữ liệu thực tế thay vì chỉ chọn thành phần dựa trên các benchmark riêng.
Các nhà phát triển RAG không nên ghép các thành phần chỉ dựa trên kết quả thử nghiệm riêng lẻ, vì hiệu quả có thể không cộng dồn như dự đoán. LASAGNA có thể được dùng để kiểm thử toàn bộ pipeline trên nhiều quy mô dữ liệu trước khi đưa vào sản phẩm.
Đọc bài gốc