Thoughtworks: dùng mô hình quyết định Jev để tăng hiệu quả cho pipeline RAG
Kỹ sư Jayanth Penumarthi của Thoughtworks kể rằng khi theo dõi một câu hỏi của người dùng trên nền tảng RAG (truy xuất tăng cường cho sinh văn bản) xây dựng cho khách hàng, mô hình bị gọi rất nhiều lần, nhưng chỉ một lần viết ra câu chữ người dùng thực sự đọc; các lần còn lại đều là để đưa ra quyết định. Ông đề xuất thay các lệnh gọi này bằng Jev, một mô hình của TypeSafe không sinh văn bản mà trả về xác suất có cấu trúc: chọn một đáp án trong danh sách, cho điểm, hoặc xác suất có/không (gọi là Noul). Vì các đầu ra được cố định từ trước, mô hình không thể trả về thứ mà mã nguồn không lường trước. Ông áp dụng cho bốn giai đoạn: khi nạp tài liệu thì phân loại loại tài liệu và gắn cờ dữ liệu nhạy cảm; trước truy xuất thì định tuyến câu hỏi tới kho vector, đồ thị tri thức, cả hai hoặc không cần truy xuất, và quyết định có viết lại câu hỏi hay không; sau truy xuất thì chấm điểm song song khoảng 20 đoạn để giữ 5 đoạn tốt nhất và kiểm tra ngữ cảnh đã đủ để trả lời chưa; sau khi sinh câu trả lời thì đối chiếu từng khẳng định với các đoạn đã truy xuất. Tác giả còn gợi ý tận dụng độ tin cậy: trên 0,9 thì tự động thực hiện, từ 0,6 đến 0,9 thì nhờ LLM cho ý kiến thứ hai, dưới 0,6 thì chuyển cho con người hoặc trả về mặc định an toàn. Việc ghi lại các xác suất này tạo dấu vết kiểm toán, rất quan trọng trong môi trường chịu quản lý chặt. Ý nghĩa thực tế là các mô hình quyết định nhanh, rẻ có thể đảm nhận những phán đoán lặp đi lặp lại, để LLM đắt tiền chỉ lo viết câu trả lời cuối cùng.
Nếu bạn đang xây dựng hệ thống RAG, hãy xem lại những bước chỉ cần đưa ra quyết định (phân loại, định tuyến, chấm điểm, kiểm tra căn cứ) và cân nhắc dùng mô hình quyết định nhỏ gọn thay vì gọi LLM nhiều lần. Ngưỡng độ tin cậy 0,9 và 0,6 trong bài là ví dụ để bạn tinh chỉnh theo dữ liệu thực tế của mình.
Đọc bài gốc