Thoughtworks đánh giá mô hình quyết định cho việc phân loại tài liệu
Thoughtworks đánh giá các mô hình quyết định AI trong việc phân loại tài liệu theo lĩnh vực, loại, độ nhạy cảm và các nhãn định sẵn khác. Khác với LLM thông thường vốn tạo ra văn bản cần được phân tích và kiểm tra, mô hình quyết định trả về một lựa chọn có giới hạn kèm xác suất, giúp thể hiện rõ mức độ không chắc chắn và chuyển các trường hợp có độ tin cậy thấp sang bước xử lý tiếp theo. Trong thử nghiệm với mô hình Laya có thể chạy cục bộ và có trọng số mở, tác giả phân loại các tài liệu dài khoảng 5.000 từ thuộc bốn lĩnh vực pháp lý, y tế, tài chính và công nghệ; một tài liệu pháp lý được chấm xác suất 82,6% là thuộc nhóm pháp lý, còn công thức nấu ăn và bài thơ bị xếp ngoài danh mục vì không đạt ngưỡng tin cậy. Hệ thống có thể trả lời nhiều câu hỏi phân loại trong cùng một lần gọi, nhưng việc thêm bốn chiều phân loại khiến độ trễ tăng khoảng 3–4 lần so với chỉ phân loại lĩnh vực. Với tài liệu dài, cách chia theo câu giúp giảm khoảng 40% số đoạn và rút độ trễ từ khoảng năm giây xuống ba giây mà không làm thay đổi kết quả. Trong một thử nghiệm nhỏ trên sáu tài liệu kỹ thuật, Laya và Claude Sonnet đều phân loại đúng năm tài liệu, trong đó Laya có độ trễ trung bình 1,72 giây. Kết quả cho thấy mô hình quyết định có thể phù hợp với các ứng dụng cần nhãn đầu ra ổn định, điểm tin cậy rõ ràng và định dạng dễ kiểm soát, nhưng việc viết tiêu chí, diễn đạt câu hỏi và chia nhỏ tài liệu vẫn đóng vai trò quan trọng.
Các đội ngũ xây dựng quy trình xử lý tài liệu có thể thử mô hình quyết định khi cần nhãn đầu ra cố định và biết lúc nào nên chuyển trường hợp không chắc chắn cho người kiểm tra. Cần đầu tư viết tiêu chí rõ ràng, chọn ngưỡng tin cậy và chia tài liệu thành các đoạn hợp lý; thêm nhiều loại quyết định sẽ làm tăng độ trễ.
Đọc bài gốc