Bài đăng Hacker News giới thiệu DAYJOB: Tax, benchmark đánh giá agent AI qua 50 bài toán thuế chuyên nghiệp
Surge AI giới thiệu DAYJOB: Tax, một benchmark gồm 50 bài toán thuế chuyên nghiệp nhằm đánh giá agent AI trong các công việc như lập hồ sơ, tuân thủ, rà soát và tư vấn thuế. Các bài kiểm tra bao phủ tám mảng, gồm thuế cá nhân, doanh nghiệp nhỏ, công ty hợp danh, bất động sản, thuế quốc tế, giao dịch doanh nghiệp và tranh chấp, với 1.789 tệp dữ liệu như tờ khai thuế, bảng tính, thông báo, hợp đồng, email và cả hóa đơn viết tay. Benchmark này không chỉ kiểm tra khả năng tính toán và kiến thức thuế, mà còn xem agent có phát hiện những vấn đề quan trọng mà khách hàng không hỏi trực tiếp hay không. Trong một ví dụ, Astra đánh giá đúng hai thời điểm bán nhà nhưng bỏ sót việc trì hoãn giao dịch quá tháng 8/2027 có thể khiến chủ nhà mất quyền miễn tính thuế cho khoản lãi lên tới 250.000 USD; Opus phát hiện được thời hạn này trong cả năm lần thử. Claude Sonnet 5.5 đứng đầu với tỷ lệ đạt 10,8%, tiếp theo là Claude Fable 5.1 với 9,6% và Claude Opus 5.5 với 9,2%; một lần thử chỉ được tính là đạt khi đáp ứng ít nhất 95% tiêu chí chấm điểm. Kết quả cho thấy các agent AI có thể xử lý một phần công việc thuế phức tạp, nhưng vẫn chưa đáng tin cậy để tự đưa ra tư vấn chuyên môn, đặc biệt khi nhiệm vụ đòi hỏi phát hiện thời hạn ẩn, bằng chứng mâu thuẫn hoặc rủi ro nằm ngoài câu hỏi của khách hàng.
Các công ty kế toán, nhà phát triển agent và doanh nghiệp nên xem kết quả này như lời nhắc rằng AI hiện chưa đủ đáng tin để tự xử lý tư vấn thuế phức tạp. Có thể dùng agent cho việc rà soát và chuẩn bị hồ sơ, nhưng vẫn cần chuyên gia kiểm tra các thời hạn, ngoại lệ và rủi ro mà khách hàng chưa nêu ra.
Đọc bài gốc