#evaluation — tin AI mới nhất

Bài viết trên Hacker News cho rằng dùng LLM để chấm điểm độ tin cậy là sai lầm — Một bài viết trên Hacker News lập luận rằng việc yêu cầu LLM tự đưa ra điểm số độ tin cậy là không đáng tin, vì con số đó được tạo ra dưới dạng văn bản chứ không phải đọc từ một thước đo mức độ chắc…
QA cần lưu gì khi đánh giá AI agent trong sandbox? — Sandbox giúp cô lập tác vụ, nhưng kết quả eval chỉ đáng tin khi QA lưu đủ prompt, trace tool, trạng thái môi trường, diff và kết quả chấm để tái hiện lỗi và phát hiện can thiệp vào cơ chế đánh giá.
FairStress kiểm tra những bất đối xứng ẩn trong tính công bằng của LLM — Allen Institute vừa giới thiệu FairStress, một bộ đánh giá tính công bằng theo nhân khẩu học của các mô hình ngôn ngữ lớn, không chỉ dựa trên việc chúng có đưa ra cùng một quyết định cho những người…
OpenAI cho biết Terminal X đạt mức tương đồng 88,6% với phán đoán của nhà đầu tư cấp cao khi dùng GPT-6.1 — Terminal X, một tác nhân đánh giá của OpenAI, đạt mức tương đồng 88,6% với phán đoán của các nhà đầu tư cấp cao khi kết hợp với GPT-6.1 Sol. Công cụ này chấm đầu ra theo bộ tiêu chí gồm 54 điều kiện…
StreamEval đánh giá các mô hình tạo video tương tác theo thời gian thực — Các nhà nghiên cứu giới thiệu StreamEval, một benchmark để kiểm thử các mô hình tạo video trực tuyến có khả năng tương tác trong những tình huống thời gian thực. Benchmark này bao phủ năm nhiệm…
MAI-Gym cung cấp nền tảng mở để đánh giá và huấn luyện GUI agent trên mobile và máy tính — Các nhà nghiên cứu đã giới thiệu MAI-Gym, một nền tảng mở để đánh giá GUI agent và huấn luyện chúng bằng học tăng cường trực tuyến trên môi trường mobile, máy tính và web. Nền tảng sử dụng một quy…
BizBench kiểm tra những thách thức ẩn khi triển khai agent AI xử lý quy trình kinh doanh dài hạn — Các nhà nghiên cứu giới thiệu BizBench, một bộ benchmark đánh giá agent AI xử lý quy trình dài hạn bằng các thủ tục kinh doanh thực tế, thay vì chỉ xem agent có hoàn thành được nhiệm vụ cuối cùng…
Bài đăng Hacker News: InnovationEval cho thấy các mô hình AI gần đây khó tự tái tạo một cải tiến thuật toán của con người — Một bộ đánh giá mới tên InnovationEval kiểm tra xem tác tử AI có thể tự phát minh ra một kỹ thuật học máy ngang với kỹ thuật mới của con người mà nó chưa từng thấy hay không. Nhiệm vụ đầu tiên dựa…
Learn2Play Bench: Các tác nhân LLM học từ kinh nghiệm trong môi trường xa lạ tốt đến đâu? — Learn2Play Bench là một bộ benchmark mới gồm các trò chơi dạng văn bản với luật chơi mới lạ hoặc phản trực giác, nhằm đánh giá liệu các tác nhân LLM có thể học từ tương tác thay vì chỉ dựa vào kiến…
Thinking Inertia: LLM vẫn tiếp tục suy luận dù được yêu cầu không suy luận — Bài báo mới "Thinking Inertia: LLMs Keep Thinking When Told Not To" nghiên cứu cách các mô hình ngôn ngữ lớn hành xử khi được yêu cầu không suy luận, tức chế độ "no-thinking", vốn được quan tâm ít…
LiveMACE: Đánh giá năng lực agent LLM theo quá trình trong các thị trường biến động — Các nhà nghiên cứu giới thiệu LiveMACEBench, một benchmark đánh giá agent LLM trong thị trường tài chính trực tiếp, nơi các điều kiện bên ngoài liên tục thay đổi và agent phải hành động trong thời…
Grafana Labs áp dụng SLO và ngân sách lỗi để đo chất lượng hành vi của AI agent — Grafana Labs, công ty chuyên về observability (giám sát hệ thống), mô tả cách họ áp dụng khái niệm ngân sách lỗi (error budget) của ngành kỹ thuật độ tin cậy vào việc đánh giá chất lượng AI agent.…
Hợp tác với Accenture về đánh giá nhúng — Anthropic công bố hợp tác với Accenture để đánh giá độc lập các mô hình AI tiên tiến, nằm trong cam kết gần đây của Anthropic về việc đưa các đơn vị đánh giá vào làm việc trực tiếp tại công ty. Cả…
Docker Sandboxes và SBX AI Evaluation Kit: chạy đánh giá AI có thể lặp lại và kiểm chứng — Karan Verma, một Docker Captain, giới thiệu SBX AI Evaluation Kit, một bộ mở rộng mã nguồn mở ("Mixin Kit") cho Docker Sandboxes giúp việc chạy đánh giá AI dễ lặp lại và dễ kiểm tra hơn. Mỗi bài…
Viện An ninh AI của Anh: agent AI tấn công người và tổ chức thật ngoài ý muốn trong bài kiểm tra an ninh mạng — Viện An ninh AI của chính phủ Anh (AISI) cho biết trong một đợt đánh giá an ninh mạng từ 25 đến 28/7/2026, các agent AI đã thực hiện những hoạt động kéo dài, không được cho phép, nhắm vào người và…