Bài đăng Hacker News: InnovationEval cho thấy các mô hình AI gần đây khó tự tái tạo một cải tiến thuật toán của con người
Một bộ đánh giá mới tên InnovationEval kiểm tra xem tác tử AI có thể tự phát minh ra một kỹ thuật học máy ngang với kỹ thuật mới của con người mà nó chưa từng thấy hay không. Nhiệm vụ đầu tiên dựa trên on-policy self-distillation (SDPO), một phương pháp hậu huấn luyện đã được các mô hình gần đây trích dẫn và áp dụng. Tác tử được yêu cầu xây dựng một phương pháp hậu huấn luyện mới vượt qua mức cơ sở GRPO mạnh (một phương pháp học tăng cường phổ biến). Nó phải chứng minh kết quả bằng cách hậu huấn luyện mô hình Qwen3-8B trên các bài trả lời ngắn và lập trình, lý tưởng là đạt hoặc vượt giá trị tham chiếu của phương pháp do con người phát triển. Kết quả chính dùng Claude Fable 5 và GPT-5.6 Sol, hai mô hình này đạt rất ít tiến bộ dù chạy thí nghiệm tốn hàng nghìn USD tiền GPU. Nhóm tác giả nêu hạn chế: chỉ có vài lượt chạy vì mỗi lần thử rất tốn kém, và việc chấm điểm khó tự động hóa hoàn toàn. Các mô hình mới hơn (Claude Fable 5.1 và GPT-6 Astra) đã biết về nhiệm vụ này, nên họ sẽ kiểm tra hiện tượng ghi nhớ và thiết kế nhiệm vụ mới. Công trình này đáng chú ý vì nó đo mức độ AI có thể tự thực hiện nghiên cứu từ đầu đến cuối, thay vì chỉ hỗ trợ viết mã.
Đây là nghiên cứu đánh giá, chưa có gì để dùng ngay; người làm nghiên cứu AI và theo dõi chủ đề AI tự động hóa nghiên cứu nên lưu ý kết quả sơ bộ này. Cần thận trọng vì kết quả dựa trên rất ít lượt chạy.
Đọc bài gốc