Cộng đồng báo cáo Memdoor dùng nhóm Qwen3.8-27B đạt kết quả ngang Fable 5 trên LiveCodeBench Hard
Memdoor’s team-solve workflow sử dụng nhiều agent Qwen3.8-27B để cùng giải bài lập trình, với các vai trò riêng cho lập kế hoạch, đề xuất thuật toán, viết mã, đánh giá, sửa lỗi và xác minh kết quả. Trong thử nghiệm được báo cáo trên 10 bài đầu tiên của LiveCodeBench Hard, chạy năm lần mỗi bài, workflow đạt trung bình 9,8/10 bài giải đúng, so với 9,6 của bộ kiểm thử do tác giả xây dựng và 8,0 của Fable 5 trong một lần gọi. Phép so sánh chấm bằng các test ẩn trong khi agent chỉ thấy các mẫu công khai; mỗi lượt chạy mất trung vị 40 phút và tốn 0,39 USD qua OpenRouter, còn 50 lượt có tổng chi phí 35,79 USD. Workflow trao đổi qua các file trên ổ đĩa, dùng ngữ cảnh mới cho từng bước và có thể cấu hình bằng YAML mà không cần chỉ định model cụ thể. Kết quả này chỉ cho thấy mức tương đương trong một mẫu nhỏ, không chứng minh cải thiện rõ ràng: thử nghiệm chỉ gồm 10 bài thay vì 100, Fable 5 không được chạy lại trong cùng harness, và không thể loại trừ khả năng dữ liệu bài thi đã xuất hiện trong quá trình huấn luyện. Với lập trình viên, dự án cung cấp một cách có thể tái hiện để thử nghiệm workflow lập trình nhiều agent trên máy cá nhân hoặc qua các nhà cung cấp model trực tuyến, nhưng kết quả benchmark nên được xem xét thận trọng cho đến khi có thử nghiệm lớn hơn và được kiểm soát độc lập.
Lập trình viên có thể thử workflow Memdoor để chia một bài toán thành các vai trò lập kế hoạch, viết mã, kiểm thử và sửa lỗi; dự án hỗ trợ cả OpenRouter lẫn các máy chạy Ollama, llama.cpp, vLLM hoặc LM Studio. Tuy nhiên, kết quả benchmark hiện chỉ là phép kiểm tra trên 10 bài nên nên xem đây là thử nghiệm tham khảo, chưa phải bằng chứng chắc chắn rằng nhiều agent tốt hơn một lần gọi model.
Đọc bài gốc