Hacker News chia sẻ tuyên bố: GPT-6 Astra chỉnh trực tiếp trọng số Qwen3.5-0.8B
Các nhà nghiên cứu tại MIT CSAIL cho biết GPT-6 Astra có thể đọc và chỉnh sửa trực tiếp trọng số của mạng nơ-ron bằng chỉ dẫn ngôn ngữ tự nhiên, không cần gradient descent hay tự viết vòng lặp huấn luyện. Trong một thử nghiệm, Astra chỉ sửa 0,016% trọng số của Qwen3.5-0.8B để xử lý hiện tượng lặp khi suy luận, giúp điểm MATH-500 tăng từ 7,9% lên 48,1% và điểm IFEval về khả năng làm theo chỉ dẫn tăng gấp ba lần với cùng thiết lập lấy mẫu. Công trình có tên “Weight-Space Programming” cũng mô tả việc Astra xác định một mạng nhỏ được huấn luyện chơi trò nào chỉ từ các trọng số thô, sửa một chính sách điều khiển chỉ bằng một lần chỉnh sửa và tự viết từ đầu các mạng chơi game. Những thử nghiệm này cho thấy LLM có thể suy luận về chức năng của từng phần trong mạng rồi thay đổi chúng trực tiếp, thay vì dựa vào các bộ tối ưu truyền thống như Adam hoặc quá trình huấn luyện học tăng cường. Nếu kết quả được xác nhận, các nhà phát triển có thể cải thiện hoặc kiểm tra mô hình bằng cách mô tả hành vi mong muốn bằng ngôn ngữ tự nhiên. Tuy nhiên, đây vẫn là các kết quả ban đầu và chưa chứng minh phương pháp đã sẵn sàng cho môi trường sản xuất.
Các nhà phát triển và nghiên cứu AI nên theo dõi hướng “lập trình trong không gian trọng số”, nhưng chưa nên xem đây là cách nâng cấp mô hình đã sẵn sàng để dùng thực tế. Kết quả cho thấy trong tương lai có thể sửa lỗi hoặc cải thiện mô hình bằng mô tả ngôn ngữ tự nhiên thay vì huấn luyện lại toàn bộ.
Đọc bài gốc