Vela đề xuất dùng hành vi người dùng để huấn luyện LLM hiểu sở thích và ý định
Các nhà nghiên cứu đề xuất Vela, một framework huấn luyện mô hình ngôn ngữ lớn (LLM) hiểu người dùng bằng cách xem hành vi dài hạn của họ như một nguồn tín hiệu giám sát. Phương pháp này hướng tới các ứng dụng như trợ lý cá nhân, hệ thống gợi ý và công cụ quảng cáo, vốn cần suy luận sở thích, ý định và hành động có khả năng xảy ra tiếp theo từ dữ liệu hành vi kéo dài hàng tuần hoặc hàng năm. Từ hồ sơ hành vi đã ẩn danh của 100.000 người dùng, Vela tạo ra 100.000 tác vụ huấn luyện thuộc 91 mẫu tác vụ thực tế, sau đó giữ lại khoảng 75.000 tác vụ qua bước lọc theo độ khó và tiêu chí chấp nhận các chuỗi hành vi hữu ích. Công trình cho thấy lịch sử sử dụng thực tế có thể giúp LLM học các mô thức cá nhân thay đổi theo thời gian hiệu quả hơn so với chỉ dùng văn bản tĩnh hoặc dữ liệu tổng hợp.
Các nhà phát triển trợ lý cá nhân, hệ thống gợi ý và ứng dụng AI cần theo dõi hướng nghiên cứu này vì dữ liệu hành vi dài hạn có thể giúp mô hình hiểu sở thích và ý định của người dùng tốt hơn. Vela hiện được mô tả như một framework nghiên cứu, nên giá trị thực tế trước mắt là gợi ý cách xây dựng dữ liệu huấn luyện từ lịch sử hành vi đã ẩn danh.
Đọc bài gốc