Báo cáo từ Kling: Hiểu đa phương thức đang trở thành nút thắt của video AI
Một báo cáo dựa trên nhiều thế hệ Kling cho rằng chất lượng tạo video ngày càng bị giới hạn bởi khả năng kiểm soát ngữ nghĩa—hiểu người dùng muốn gì—hơn là chỉ khả năng kết xuất hình ảnh. Báo cáo xem xét toàn bộ quy trình từ dữ liệu huấn luyện và điều kiện đầu vào đến căn chỉnh và đánh giá, đồng thời cho rằng chất lượng video là kết quả của việc các khâu này bảo toàn ý nghĩa đa phương thức tốt đến đâu. Báo cáo giới thiệu Kling-MLLM, một mô hình nền tảng đa phương thức dùng chung có thể xử lý hình ảnh, video, âm thanh, nội dung âm thanh-video đồng bộ và dữ liệu kết hợp, sau đó được chuyên biệt hóa cho từng tác vụ. Nhóm nghiên cứu xem việc tạo caption là một “hợp đồng ngữ nghĩa” giúp mô tả nhiều thông tin và chính xác trong dữ liệu huấn luyện, đồng thời mở rộng sang caption dựa trên tham chiếu để xác định rõ phần văn bản đang nói đến yếu tố hình ảnh nào; bước nâng cao prompt sẽ chuyển ý định của người dùng sang dạng caption này. Những hướng tiếp cận này cho thấy các tiến bộ tiếp theo của video AI có thể phụ thuộc ít hơn vào việc đơn thuần mở rộng khả năng kết xuất, và nhiều hơn vào việc nối chính xác prompt, đối tượng tham chiếu, nội dung nghe nhìn và khâu đánh giá.
Các nhà phát triển mô hình video có thể tham khảo báo cáo này để thiết kế tốt hơn khâu caption, liên kết prompt với vật thể tham chiếu và đánh giá đầu ra đa phương thức. Với người dùng phổ thông, công trình chủ yếu cho thấy chất lượng video AI sẽ phụ thuộc nhiều hơn vào khả năng hiểu đúng ý định và ngữ cảnh, chứ không chỉ vào độ sắc nét của hình ảnh.
Đọc bài gốc