Leonxlnx/earshot: thêm khả năng nghe và tạo âm thanh cho coding agent
Leonxlnx/earshot là bộ công cụ mã nguồn mở, chỉ dùng CPU, giúp coding agent phân tích và tạo âm thanh ngay trên máy. Công cụ có thể mô tả audio, đối chiếu bản ghi với câu lệnh dạng văn bản, tìm những khoảnh khắc phù hợp nhất trong tệp dài, so sánh âm thanh, đánh giá audio là bản thu thật hay được tổng hợp bằng code, lập bản ghi các sự kiện âm thanh theo thời gian và chấm điểm mức độ phù hợp của audio với video. Dự án cung cấp giao diện dòng lệnh, Python API và MCP server — một chuẩn để các trợ lý AI như Claude Code gọi công cụ bên ngoài. Tính năng forge cho phép agent tạo âm thanh từ code tổng hợp vật lý thay vì dùng bản thu, sau đó liên tục cải thiện kết quả bằng các phép đo, bản thu tham chiếu, ảnh phổ âm và đánh giá từ mô hình. Tính năng fit hoạt động theo chiều ngược lại, chuyển một bản thu thành công thức tổng hợp có thể chỉnh sửa với các tham số để agent thay đổi. Các công cụ khác đo độ lớn, cân bằng tần số, nhịp, độ đồng bộ với các điểm cắt trong video và những lỗi âm thanh phổ biến như clipping, cộng hưởng gắt hoặc phần đuôi bị ngắt đột ngột. Điều này hữu ích cho các nhà phát triển xây dựng agent đa phương tiện vì AI có thể tự kiểm tra và tinh chỉnh âm thanh trong quy trình tự động, thay vì luôn cần con người nghe lại thủ công.
Nhà phát triển xây dựng coding agent hoặc công cụ tạo video/game có thể thử earshot để cho AI tự kiểm tra hiệu ứng âm thanh, độ đồng bộ và chất lượng bản dựng trên CPU. Các đội ngũ làm sản phẩm đa phương tiện nên chú ý đến `forge` và `fit` nếu muốn tự động hóa việc tạo, biến đổi và tinh chỉnh âm thanh bằng code.
Đọc bài gốc