Cộng đồng GitHub giới thiệu XERJ, công cụ tìm kiếm cục bộ giúp agent AI giảm token khi đọc dữ liệu
XERJ là công cụ tìm kiếm cục bộ mã nguồn mở, được thiết kế để giúp các agent AI lập trình tìm thông tin liên quan mà không phải đọc toàn bộ file qua những công cụ như grep và sed. Nó tự động lập chỉ mục các thư mục chứa code, tài liệu, log, PDF, cơ sở dữ liệu SQLite và CSV, sau đó trả về các đoạn nội dung, ký hiệu cùng vị trí file-dòng thông qua các truy vấn tương thích với Elasticsearch. Trong nghiên cứu có kiểm soát của dự án, agent dùng XERJ hoàn thành 16/16 tác vụ với 9.982 token đầu ra, so với 26.477 token khi dùng quy trình dựa trên grep và 260.916 token khi chỉ dựa vào bộ nhớ; nghiên cứu gồm 8 tác vụ, 4 ngôn ngữ và 16 lần chạy cho mỗi phương pháp. Trường hợp sử dụng chính là “lập trình tham khảo”: lập chỉ mục các kho mã nguồn mở liên quan đến một nhiệm vụ để agent có thể tìm cách giải quyết tương tự trước khi viết code. XERJ cũng hỗ trợ hỏi đáp trên codebase, RAG (cung cấp các đoạn liên quan cho mô hình), kiểm tra bảo mật, phân tích log và lưu trữ bộ nhớ dài hạn cho agent. Dự án cho biết công cụ hữu ích nhất với code riêng tư, chuyên biệt hoặc xuất hiện sau thời điểm dữ liệu huấn luyện bị cắt, trong khi có thể không đem lại nhiều lợi ích với các thư viện phổ biến mà mô hình đã biết; báo cáo từ người dùng cho thấy mức giảm khoảng 5 lần số token trong công việc thực tế. XERJ hướng đến môi trường phát triển cục bộ cho một người dùng, và tùy chọn --insecure sẽ tắt TLS cùng xác thực bằng API key, khiến mọi bên có thể truy cập đều trở thành quản trị viên và có thể đọc hoặc xóa dữ liệu đã lập chỉ mục. Trên thực tế, công cụ có thể giảm chi phí AI và số vòng sửa lỗi khi lập trình, nhưng người dùng nên giữ dịch vụ ở localhost hoặc làm theo mô hình bảo mật của dự án trước khi mở ra mạng.
Lập trình viên có thể thử XERJ để lập chỉ mục code, tài liệu và log, giúp các agent AI truy xuất đúng đoạn cần thiết thay vì đọc cả file; dự án cung cấp bản binary Apache-2.0 và hướng dẫn cài đặt một lệnh. Cần đặc biệt tránh mở chế độ --insecure ra mạng, vì chế độ này tắt TLS và xác thực, khiến mọi máy truy cập được có toàn quyền với dữ liệu đã lập chỉ mục.
Đọc bài gốc