SpecMRL cải thiện việc nén embedding bằng cách sắp xếp lại không gian đặc trưng
SpecMRL là phiên bản được thiết kế lại của Matryoshka Representation Learning (MRL), một phương pháp huấn luyện một mô hình embedding có thể hoạt động với nhiều kích thước biểu diễn lồng nhau. Phương pháp mới bổ sung một cơ sở phổ học được học từ tham số—một hệ tọa độ thay thế, trong đó các chiều được sắp xếp theo mức độ quan trọng—để những chiều đầu tiên giữ lại nhiều thông tin hữu ích hơn. Trên bộ đánh giá MTEB, SpecMRL vượt qua MRL tiêu chuẩn ở mọi kích thước rút gọn được thử nghiệm, với mức cải thiện lớn nhất khi embedding bị nén mạnh hơn. Kết quả cho thấy việc sắp xếp đặc trưng theo mức độ quan trọng có thể giúp các embedding nhỏ hoạt động hiệu quả hơn, qua đó giảm chi phí lưu trữ và tìm kiếm mà vẫn giữ được chất lượng biểu diễn ngữ nghĩa tốt hơn.
Các nhà phát triển hệ thống tìm kiếm ngữ nghĩa, RAG hoặc cơ sở dữ liệu vector có thể theo dõi SpecMRL như một hướng giảm kích thước embedding mà vẫn giữ chất lượng tốt hơn MRL. Đây là kết quả nghiên cứu, nên cần chờ mã nguồn hoặc mô hình được phát hành trước khi áp dụng trực tiếp.
Đọc bài gốc