Embedding N-Gram ít bit cho mô hình ngôn ngữ

Nhiều mô hình ngôn ngữ có trọng số mở gần đây sử dụng các bảng embedding n-gram để cải thiện hiệu năng. Nghiên cứu hướng tới việc giảm chi phí bộ nhớ đáng kể của các bảng lưu biểu diễn cho những chuỗi token ngắn, chẳng hạn cặp hoặc bộ ba token liên tiếp.