LFM3: mô hình AI đa phương thức cỡ 2B cho triển khai tại chỗ
Liquid AI ra mắt LFM3, họ mô hình khoảng 2B tham số cho text, ảnh, video và audio. Các biến thể dùng chung backbone, có thể tinh chỉnh trên một GPU và hướng đến triển khai gần nơi ứng dụng vận hành.
Một ứng dụng có thể cần đọc ảnh, nghe ghi chú giọng nói rồi trả lời bằng văn bản. Thay vì dùng một mô hình lớn cho mọi tình huống, Liquid AI đề xuất một hướng khác với LFM3: chọn mô hình theo loại dữ liệu đầu vào, tinh chỉnh theo tác vụ và triển khai tại nơi ứng dụng chạy.
LFM3 là họ Liquid Foundation Models mới, gồm các biến thể cho text, thị giác, audio, đầu vào đa phương thức và trả lời được hiệu chỉnh. Tất cả đều xoay quanh backbone chung LFM3-1.7B-Base, ở quy mô khoảng 2 tỷ tham số.
Sáu mô hình, mỗi mô hình cho một kiểu đầu vào
| Mô hình | Đầu vào | Đầu ra |
|---|---|---|
| LFM3-1.7B | Text | Text |
| LFM3-VL-2B | Text, ảnh, video | Text |
| LFM3-Audio-2B | Text, audio | Text, speech |
| LFM3-Omni-2B | Text, ảnh, video, audio | Text, speech |
| d1-2B | Text, ảnh, video | Câu trả lời được hiệu chỉnh |
| d1-omni-2B | Text, ảnh, video, audio | Câu trả lời được hiệu chỉnh |
Theo Liquid AI, các biến thể đều được xây dựng từ LFM3-1.7B-Base và có thể tinh chỉnh trên một GPU. Cách chia nhỏ theo modality này phù hợp với các đội muốn dùng mô hình sát với dữ liệu đầu vào thực tế, thay vì luôn triển khai một mô hình đa năng lớn hơn.
Ví dụ, một chatbot làm việc với tài liệu và công cụ nội bộ có thể bắt đầu với LFM3-1.7B. Một tác vụ cần hiểu ảnh hoặc video phù hợp hơn với LFM3-VL-2B. Nếu một phiên làm việc cần kết hợp văn bản, hình ảnh, video và audio, LFM3-Omni-2B là biến thể được thiết kế cho luồng đó.
Backbone 1,7B được tối ưu cho ngữ cảnh dài
LFM3-1.7B-Base dùng kiến trúc “tri-hybrid”, kết hợp ba thành phần:
13 lớp tích chập ngắn có cổng
5 lớp attention cửa sổ trượt với cửa sổ 256 token
6 lớp attention toàn cục
Cách kết hợp này nhằm cân bằng giữa xử lý thông tin cục bộ, khả năng liên hệ nội dung xa trong ngữ cảnh và chi phí suy luận.
Backbone có 24 lớp. Ngoài kiến trúc tri-hybrid, Liquid AI còn nêu ba thay đổi kỹ thuật: head-wise gated attention, Partial RoPE và sandwich norm. Mô hình được huấn luyện trước trên 22 nghìn tỷ token, sau đó trải qua giai đoạn mid-training 3,5 nghìn tỷ token trên dữ liệu đã tuyển chọn, trong đó tăng tỷ trọng các agentic trace và lời gọi công cụ.
Theo công bố của Liquid AI, LFM3-1.7B có cửa sổ ngữ cảnh 256K token. Ở ngữ cảnh 8K token, công ty cho biết mô hình nhanh hơn khoảng 25% so với LFM2-1.2B. Đây là số liệu do nhà phát triển công bố, không phải đánh giá độc lập.
Một điểm thực dụng khác là bản text được cho là có thể chiếm khoảng 1 GB ở độ chính xác 4-bit. Điều này có thể hữu ích khi thử nghiệm trên thiết bị biên hoặc máy cá nhân, dù bộ nhớ thực tế của ứng dụng còn phụ thuộc runtime, ngữ cảnh và phần xử lý dữ liệu đầu vào.
Bắt đầu với LFM3-1.7B cho tác vụ text
Liquid AI định vị LFM3-1.7B cho local agent, gọi công cụ, structured output và làm nền để tinh chỉnh theo dữ liệu chuyên ngành. Mô hình cũng được post-train để chạy trong các agent harness như Hermes Agent, Pi và OpenClaw.
Theo hướng dẫn của hãng, có thể chạy mô hình với transformers bằng cách cài phiên bản mới nhất:
bash
pip install -U transformers
Ví dụ text-generation được Liquid AI công bố:
python
from transformers import pipeline
generator = pipeline(
"text-generation",
model="LiquidAI/LFM3-1.7B",
trustremotecode=True
)
messages = [{
"role": "user",
"content": "What is C. elegans?"
}]
output = generator(
messages,
dosample=True,
temperature=0.1,
topk=50,
repetitionpenalty=1.1,
maxnewtokens=2048
)
print(output[0]["generatedtext"][-1]["content"])
Khi thử nghiệm cho công việc thực tế, nên thay prompt minh họa bằng tác vụ cụ thể: tóm tắt ticket, phân loại yêu cầu hỗ trợ hoặc trích xuất các trường theo định dạng mong muốn.
Đừng chỉ kiểm tra câu trả lời ngắn. Hãy dùng một tập tình huống gần với vận hành thật, gồm yêu cầu dài, dữ liệu thiếu, câu hỏi mơ hồ và trường hợp mô hình cần nêu rõ rằng thông tin chưa đủ.
LFM3-VL-2B nhận ảnh và video
LFM3-VL-2B nhận text, ảnh và video, sau đó tạo đầu ra văn bản. Đây là mô hình thị giác đầu tiên trong dòng LFM hỗ trợ video đầu vào.
Liquid AI cho biết LFM3-VL-2B có 1,9 tỷ tham số, thấp hơn 3,1 tỷ tham số của LFM2.5-VL-3B. Trên trung bình 62 benchmark thị giác, công ty báo cáo điểm số tăng từ 57,6 lên 71,4. Đây cũng là số liệu từ Liquid AI.
Để chạy mô hình thị giác, hướng dẫn yêu cầu transformers từ phiên bản 5.21.0 cùng các thư viện liên quan:
bash
pip install "transformers>=5.21.0" torch torchvision pillow
Trong ứng dụng, thay vì hỏi chung chung “mô tả ảnh”, hãy đặt câu hỏi gắn với quy trình của bạn: liệt kê vật thể nhìn thấy, nhận diện dấu hiệu hư hỏng, hoặc trích xuất các trường có thể đọc được và ghi rõ phần nào không chắc chắn. Prompt càng có tiêu chí rõ, đầu ra càng dễ kiểm tra.
Audio, omni và bài toán triển khai
LFM3-Audio-2B kết hợp audio encoder, audio decoder và LiquidCodec. Theo Liquid AI, audio encoder có thể prefill khi người dùng đang nói, với thời gian tới token đầu tiên thấp tới 50 ms. LiquidCodec được công bố có tốc độ giải mã speech khoảng 87 lần thời gian thực trên một luồng CPU của Apple M4 Max.
Các con số này chỉ phản ánh điều kiện thử nghiệm được công bố; hiệu năng thực tế sẽ thay đổi theo phần cứng, luồng audio và engine suy luận.
LFM3-Omni-2B dành cho đầu vào kết hợp text, ảnh, video và audio, với đầu ra là text hoặc speech. Trước khi đưa biến thể audio hay omni vào sản phẩm, đội kỹ thuật nên kiểm tra model card và các engine suy luận được hỗ trợ cho cấu hình triển khai của mình.
LFM3 đáng chú ý không chỉ vì có nhiều modality, mà vì Liquid AI đóng gói chúng quanh một backbone nhỏ hơn, có thể tinh chỉnh và hướng tới triển khai tại chỗ. Cách thử hợp lý là bắt đầu bằng một loại dữ liệu, một luồng công việc và một bộ kiểm thử thực tế — rồi mới mở rộng sang trải nghiệm đa phương thức đầy đủ.