Model nhỏ chạy offline trên laptop: gemma4 e2b/e4b, qwen3.5 2b/4b dùng được đến đâu?
Team mình cần một số tính năng AI chạy hoàn toàn offline trên laptop của nhân viên kỹ thuật đi công trình (không có mạng ổn định, máy không có GPU rời). Mình thử các model cỡ nhỏ có sẵn trên Ollama, chia sẻ cảm nhận theo từng loại việc. CÁC MODEL ĐÃ THỬ - gemma4:e2b và gemma4:e4b (Google): dòng "hiệu quả" của Gemma 4, nhận được cả văn bản và hình ảnh. - qwen3.5:2b và qwen3.5:4b (Alibaba): cũng nhận văn bản và hình ảnh, hỗ trợ nhiều ngôn ngữ. - Máy thử: laptop văn phòng RAM 16GB, chỉ có card đồ hoạ tích hợp. THEO TỪNG LOẠI VIỆC 1. Tóm tắt biên bản, ghi chú công trình (tiếng Việt) - Bản khoảng 4B tóm tắt được ý chính, câu chữ hơi cứng nhưng dùng được. - Bản khoảng 2B hay bỏ sót chi tiết, đôi khi lặp ý. 2. Trích xuất thông tin thành JSON (ví dụ từ ghi chú lấy ra hạng mục, khối lượng, ngày) - Cả 4 model làm khá ổn khi có ví dụ mẫu trong prompt và đặt temperature = 0. - Nên có bước code kiểm tra JSON và hỏi lại nếu thiếu trường. 3. Đọc ảnh (ảnh chụp bảng thông số, biển báo, phiếu in) - Chữ in rõ: đọc tốt. - Chữ viết tay, ảnh mờ: model nhỏ kém rõ rệt so với các bản lớn như gemma4:26b mà chiresearch từng chia sẻ. 4. Hỏi đáp kiến thức chuyên môn - Không nên tin. Model nhỏ hay trả lời tự tin mà sai. Muốn hỏi đáp thì phải đưa tài liệu vào (RAG), và vẫn cần người kiểm tra. TỐC ĐỘ - Trên laptop không có GPU, bản 2B phản hồi đủ nhanh để dùng thoải mái; bản 4B chậm hơn thấy rõ nhưng vẫn chấp nhận được cho tác vụ ngắn. - Ngữ cảnh dài (tài liệu nhiều trang) làm tốc độ giảm mạnh, nên chia nhỏ tài liệu. KẾT LUẬN CỦA TEAM MÌNH - Dùng bản khoảng 4B làm mặc định cho tóm tắt và trích xuất. - Việc quan trọng (đọc chữ tay, quyết định kỹ thuật) thì chờ có mạng để dùng model lớn hoặc chuyển cho người. - Model nhỏ hợp nhất với việc có khuôn rõ ràng và có bước kiểm tra phía sau. Mọi người đang chạy model nhỏ cho việc gì? Có ai thử trên điện thoại chưa?