Tự chạy LLM trong mạng nội bộ với Ollama: từ thử nghiệm đến vận hành
Ollama cho phép chạy mô hình trên máy bạn quản lý và cung cấp REST API cho ứng dụng nội bộ. Playbook này đi từ phép thử CLI, API đến những việc cần kiểm tra trước khi mở dịch vụ cho người dùng.
Một phòng ban muốn dùng chatbot để tra cứu ticket vận hành, với điều kiện dữ liệu không được gửi ra dịch vụ bên ngoài. Bạn được giao chạy LLM trong mạng công ty. Cài đặt chỉ là bước đầu; trước khi bàn giao, bạn còn phải trả lời: ai được gọi API, máy chịu tải ra sao và khi có lỗi thì kiểm tra ở đâu?
Ollama cho phép chạy mô hình bằng dòng lệnh và cung cấp REST API để ứng dụng gọi tới. Một câu trả lời thành công trên máy thử nghiệm chưa phải là một dịch vụ nội bộ sẵn sàng cho nhiều người dùng. Playbook dưới đây giúp bạn đi từ phép thử đầu tiên đến danh sách việc cần xác minh trước khi triển khai.
Xác định ranh giới của giải pháp
Với Ollama, bạn có thể đặt thành phần chạy mô hình trên máy mình quản lý thay vì gửi yêu cầu đến một API mô hình bên ngoài. Điều đó hữu ích khi xử lý ticket, log hoặc tài liệu cấu hình có yêu cầu kiểm soát dữ liệu.
Tuy nhiên, đặt Ollama trong mạng nội bộ không tự bảo đảm toàn bộ dữ liệu luôn ở trong mạng. Bạn vẫn cần kiểm tra ứng dụng kết nối tới nó, thành phần giao diện nếu có, luồng tải phần mềm và mô hình, cũng như chính sách lưu dữ liệu của từng thành phần.
README hướng dẫn chạy mô hình và gọi API, nhưng không cung cấp định mức GPU, VRAM, RAM hay số người dùng đồng thời để lập kế hoạch mua sắm. Tài liệu được dẫn cũng chưa mô tả một quy trình đầy đủ để chuẩn bị gói cài đặt và mô hình cho môi trường cách ly hoàn toàn.
Ollama đảm nhiệm phần nào?
Hãy xem Ollama là thành phần chạy mô hình, không phải một cổng AI doanh nghiệp hoàn chỉnh. README giới thiệu ba cách tương tác:
CLI: chạy và trò chuyện với mô hình, phù hợp để thử trên một máy.
REST API: cho ứng dụng gửi yêu cầu; ví dụ trong README gọi localhost:11434.
Thư viện Python và JavaScript: để đội phát triển tích hợp vào ứng dụng.
README cũng liệt kê các giao diện cộng đồng như Open WebUI, Onyx và LibreChat. Việc một giao diện có trong danh sách không có nghĩa Ollama tự cung cấp đăng nhập, phân quyền theo phòng ban hay nhật ký kiểm toán cho toàn hệ thống. Nếu cần giao diện web, hãy đánh giá riêng cách triển khai và kiểm soát truy cập của thành phần đó.
Bước 1: Cài và thử CLI trên một máy
Bắt đầu trên máy được phép tải và chạy phần mềm. Trên Linux hoặc macOS, README đưa lệnh:
shell
curl -fsSL https://ollama.com/install.sh | sh
Trên Windows:
shell
irm https://ollama.com/install.ps1 | iex
Các lệnh này tải rồi thực thi script. Trong môi trường có quy trình kiểm soát thay đổi, hãy đưa chúng qua bước xem xét phần mềm trước khi chạy. README cũng dẫn tới hướng dẫn cài thủ công cho Linux và bộ cài tải thủ công cho macOS, Windows.
Sau khi cài, mở Ollama:
shell
ollama
Theo README, chương trình sẽ gợi ý chạy mô hình hoặc kết nối với ứng dụng khác. Để thử mô hình được dùng trong ví dụ của tài liệu:
shell
ollama run gemma4
Hãy đặt một câu hỏi không chứa dữ liệu thật của công ty. Ở bước này, mục tiêu chỉ là xác nhận bạn vào được phiên trò chuyện và nhận phản hồi, không phải kết luận máy đã đủ nhanh hoặc đủ sức phục vụ nhiều người.
Bước 2: Thử đường gọi API
Trên chính máy chạy dịch vụ, gửi yêu cầu theo ví dụ REST API của README:
shell
curl http://localhost:11434/api/chat -d '{
"model": "gemma4",
"messages": [{
"role": "user",
"content": "Why is the sky blue?"
}],
"stream": false
}'
Phép thử này xác nhận đường gọi mà ứng dụng dự kiến sử dụng. Trước khi viết mã xử lý phản hồi, hãy đối chiếu cấu trúc dữ liệu thực nhận với tài liệu API của Ollama; README không kèm một phản hồi mẫu để so từng trường.
Bước 3: Thử bằng tình huống vận hành giả lập
Câu hỏi kiến thức chung chưa cho biết mô hình sẽ xử lý ticket như thế nào. Hãy dùng dữ liệu giả lập, ngắn và có thể kiểm tra, chẳng hạn nội dung sau trong phiên chat:
text
Bạn hỗ trợ phân loại ticket hạ tầng. Chỉ dựa vào dữ kiện dưới đây.
Nếu thiếu thông tin, nói rõ điều cần kiểm tra; không tự kết luận nguyên nhân.
Ticket: <mô tả lỗi giả lập, không có thông tin nhạy cảm>
Tín hiệu quan sát được: <log hoặc cảnh báo giả lập>
Trả lời theo mục:
Hiện tượng
Giả thuyết cần xác minh
Bước kiểm tra an toàn tiếp theo
Nếu đầu vào chỉ nói “Ứng dụng không kết nối được cơ sở dữ liệu; chưa có log phía máy chủ”, câu trả lời không nên khẳng định cơ sở dữ liệu đã sập. Hãy kiểm tra xem mô hình có tách hiện tượng khỏi giả thuyết và nêu những thông tin còn thiếu hay không.
Người quản trị vẫn phải đối chiếu mọi đề xuất với hệ thống thật, nhất là trước khi thực hiện lệnh hoặc thay đổi trạng thái dịch vụ. Không đưa nguyên văn câu trả lời của mô hình vào quy trình xử lý sự cố mà bỏ qua bước xác minh.
Trước khi mở dịch vụ cho người dùng
Truy cập và dữ liệu. Ví dụ API trong README dùng localhost; phần hướng dẫn này không đưa ra thiết kế xác thực, phân quyền hay cách công bố dịch vụ ra mạng. Đừng mở endpoint trực tiếp cho toàn công ty chỉ vì phép thử cục bộ đã thành công. Trước tiên, hãy xác định ai được kết nối, lớp kiểm soát truy cập nằm ở đâu và dữ liệu yêu cầu được xử lý như thế nào.
Cập nhật và quay lui. README nêu script cài đặt cùng image Docker ollama/ollama, nhưng không trình bày quy trình nâng cấp hoặc quay lui cho hệ thống của bạn. Hãy thử thay đổi trên môi trường kiểm thử, ghi nhận phiên bản đang chạy và chuẩn bị phương án quay lại.
Quan sát lỗi. Trước khi nhận yêu cầu hỗ trợ từ người dùng, đội vận hành cần biết cách kiểm tra tình trạng dịch vụ, lỗi gọi API và mức dùng tài nguyên trong môi trường triển khai của mình. Việc có lưu nội dung hội thoại hay không cũng cần tuân theo chính sách dữ liệu của công ty.
Đo tải trên cấu hình thực tế. README không đưa ra bảng sizing hay mức đồng thời bảo đảm. Hãy đo với đúng máy, mô hình và kiểu yêu cầu dự kiến sử dụng; thử nhiều yêu cầu cùng lúc trước khi quyết định cấp tài nguyên.
Checklist trước khi bàn giao: đã thử CLI và API; đã xác định cách chuẩn bị phần mềm, mô hình; đã thiết kế kiểm soát truy cập; đã có cách xem lỗi và tài nguyên; đã thử tải thực tế. Ollama giúp bạn bắt đầu chạy LLM tại chỗ. Để trở thành dịch vụ nội bộ, nó vẫn cần những quyết định vận hành đó.