Chạy LLM local trên máy cá nhân: cấu hình bao nhiêu là đủ?
Mình muốn chạy model open-weight trên máy cá nhân để xử lý dữ liệu nội bộ (hợp đồng, tài liệu khách hàng), không gửi ra ngoài. Máy hiện tại: - CPU Ryzen 7, RAM 32GB - GPU 12GB VRAM Câu hỏi: 1. Với 12GB VRAM thì chạy được model cỡ nào ở mức quantize 4-bit mà vẫn mượt? 2. Nên dùng Ollama, LM Studio hay llama.cpp trực tiếp? Mình cần gọi được qua API từ code Python. 3. Tốc độ thực tế (token/giây) của mọi người thế nào? 4. Model nào tóm tắt tiếng Việt ổn nhất trong tầm cấu hình này? Ai đã setup rồi cho mình xin cấu hình tham khảo với!