#inference — tin AI mới nhất

NVIDIA giới thiệu Nemotron 3.5 Super VL, mô hình đa phương thức 120B cho agent chuyên biệt — NVIDIA đã giới thiệu Nemotron 3.5 Super VL, một mô hình đa phương thức mở và có thể tùy biến dành cho các agent doanh nghiệp chuyên biệt. Kiến trúc mixture-of-experts của mô hình có 120 tỷ tham số…
Project Maya: chạy GLM-5.3-Flash 321B riêng trên 1–16 GPU — Project Maya nhắm tới việc chạy GLM-5.3-Flash 321B MoE trong hạ tầng nội bộ, từ một tới 16 GPU. Với sysadmin, trọng tâm là chọn quant theo pool bộ nhớ, benchmark node thực tế và kiểm soát vận hành…
Cộng đồng LocalLLaMA thử chuyển các lớp mô hình đang chạy giữa GPU trong lúc trả lời — Một nhà phát triển tuyên bố engine suy luận thử nghiệm jitllm có thể chuyển các lớp của mô hình giữa các GPU ngay khi mô hình đang tạo câu trả lời, với độ trễ được báo cáo khoảng 8 mili giây và…
Cộng đồng LocalLLaMA cho rằng Qwen 27B chạy khoảng 20 token/giây trên GPU PS5 đã jailbreak — Một bài đăng trong cộng đồng cho rằng mô hình ngôn ngữ Qwen 27B đang chạy với tốc độ khoảng 20 token/giây trên GPU của một máy PlayStation 5 đã jailbreak. Nếu chính xác, kết quả này cho thấy phần…
Bài đăng LocalLLaMA cho rằng 4 GPU Tesla V100 vượt M5 Ultra và DGX Spark ở một số bài đo suy luận AI — Một bài đăng trên LocalLLaMA cho rằng bốn GPU NVIDIA Tesla V100 gắn trên bo mạch NVLink vượt Apple M5 Ultra và NVIDIA DGX Spark tới 230% trong một số bài đo hiệu năng suy luận AI. Người đăng hỏi…
Intel D270 tới 480 GB LPDDR5X: admin cần hỏi gì trước khi tính chuyện mua — Card PCIe 5.0, 350W, làm mát bằng không khí, tới 480 GB LPDDR5X, không dùng HBM. Dung lượng đổi bài toán sizing ra sao, băng thông (Intel chưa công bố) ảnh hưởng decode thế nào, và còn thiếu gì…
ReplaySSM: Nghĩ lại cách lưu trữ trạng thái để giải mã nhanh hơn trên các mô hình lai — Bài blog "ReplaySSM: Rethinking State Storage for Faster Hybrid-Model Decoding" bàn về các mô hình lai xen kẽ các lớp state-space model (SSM) với một số ít lớp attention. Phần trích dẫn nêu NVIDIA…
CẬP NHẬT: Qwen 3.8 27B đạt 140 tok/s trên một RTX 3090 với Megakernel: KL divergence 0.0009 so với llama.cpp — Một nhà phát triển đã đăng bản cập nhật về engine CUDA megakernel cho Qwen3.8-27B, được cho là chạy nhanh hơn llama.cpp 1,4-1,9 lần trên một card RTX 3090, đạt khoảng 140 tok/s khi xử lý code. Bản…
Nhắc nhở: hãy thử MTP xác suất nếu bạn chưa thử. Tốc độ decode tăng 14% với văn xuôi — Một bài đăng nhắc người dùng llama.cpp rằng hỗ trợ MTP (dự đoán nhiều token) theo xác suất, được thêm trong pull request 27694, đã được merge và khuyên nên cập nhật. Tác giả báo cáo tốc độ decode…
Xây dựng hệ thống 4x R9700 cho startup 10 người — Một người dùng chia sẻ cấu hình trị giá 18 nghìn USD cho startup 10 người: Threadripper 9970x, 128GB DDR5 ECC và bốn GPU AMD Radeon R9700 AI Pro 32GB (tổng 128GB VRAM) trên nguồn 1600W, mỗi GPU được…
TokenRouter: Hệ thống phục vụ hiệu quả cho định tuyến LLM ở cấp độ token — TokenRouter là một hệ thống phục vụ suy luận LLM với định tuyến ở cấp độ token, trong đó các token khác nhau của cùng một yêu cầu có thể được chuyển đến các mô hình khác nhau. Nhóm tác giả cho rằng…
Xây dựng ứng dụng AI cục bộ với C++ và các mẫu NVIDIA TensorRT RTX — NVIDIA đăng một bài blog hướng dẫn xây dựng ứng dụng AI chạy cục bộ bằng C++ với các mẫu TensorRT RTX. Phần trích dẫn nêu rằng việc đưa mô hình AI vào ứng dụng cục bộ cần một định dạng mô hình có…
Kho mã nguồn mới: deepseek-ai/DeepEP-Ascend — Một kho mã nguồn mới có tên deepseek-ai/DeepEP-Ascend vừa được đăng tải. Đây được mô tả là thư viện truyền thông hiệu năng cao phục vụ huấn luyện và suy luận học máy trên các NPU Huawei Ascend.
Suy luận được chuyển tải ra ngoài cho robot AI vật lý trong thế giới thực — Microsoft Research công bố kết quả cho thấy việc chuyển quá trình suy luận AI ra khỏi robot và đưa sang hạ tầng tính toán bên ngoài có thể cải thiện tỷ lệ hoàn thành nhiệm vụ và hiệu quả hoạt động.…
Vượt qua nút thắt suy luận: Tăng tốc tìm kiếm AI phức tạp với Retrieve-for-Train — Bài blog có tiêu đề "Bypassing inference bottlenecks: Accelerating complex AI search with Retrieve-for-Train", thuộc chuyên mục Algorithms & Theory. Theo tiêu đề, bài viết giới thiệu phương pháp…