#gpu — tin AI mới nhất

Tôi xây pipeline OCR PDF scan 60 trang: chỉ dùng GPU khi cần — Với PDF dài 50–60 trang, tôi extract text layer trước và chỉ OCR các bản scan. Cách chia theo trang, gọi Gemma nội bộ qua Ollama và kiểm soát retry giúp pipeline dễ vận hành hơn.
Cộng đồng LocalLLaMA thử chuyển các lớp mô hình đang chạy giữa GPU trong lúc trả lời — Một nhà phát triển tuyên bố engine suy luận thử nghiệm jitllm có thể chuyển các lớp của mô hình giữa các GPU ngay khi mô hình đang tạo câu trả lời, với độ trễ được báo cáo khoảng 8 mili giây và…
NVIDIA Run:ai mã nguồn mở: thêm lựa chọn điều phối GPU trên Kubernetes — NVIDIA đã mã nguồn mở toàn bộ Run:ai, gồm KAI Scheduler, GPU Fractioning Operator, KAI Resource Management và Workload Map. Đây là lựa chọn mới để đội hạ tầng đánh giá khi vận hành GPU dùng chung…
Giữ Spark trên GPU: dùng AI agent để viết lại UDF và đo hiệu năng — UDF có thể khiến pipeline Spark đang chạy GPU phải quay về CPU, phát sinh chi phí chuyển đổi và truyền dữ liệu. NVIDIA giới thiệu cuDF skills for Apache Spark để hỗ trợ agent viết lại, kiểm thử,…
NVIDIA giới thiệu cuDF skills dùng AI agent để viết lại UDF Apache Spark cho GPU — NVIDIA giới thiệu cuDF skills cho Apache Spark, bộ quy trình dùng AI agent giúp lập trình viên viết lại các hàm tùy chỉnh để tác vụ xử lý dữ liệu có thể tiếp tục chạy trên GPU. Những hàm này, gọi là…
Bài đăng LocalLLaMA cho rằng 4 GPU Tesla V100 vượt M5 Ultra và DGX Spark ở một số bài đo suy luận AI — Một bài đăng trên LocalLLaMA cho rằng bốn GPU NVIDIA Tesla V100 gắn trên bo mạch NVLink vượt Apple M5 Ultra và NVIDIA DGX Spark tới 230% trong một số bài đo hiệu năng suy luận AI. Người đăng hỏi…
NVIDIA mở mã nguồn toàn bộ nền tảng Run:ai trong DSX AI Factory — NVIDIA đã mở mã nguồn toàn bộ nền tảng Run:ai trong khuôn khổ DSX AI Factory Platform. Run:ai quản lý tác vụ AI và phân bổ GPU giữa các cụm Kubernetes, hệ thống mà các tổ chức dùng để chạy ứng dụng…
Intel D270 tới 480 GB LPDDR5X: admin cần hỏi gì trước khi tính chuyện mua — Card PCIe 5.0, 350W, làm mát bằng không khí, tới 480 GB LPDDR5X, không dùng HBM. Dung lượng đổi bài toán sizing ra sao, băng thông (Intel chưa công bố) ảnh hưởng decode thế nào, và còn thiếu gì…
"Strata" cho GLM5.3 Flash đã có mặt với một số người dùng! Project Maya — Một người dùng cho biết Project Maya, một dự án trên GitHub, cho phép chạy GLM-5.3-Flash (được mô tả là mô hình 321 tỷ tham số) trên một GPU NVIDIA hoặc tối đa 16 GPU, với hỗ trợ AMD và Windows ở…
Lập lịch có tác động cho các cụm GPU — Bài blog có tiêu đề "Impactful scheduling for GPU clusters", dường như đề cập đến việc lập lịch tác vụ trên các cụm GPU. Do không có đoạn trích hay nội dung bài viết nên chưa thể xác định phương…
DoSA: Tăng tốc sparse attention bằng chứng nhận Top-K chính xác — Các nhà nghiên cứu giới thiệu DoSA (Dots Sparse Attention), một phương pháp không làm thay đổi kết quả nhằm tăng tốc hệ thống sparse attention mà vẫn giữ nguyên các token được chọn. Thay vì chấm…