#local-ai — tin AI mới nhất

Cộng đồng Hacker News giới thiệu PS5LM, chạy mô hình GGUF trên PS5 đã jailbreak — PS5LM là một dự án cộng đồng tuyên bố có thể biến PS5 đã jailbreak thành máy chủ mô hình ngôn ngữ chạy cục bộ, sử dụng llama.cpp và GPU của console. Ứng dụng tải các model GGUF — định dạng đóng gói…
NVIDIA giới thiệu RTX Spark để viết mã, kiểm thử và triển khai AI trên một máy — NVIDIA đã giới thiệu RTX Spark, nền tảng máy tính xách tay và máy tính để bàn nhỏ gọn sử dụng hệ thống trên chip GB10, với tối đa 128GB bộ nhớ hợp nhất và năng lực tính toán AI FP4 lên tới 1…
Người dùng r/StableDiffusion thử nghiệm quy trình cục bộ tự động tạo sitcom dài 8,5 phút — Một người dùng trong cộng đồng Stable Diffusion cho biết họ đã xây dựng quy trình cục bộ hoàn toàn tự động để tạo một tập sitcom phong cách thập niên 1980 dài 8 phút 30 giây mang tên “Dorm Daze” chỉ…
Cộng đồng LocalLLaMA thử chuyển các lớp mô hình đang chạy giữa GPU trong lúc trả lời — Một nhà phát triển tuyên bố engine suy luận thử nghiệm jitllm có thể chuyển các lớp của mô hình giữa các GPU ngay khi mô hình đang tạo câu trả lời, với độ trễ được báo cáo khoảng 8 mili giây và…
Người dùng LocalLLaMA chia sẻ hệ thống AI nội bộ phục vụ 40 người bằng 4 GPU 6000 Blackwell MaxQ — Một thành viên cộng đồng LocalLLaMA cho biết công ty của họ đang phục vụ 40 người, trong đó có 10 lập trình viên, bằng một hệ thống AI tự vận hành tại chỗ. Hệ thống chạy trên máy chủ 4U với bốn GPU…
Bài đăng LocalLLaMA cho biết Sipeed công bố MaixStation, so sánh với Strix Halo và DGX Spark — Sipeed được cho là đã công bố MaixStation, một thiết bị được so sánh với Strix Halo và DGX Spark như một lựa chọn để chạy mô hình AI tại máy. Thông số và hiệu năng của thiết bị chưa được xác thực từ…
OpenMed 3.0 ra mắt: AI y tế giấy phép Apache-2.0 chạy hoàn toàn cục bộ, không bao giờ dùng đến đám mây. 422 issue đang mở nếu bạn muốn tham gia 3.1 — OpenMed, bộ công cụ AI y tế mã nguồn mở theo giấy phép Apache-2.0, vừa phát hành phiên bản 3.0, do người bảo trì dự án đăng trên r/LocalLLaMA. Bộ công cụ giữ dữ liệu bệnh nhân trên máy của người…
Xây dựng ứng dụng AI cục bộ với C++ và các mẫu NVIDIA TensorRT RTX — NVIDIA đăng một bài blog hướng dẫn xây dựng ứng dụng AI chạy cục bộ bằng C++ với các mẫu TensorRT RTX. Phần trích dẫn nêu rằng việc đưa mô hình AI vào ứng dụng cục bộ cần một định dạng mô hình có…