mlabonne/llm-course: Lộ trình học và thực hành LLM
mlabonne/llm-course là lộ trình học miễn phí dành cho người muốn làm quen với các mô hình ngôn ngữ lớn, được chia thành ba hướng: phần kiến thức nền tảng tùy chọn, LLM Scientist và LLM Engineer. Phần nền tảng bao gồm toán học, Python, mạng nơ-ron và các khái niệm học máy; hướng Scientist tập trung vào xây dựng và cải thiện mô hình, còn hướng Engineer đề cập đến phát triển và triển khai ứng dụng. Kho mã cung cấp các notebook Google Colab và bài viết về đánh giá, fine-tuning, lượng tử hóa, hợp nhất và triển khai LLM mã nguồn mở. Nội dung bao gồm Llama, Mistral, CodeLlama, QLoRA, DPO, ORPO, GGUF, GPTQ, EXL2, AWQ, HQQ, MergeKit, Axolotl và llama.cpp; một số công cụ giúp đơn giản hóa các tác vụ này trên nền tảng đám mây hoặc phần cứng phổ thông. Kho cũng có tài liệu về chiến lược giải mã, knowledge graph, mô hình mixture-of-experts và loại bỏ dữ liệu trùng lặp. Đây là tài liệu tham khảo thực tế cho người mới bắt đầu và lập trình viên trình độ trung cấp muốn đi từ nền tảng học máy đến phát triển LLM, với các notebook giúp thử nghiệm mà không phải tự thiết lập mọi thứ từ đầu.
Đây là lộ trình miễn phí phù hợp cho sinh viên, lập trình viên và người muốn học LLM từ nền tảng đến xây dựng ứng dụng. Bạn có thể bắt đầu với các notebook Google Colab để thử fine-tuning, lượng tử hóa và triển khai mô hình mã nguồn mở theo hướng thực hành.
Đọc bài gốc