Cộng đồng GitHub giới thiệu NamiGPT, bộ hướng dẫn tự viết GPT-2 bằng PyTorch
NamiGPT là bộ hướng dẫn và mã nguồn tiếng Trung dành cho người mới, chỉ cách tự xây dựng GPT-2 bằng PyTorch mà không gọi trực tiếp các mô-đun Transformer có sẵn. Phần mô hình cốt lõi dài chưa đến 200 dòng, có thể nạp bộ trọng số GPT-2 chính thức của OpenAI để chạy suy luận và sinh văn bản; kho mã hỗ trợ các cấu hình 124M, 355M, 774M và 1.5B tham số. Khóa học gồm 15 phần, giải thích từ tokenizer, embedding, mã hóa vị trí, self-attention đến Transformer block, nạp trọng số có sẵn, sinh văn bản và khả năng diễn giải mô hình. Tác giả dùng ví dụ ba từ “猫吃鱼” (“mèo ăn cá”) để minh họa từng phép tính ma trận, đồng thời cung cấp hình ảnh trực quan, script có thể chạy, bài kiểm thử đối chiếu với bản triển khai của Hugging Face và demo Gradio. Dự án cũng chỉ ra các chi tiết dễ khiến kết quả không khớp, như mặt nạ nhân quả, chuyển vị trọng số Conv1D của GPT-2, tách các trọng số query-key-value được ghép chung và dùng phiên bản GELU xấp xỉ tanh của GPT-2. Với người học và lập trình viên, NamiGPT là cách thực hành để hiểu cấu trúc bên trong của một mô hình ngôn ngữ có ảnh hưởng như GPT-2 và chạy một bản tương thích trên máy cá nhân; GPT-2 là mô hình hoàn thành văn bản chứ không phải trợ lý hội thoại, nên chủ yếu viết tiếp câu lệnh thay vì trả lời câu hỏi.
Người mới học LLM hoặc lập trình viên muốn hiểu sâu GPT-2 có thể clone NamiGPT, cài các phụ thuộc và chạy từng chương, bài kiểm tra hoặc demo Gradio. Hãy lưu ý GPT-2 chỉ tiếp tục văn bản, chủ yếu dùng dữ liệu tiếng Anh và không phải chatbot được tinh chỉnh để trả lời câu hỏi.
Đọc bài gốc