Hướng dẫn: Dùng AI làm sạch dữ liệu Excel lộn xộn (tên, địa chỉ, số điện thoại) mà vẫn kiểm soát được
Ai làm dữ liệu cũng từng nhận file Excel kiểu: tên khách viết hoa viết thường lẫn lộn, địa chỉ mỗi người ghi một kiểu, số điện thoại có dấu cách, dấu chấm, có cả số cũ 11 số. Bài này chia sẻ cách mình dùng AI để làm sạch dữ liệu nhưng vẫn kiểm soát được chất lượng, áp dụng cho file khoảng 50.000 dòng khách hàng. NGUYÊN TẮC CHUNG Việc gì có quy tắc rõ ràng thì làm bằng code (hoặc công thức Excel), chỉ dùng AI cho phần cần "hiểu". Lý do: code chạy nhanh, miễn phí, cho kết quả giống nhau mỗi lần; AI thì chậm, tốn tiền và đôi khi sai không đoán trước được. BƯỚC 1: KHẢO SÁT DỮ LIỆU Lấy ngẫu nhiên 200 dòng, đọc và liệt kê các kiểu lỗi. Có thể nhờ AI làm việc này: dán 200 dòng mẫu và hỏi "liệt kê các kiểu không thống nhất trong dữ liệu này". Danh sách lỗi sẽ quyết định việc nào dùng code, việc nào dùng AI. BƯỚC 2: XỬ LÝ BẰNG CODE TRƯỚC - Số điện thoại: bỏ ký tự không phải số, đổi +84 thành 0, đổi đầu số cũ 11 số sang 10 số theo bảng chuyển đổi, kiểm tra độ dài. - Tên: chuẩn hoá Unicode, bỏ khoảng trắng thừa, viết hoa chữ cái đầu mỗi từ. - Email: chuyển chữ thường, kiểm tra định dạng. Riêng bước này đã xử lý được khoảng 70% lỗi. BƯỚC 3: DÙNG AI CHO PHẦN KHÓ Phần mình dùng AI là địa chỉ: tách thành số nhà, đường, phường/xã, quận/huyện, tỉnh/thành; sửa lỗi chính tả tên đường; nhận ra "Q.1", "Quận 1", "Q1" là một. Cách làm: - Gửi theo lô 20–50 dòng mỗi lần, kèm mã dòng để ghép lại. - Yêu cầu trả về JSON với các trường cố định, thêm trường "dotincay" (cao/trung bình/thấp) và "ghichu" nếu có điểm không chắc. - Đưa vào prompt danh sách tỉnh thành và quận huyện chuẩn để model chọn trong danh sách thay vì tự nghĩ ra. - Đặt temperature = 0. BƯỚC 4: KIỂM TRA TỰ ĐỘNG - Tên tỉnh/quận phải nằm trong danh sách chuẩn, không thì đánh dấu lỗi. - Quận phải thuộc đúng tỉnh. - So sánh với dữ liệu gốc: nếu AI "sửa" quá nhiều (ví dụ đổi hẳn tên đường) thì đánh dấu để người xem lại. BƯỚC 5: NGƯỜI KIỂM TRA PHẦN KHÔNG CHẮC Các dòng có độ tin cậy thấp hoặc bị kiểm tra tự động đánh dấu (khoảng 5–8%) được đưa vào một sheet riêng để người kiểm tra. Đừng bỏ qua bước này. BƯỚC 6: LƯU VẾT Giữ nguyên cột gốc, thêm các cột đã làm sạch bên cạnh, cộng một cột ghi nguồn sửa (code / AI / người). Sau này có sai sót còn truy lại được. KẾT QUẢ - 50.000 dòng xử lý trong khoảng 1 buổi chiều, chi phí API vài chục nghìn đồng (dùng model nhỏ). - Khoảng 3.000 dòng cần người xem lại, mất khoảng 1 ngày công thay vì cả tuần làm tay. LƯU Ý QUAN TRỌNG Dữ liệu khách hàng là dữ liệu cá nhân. Hãy kiểm tra quy định của công ty trước khi gửi lên dịch vụ AI bên ngoài, hoặc dùng model chạy nội bộ. Chỉ gửi những cột cần xử lý (ví dụ chỉ cột địa chỉ), không gửi kèm tên và số điện thoại nếu không cần.