Gộp báo cáo tuần bằng Power Query, dùng AI rà soát thay đổi cấu trúc

Playbook gộp file báo cáo từ thư mục bằng Power Query: lọc file đầu vào, chọn file mẫu, kiểm tra Transform Sample file và dùng AI để rà soát khác biệt schema trước khi chỉnh query.

Một thư mục báo cáo tuần thường bắt đầu rất đơn giản: mỗi tuần một file Excel hoặc CSV, sau đó gộp lại để làm dashboard. Rắc rối xuất hiện khi có file ghi chú bị đưa nhầm vào thư mục, một cột bị đổi tên, hoặc file mới không còn cùng cấu trúc với các file trước.

Power Query có tính năng Combine files để gộp nhiều file thành một bảng logic. Tuy nhiên, tính năng này được thiết kế cho các file có cùng kiểu và cùng cấu trúc, bao gồm các cột tương ứng. Vì vậy, khi cấu trúc thay đổi, mục tiêu không phải là “để AI tự sửa mọi thứ”, mà là phát hiện khác biệt sớm và kiểm tra đúng chỗ trong query.

AI có thể hỗ trợ bạn đọc thông báo lỗi, so sánh danh sách cột và lập checklist kiểm tra. Còn quyết định sửa logic vẫn cần dựa trên file thực tế và kết quả kiểm tra trong Power Query.

Hiểu đúng cách Power Query gộp file

Power Query có thể gộp file từ nhiều nguồn, chẳng hạn như:

Thư mục cục bộ SharePoint Azure Blob Storage Azure Data Lake Storage Gen1 và Gen2

Khi kết nối tới các nguồn này, Power Query hiển thị danh sách file dưới dạng file system view. Trong danh sách đó, cột Content chứa biểu diễn nhị phân của từng file, thường hiển thị là [Binary].

Khi bạn dùng Combine files, Power Query thực hiện một chuỗi bước tự động:

Chọn một example file để phân tích. Xác định connector phù hợp để mở file, như Text/CSV, Excel, JSON hoặc XML. Tạo query mẫu có tên Transform Sample file. Tạo một function nhận file hoặc binary làm đầu vào. Áp dụng function này cho từng file trong danh sách. Mở rộng kết quả thành các cột của bảng cuối.

Điểm cần nhớ: thay đổi trong Transform Sample file sẽ được phản chiếu vào function xử lý các file. Đây là nơi cần kiểm tra đầu tiên khi bạn muốn thay đổi cách đọc hoặc biến đổi dữ liệu cho toàn bộ thư mục.

Đừng gộp mọi file có trong thư mục

Microsoft khuyến nghị lọc danh sách file trước khi gộp, chẳng hạn theo Extension hoặc Folder Path.

Ví dụ, một thư mục có thể chứa:

| Name | Extension | Vai trò | |---|---|---| | reportweeka.csv | .csv | File cần gộp | | reportweekb.csv | .csv | File cần gộp | | reportnotes.xlsx | .xlsx | Không thuộc tập dữ liệu | | reporttotal.csv | .csv | Cần xác nhận trước khi gộp |

Đừng coi việc lọc file là bước phụ. Nó xác định chính xác tập dữ liệu mà query được phép xử lý.

Trước khi bấm Combine, hãy xác định rõ:

File nào là đầu vào hợp lệ. Phần mở rộng nào được chấp nhận. Thư mục hoặc thư mục con nào được phép lấy dữ liệu. File tổng hợp, file thử nghiệm hoặc file ghi chú có cần loại trừ hay không.

Quy trình Combine files và các điểm cần kiểm tra

1. Kết nối tới nguồn file

Kết nối tới thư mục hoặc nguồn lưu trữ chứa các báo cáo. Bạn sẽ thấy bảng preview gồm danh sách file và cột Content có các giá trị [Binary].

Nếu chắc chắn cần gộp tất cả file trong danh sách, bạn có thể chọn Combine. Nếu cần lọc trước, chọn Transform data để vào Power Query Editor.

2. Lọc danh sách file trước khi gộp

Trong Power Query Editor, lọc các cột có sẵn như:

Extension Folder Path Tên file hoặc các trường phù hợp khác

Sau bước này, danh sách chỉ nên còn các file thực sự thuộc tập dữ liệu cần gộp.

3. Chạy Combine files từ cột Content

Chọn cột chứa [Binary], sau đó dùng một trong hai cách:

Chọn Combine files trong nhóm Combine ở tab Home. Chọn biểu tượng Combine files trên tiêu đề cột chứa binary.

4. Chọn example file có chủ đích

Trong hộp thoại Combine files, Power Query mặc định dùng file đầu tiên trong danh sách làm file mẫu. Bạn có thể chọn một file khác từ danh sách Example file.

Hãy chọn file đại diện cho cấu trúc bạn muốn áp dụng. File này ảnh hưởng tới các bước trích xuất ban đầu mà Power Query tạo ra.

5. Cân nhắc tùy chọn Skip files with errors

Tùy chọn Skip files with errors cho phép loại khỏi output các file phát sinh lỗi.

Tùy chọn này có thể hữu ích khi bạn cần tiếp tục xử lý các file hợp lệ. Tuy nhiên, file bị bỏ qua vẫn cần được kiểm tra: lỗi có thể xuất phát từ sai cấu trúc, sai kiểu file hoặc vấn đề trong dữ liệu đầu vào.

6. Kiểm tra các query được tạo tự động

Sau khi gộp, Power Query tạo các thành phần hỗ trợ, gồm:

Query mẫu Transform Sample file Function query liên kết với query mẫu Nhóm query có tiền tố Transform file from

Khi cần thay đổi cách xử lý chung, hãy bắt đầu từ query mẫu. Power Query liên kết query mẫu với function, nên thay đổi ở query mẫu sẽ phản chiếu vào function xử lý từng binary.

Vì sao thay đổi cột dễ gây lỗi?

Combine files phù hợp nhất khi các file có cùng kiểu và cùng cấu trúc. Nếu tên cột hoặc kiểu dữ liệu thay đổi, các bước được tạo từ file mẫu có thể không còn phù hợp với file mới.

Microsoft lưu ý rằng thay đổi tên cột hoặc kiểu dữ liệu có thể ảnh hưởng đến bước cuối của output query. Đặc biệt, bước đổi kiểu dữ liệu như Change column type có thể tạo lỗi ở cấp bước và khiến bạn không xem được bảng kết quả.

Vì vậy, khi một file tuần mới xuất hiện, hãy kiểm tra:

Có cột nào bị thiếu không? Có cột mới không? Có cột nào đổi tên không? Kiểu dữ liệu có còn phù hợp không? Bước cuối của output query có đang tham chiếu tới tên cột cũ không?

Dùng AI để rà soát khác biệt schema

AI không thay thế việc kiểm tra query trong Power Query Editor. Nhưng bạn có thể dùng AI như một người review để đọc danh sách cột, thông báo lỗi và đề xuất thứ tự kiểm tra.

Chỉ cần cung cấp schema, tên cột và nội dung lỗi cần thiết. Không yêu cầu AI tự suy đoán những cột hoặc quy tắc nghiệp vụ chưa được nêu.

text Bạn là BI reviewer cho Power Query.

Bối cảnh: Tôi gộp các file <filetype> trong một thư mục. Query được tạo từ Combine files, có Transform Sample file và function xử lý từng binary. Schema chuẩn: <danhsáchcộtvàkiểudữliệu> Schema file cũ: <danhsáchcột> Schema file mới: <danhsáchcột> Lỗi hoặc triệu chứng: <errormessage>

Hãy trả lời: Cột nào bị thiếu, thêm hoặc đổi tên? Thay đổi nào có thể ảnh hưởng tới bước đổi kiểu dữ liệu hoặc bước mở rộng cột? Nên kiểm tra những bước nào trong Transform Sample file và output query? Cần xác minh điều gì trước khi sửa logic?

Không giả định có cột không được liệt kê.

Ví dụ input:

text Schema chuẩn: Ngày, Mã, Doanh thu File cũ: Ngày, Mã, Doanh thu File mới: Ngày, Mã, Revenue Triệu chứng: refresh lỗi sau khi file mới xuất hiện

Với input này, AI nên nêu rõ rằng Revenue không khớp với Doanh thu về mặt tên cột. AI không nên tự kết luận hai cột có cùng ý nghĩa nghiệp vụ nếu chưa có xác nhận.

Checklist kiểm tra trước khi sửa query

Khi file mới làm query lỗi hoặc cho kết quả bất thường, kiểm tra theo thứ tự sau:

[ ] Đã lọc đúng file theo Extension, Folder Path hoặc trường phù hợp. [ ] Example file có đại diện cho cấu trúc mong muốn không. [ ] Đã xem các bước trong Transform Sample file. [ ] Đã kiểm tra function liên kết với query mẫu. [ ] Đã kiểm tra bước cuối của output query. [ ] Đã rà các bước đổi tên cột và đổi kiểu dữ liệu. [ ] Đã so sánh danh sách cột giữa file cũ và file mới. [ ] Nếu dùng Skip files with errors, đã xác định file nào bị bỏ qua và nguyên nhân.

Kết luận

Power Query giúp gộp file hiệu quả khi các file có cùng kiểu và cấu trúc. Khi cấu trúc thay đổi, hãy quay lại ba điểm trọng tâm: danh sách file đầu vào, Transform Sample file và bước cuối của output query.

AI có thể giúp bạn rà soát khác biệt schema và sắp xếp việc kiểm tra. Nhưng một pipeline bền vững vẫn phụ thuộc vào schema được kiểm soát, file mẫu được chọn đúng và các bước biến đổi được kiểm tra cẩn thận.