Series Từ số hóa đến AI #8: Dữ liệu chưa chuẩn có triển khai dashboard hoặc AI được không?

I. Dữ liệu “chưa chuẩn” có thể đang gặp vấn đề gì?

Dữ liệu chưa chuẩn không phải một trạng thái duy nhất. Cần xác định loại vấn đề:

• Thiếu: bỏ trống nguyên nhân, thời gian, sản phẩm, máy hoặc người xác nhận.
• Sai: chọn nhầm mã, nhập sai thời gian, số lượng hoặc trạng thái.
• Không nhất quán: cùng một lỗi có nhiều tên, mỗi ca dùng định nghĩa khác nhau.
• Không liên kết: phiếu bảo trì không nối với sự kiện dừng, lỗi không nối với lô/sản phẩm.
• Chậm: dữ liệu được nhập sau nhiều giờ hoặc nhiều ngày.
• Không rõ nguồn: không biết ai nhập, từ hệ thống nào và đã sửa ra sao.
• Không kiểm soát phiên bản: nhiều file hoặc tài liệu cùng tồn tại.

Mỗi loại cần cách xử lý khác nhau. Không thể giải quyết tất cả bằng một chiến dịch “làm sạch dữ liệu” chung chung.

II. Dashboard có thể bắt đầu với dữ liệu chưa hoàn hảo không?

Có, nếu mục tiêu của dashboard được giới hạn và chất lượng dữ liệu được công khai.

Ví dụ, nhà máy muốn làm dashboard dừng máy cho một dây chuyền. Nếu hiện đã có thời gian dừng tương đối đáng tin nhưng nguyên nhân còn rời rạc, có thể:

1. Chuẩn hóa danh mục nguyên nhân cho dây chuyền đó.
2. Đào tạo ba ca và chỉ định người xác nhận.
3. Chạy song song việc kiểm tra dữ liệu trong 4-6 tuần.
4. Hiển thị tỷ lệ sự kiện chưa phân loại như một KPI chất lượng dữ liệu.
5. Chỉ phân tích xu hướng sau khi đạt ngưỡng đầy đủ đã thống nhất.

Dashboard trong trường hợp này vừa tạo giá trị, vừa trở thành công cụ nhìn thấy và cải thiện dữ liệu.

III. AI có thể bắt đầu với dữ liệu chưa chuẩn không?

Tùy loại AI.

Use case có thể bắt đầu sớm hơn

• AI Copilot trên một bộ tài liệu đã được làm sạch và giới hạn.
• Tóm tắt báo cáo từ dữ liệu đã có cấu trúc.
• Gợi ý phân loại mô tả, với con người xác nhận.
• Tìm kiếm lịch sử phiếu việc trong phạm vi có chất lượng tương đối tốt.

Use case cần nền dữ liệu chặt hơn

• Dự báo hỏng thiết bị.
• Tối ưu lịch sản xuất.
• Cảnh báo bất thường thời gian thực.
• Kiểm tra chất lượng tự động bằng hình ảnh.
• Tự động ra quyết định có ảnh hưởng an toàn hoặc chất lượng.

Càng gần quyết định quan trọng, yêu cầu về dữ liệu, kiểm thử và giám sát càng cao.

IV. Không cần làm sạch toàn bộ dữ liệu nhà máy

Một chương trình làm sạch toàn bộ master data, lịch sử nhiều năm và hàng trăm file thường tốn rất nhiều thời gian trước khi tạo giá trị. Cách tốt hơn là làm sạch theo use case và theo lớp.

Lớp 1: dữ liệu nền cần dùng ngay

• Mã thiết bị và cấu trúc dây chuyền.
• Mã sản phẩm/công đoạn.
• Mã lỗi và nguyên nhân dừng.
• Ca/kíp, trạng thái, đơn vị tính.

Lớp 2: dữ liệu giao dịch trong khoảng thời gian phù hợp

• Sự kiện dừng 3-6 tháng.
• Phiếu bảo trì 6-12 tháng.
• Sản lượng, lỗi hoặc lệnh sản xuất của phạm vi pilot.

Lớp 3: dữ liệu lịch sử sâu hơn

Chỉ làm khi cần xu hướng dài hạn, huấn luyện mô hình hoặc phân tích mùa vụ. Không nên mặc định phải làm sạch nhiều năm dữ liệu trước khi một dashboard đầu tiên đi vào sử dụng.

V. Dữ liệu tối thiểu theo bốn use case phổ biến

Bảng này là điểm khởi đầu, không phải danh sách đầy đủ cho mọi nhà máy.

VI. Bốn chỉ số chất lượng dữ liệu nên theo dõi

Completeness - độ đầy đủ

Tỷ lệ bản ghi có đủ trường bắt buộc. Ví dụ, 92% sự kiện dừng có nguyên nhân được xác nhận.

Accuracy - độ đúng

So sánh với nguồn hoặc kiểm tra mẫu tại hiện trường. Có thể audit ngẫu nhiên 20-30 bản ghi mỗi tuần.

Consistency - tính nhất quán

Tỷ lệ dữ liệu dùng mã chuẩn, số lượng giá trị trùng nghĩa, chênh lệch giữa các hệ thống.

Timeliness - tính kịp thời

Thời gian từ lúc sự kiện xảy ra đến lúc dữ liệu được ghi và xác nhận.

Có thể bổ sung uniqueness, validity và traceability tùy yêu cầu. Điều quan trọng là chất lượng dữ liệu cũng cần KPI, không chỉ nhắc nhở chung.

VII. Kế hoạch 30 ngày để cải thiện dữ liệu cho một use case

Tuần 1: chốt câu hỏi và phạm vi

• Chọn một use case và một khu vực.
• Viết 5-10 câu hỏi quản lý cần trả lời.
• Xác định dữ liệu tối thiểu và nguồn hiện tại.
• Chọn một người sở hữu dữ liệu.

Tuần 2: kiểm tra mẫu và chuẩn hóa

• Lấy mẫu 100-300 bản ghi gần nhất.
• Đo tỷ lệ thiếu, sai và không nhất quán.
• Gom các giá trị trùng nghĩa.
• Tạo danh mục phiên bản 1.0 và quy tắc ghi nhận.

Tuần 3: sửa form và hướng dẫn

• Giảm trường không cần thiết.
• Chuyển dữ liệu cần tổng hợp sang danh mục chọn.
• Giữ ghi chú tự do cho ngữ cảnh.
• Đào tạo theo tình huống thật và chỉ định người xác nhận.

Tuần 4: chạy thử và phản hồi

• Theo dõi KPI dữ liệu hằng ngày.
• Xử lý các trường hợp người dùng chọn “khác” quá nhiều.
• Dùng dữ liệu trong một cuộc họp thật.
• Chốt điểm cần sửa và kế hoạch 60-90 ngày.

Sau 30 ngày, mục tiêu không phải dữ liệu hoàn hảo. Mục tiêu là có một quy trình tạo dữ liệu tốt hơn và biết chính xác khoảng trống còn lại.

VIII. Cách sử dụng dữ liệu cũ

Dữ liệu lịch sử thường không đồng đều. Có ba lựa chọn:

1. Giữ nguyên và đánh dấu chất lượng: dùng để tham khảo, không dùng cho phân tích nhạy cảm.
2. Làm sạch một khoảng có giá trị: chẳng hạn 6-12 tháng gần nhất cho nhóm thiết bị trọng yếu.
3. Không nhập lại dữ liệu quá kém: bắt đầu một mốc dữ liệu sạch từ ngày go-live và chỉ giữ file cũ để tra cứu.

Không nên dành nguồn lực lớn để làm sạch dữ liệu không còn phục vụ quyết định hoặc có độ tin cậy quá thấp.

IX. Làm sao giảm sai sót nhập liệu?

• Giảm trường bắt buộc xuống mức tối thiểu có giá trị.
• Tự động điền mã, thời gian, người dùng và thông tin từ lệnh/thiết bị khi có thể.
• Dùng danh mục phân cấp thay vì danh sách hàng trăm lựa chọn phẳng.
• Cho phép lưu nháp hoặc hoàn thiện sau đối với sự cố khẩn cấp.
• Thiết kế xác nhận bởi người có ngữ cảnh phù hợp.
• Hiển thị lợi ích trả lại cho người nhập.
• Dùng dữ liệu trong họp và phản hồi sai lệch nhanh.

Sai dữ liệu thường là vấn đề thiết kế và quản trị, không chỉ là thái độ người dùng.

X. Cách công khai giới hạn của dashboard và AI

Trong giai đoạn đầu, nên hiển thị:

• Khoảng thời gian dữ liệu được xem là đáng tin.
• Phạm vi dây chuyền/thiết bị đã được chuẩn hóa.
• Tỷ lệ dữ liệu thiếu hoặc chưa xác nhận.
• Lần cập nhật gần nhất.
• Nguồn dữ liệu và người sở hữu.
• Với AI, mức tin cậy, nguồn trích dẫn và trường hợp phải chuyển cho con người.

Minh bạch giới hạn giúp người dùng sử dụng đúng và tăng niềm tin hơn việc che giấu dữ liệu chưa hoàn hảo.

XI. Những sai lầm cần tránh

• Chờ dữ liệu hoàn hảo mới bắt đầu.
• Làm sạch tất cả dữ liệu mà không có use case.
• Xây dashboard trước khi thống nhất định nghĩa KPI.
• Dùng AI để “tự sửa” dữ liệu mà không có người xác nhận.
• Ép nhập quá nhiều trường dẫn đến người dùng chọn đại.
• Chỉ làm sạch dữ liệu cũ mà không sửa quy trình tạo dữ liệu mới.
• Không đo chất lượng dữ liệu sau go-live.

XII. Câu hỏi thường gặp

Dữ liệu thiếu bao nhiêu thì không nên làm dashboard?

Không có một ngưỡng chung. Cần xem dữ liệu thiếu ở trường nào và quyết định nào bị ảnh hưởng. Thiếu ghi chú có thể chấp nhận; thiếu mã máy hoặc thời gian dừng có thể làm phân tích vô nghĩa.

AI có thể tự động làm sạch dữ liệu không?

AI có thể gợi ý gom nhóm, phát hiện bất thường hoặc chuẩn hóa văn bản, nhưng cần quy tắc và con người xác nhận. Không nên để AI âm thầm sửa dữ liệu gốc có tác động đến KPI hoặc truy xuất.

Có nên nhập lại toàn bộ dữ liệu giấy và Excel cũ không?

Chỉ nhập phần có giá trị cho use case và đủ tin cậy. Có thể giữ tài liệu cũ để tra cứu, đồng thời bắt đầu tạo dữ liệu sạch từ một mốc rõ ràng.

Làm sao biết dữ liệu đã đủ tốt cho AI?

Xác định bộ kiểm thử và mức hiệu suất chấp nhận cho use case. “Đủ tốt” là khi dữ liệu cho phép mô hình tạo đầu ra hữu ích, ổn định và có thể kiểm chứng trong phạm vi đã định.