Chuẩn bị và định dạng dữ liệu
Một ví dụ
Dưới đây là một tệp xuất đơn hàng nhỏ như thường gặp khi tiếp nhận: cùng một người và công ty nhưng được viết theo nhiều cách khác nhau, ngày tháng ở bốn định dạng và một dòng trùng lặp.
| Khách hàng | Tổ chức | Ngày | Sản phẩm |
|---|---|---|---|
| SMITH, JOHN | acme corp. | 3/4/24 | widget-A |
| john smith | ACME Corporation | 2024-03-04 | Widget A |
| Maria Garcia | Acme Corp | March 5 2024 | WIDGET b |
| Lee, Ana | northwind | 2024/03/06 | widget-a |
Sau khi chuẩn bị, tên, tổ chức, ngày tháng và sản phẩm đều có một dạng nhất quán, và đơn hàng trùng lặp đã được gộp lại.
| Khách hàng | Tổ chức | Ngày | Sản phẩm |
|---|---|---|---|
| John Smith | Acme Corporation | 2024-03-04 | Widget A |
| Maria Garcia | Acme Corporation | 2024-03-05 | Widget B |
| Ana Lee | Northwind Traders | 2024-03-06 | Widget A |
Đồ thị tri thức
Đồ thị tri thức lưu trữ thông tin dưới dạng các đối tượng và mối liên kết giữa chúng, thay vì các dòng trong những bảng riêng biệt. Khi dữ liệu đã sạch, chính các đơn hàng đó trở thành một đồ thị nhỏ gồm con người, tổ chức nơi họ làm việc và sản phẩm họ đã đặt.
Các liên kết của đồ thị:
- John Smith làm việc tại Acme Corporation và đã đặt Widget A.
- Maria Garcia làm việc tại Acme Corporation và đã đặt Widget B.
- Ana Lee làm việc tại Northwind Traders và đã đặt Widget A.
Những câu hỏi khó trả lời từ tệp xuất thô trở nên đơn giản: Widget A được khách hàng thuộc hai tổ chức khác nhau đặt mua, và Acme Corporation mua cả hai sản phẩm. Các đồ thị như vậy cũng cung cấp cho tìm kiếm và các hệ thống ASI những dữ kiện chính xác, được liên kết để làm việc.
Những gì chúng tôi thực hiện
- Làm sạch và chuẩn hóa bảng tính, CSV, JSON và XML
- Chuyển đổi giữa các định dạng, gồm Word, PDF, HTML, Markdown và dữ liệu có cấu trúc
- Loại bỏ trùng lặp và đối sánh các bản ghi cùng chỉ về một người, tổ chức hoặc mục
- Đồ thị tri thức được xây dựng từ tài liệu và hồ sơ của tổ chức
- Thiết kế và xác thực lược đồ, để các luồng dữ liệu định kỳ luôn sạch
- Chuẩn bị tài liệu và tập dữ liệu cho tìm kiếm, truy xuất và các hệ thống ASI
- Tạo IMS Common Cartridge (IMSCC) và hỗ trợ về các gói khóa học số, được xây dựng từ tài liệu khóa học hiện có của tổ chức và sẵn sàng nhập vào hệ thống quản lý học tập
Kết quả dễ tiếp cận ngay từ thiết kế
Nội dung có cấu trúc tốt là nội dung dễ tiếp cận. Khi chúng tôi chuyển đổi tài liệu, kết quả có tiêu đề thực sự, thứ tự đọc hợp lý, bảng có hàng tiêu đề đúng chuẩn và mô tả cho hình ảnh, nhờ đó hoạt động với trình đọc màn hình và các công nghệ hỗ trợ khác mà không cần một dự án khắc phục riêng.
Cách thức hoạt động
- Cung cấp mẫu. Một phần dữ liệu tiêu biểu giúp chúng tôi biết mình sẽ làm việc với những gì.
- Thống nhất mục tiêu. Hai bên cùng xác định định dạng sạch và lập tài liệu cho các quy tắc.
- Xử lý và xác minh. Chúng tôi chuẩn bị toàn bộ tập dữ liệu và kiểm tra theo các quy tắc đã thống nhất.
- Lặp lại khi cần. Với dữ liệu định kỳ, chúng tôi có thể bàn giao quy trình dưới dạng phần mềm để tổ chức tự vận hành.
Chúng tôi có thể thực hiện công việc này hoàn toàn trên máy cục bộ, nên dữ liệu của tổ chức không bao giờ phải gửi đến dịch vụ bên ngoài.