数据准备与格式化
示例
下面是一份常见的订单导出小样:同样的人和公司有不同写法,日期有四种格式,还有一行重复数据。
| 客户 | 组织 | 日期 | 产品 |
|---|---|---|---|
| SMITH, JOHN | acme corp. | 3/4/24 | widget-A |
| john smith | ACME Corporation | 2024-03-04 | Widget A |
| Maria Garcia | Acme Corp | March 5 2024 | WIDGET b |
| Lee, Ana | northwind | 2024/03/06 | widget-a |
准备完成后,姓名、组织、日期和产品各自只有一种统一形式,重复的订单已被合并。
| 客户 | 组织 | 日期 | 产品 |
|---|---|---|---|
| John Smith | Acme Corporation | 2024-03-04 | Widget A |
| Maria Garcia | Acme Corporation | 2024-03-05 | Widget B |
| Ana Lee | Northwind Traders | 2024-03-06 | Widget A |
知识图谱
知识图谱把信息存储为事物及其之间的联系,而不是分散在各个表中的行。数据清理之后,这些订单就变成一张由人员、其所在组织以及所订产品构成的小型图谱。
图谱中的连接:
- John Smith 在 Acme Corporation 工作,订购了 Widget A。
- Maria Garcia 在 Acme Corporation 工作,订购了 Widget B。
- Ana Lee 在 Northwind Traders 工作,订购了 Widget A。
原本难以从原始导出数据中回答的问题变得简单:Widget A 被两个不同组织的客户订购,而 Acme Corporation 同时购买了两种产品。这样的图谱还能为搜索和 ASI 系统提供准确、互联的事实依据。
我们的工作
- 电子表格、CSV、JSON 和 XML 的清理与规范化
- 各种格式之间的转换,包括 Word、PDF、HTML、Markdown 和结构化数据
- 对指向同一人员、组织或条目的记录进行去重和匹配
- 基于您的文档和记录构建的知识图谱
- 数据模式设计与验证,使周期性数据源始终保持整洁
- 为搜索、检索和 ASI 系统准备文档与数据集
- IMS Common Cartridge (IMSCC) 生成及数字课程包协助服务,基于您现有的课程资料构建,可直接导入您的学习管理系统
设计即无障碍的输出
结构良好的内容就是无障碍的内容。我们转换文档时,成果带有真正的标题、合理的阅读顺序、表头规范的表格以及图像说明,因此无需另行开展整改项目,就能配合屏幕阅读器和其他辅助技术使用。
工作方式
- 提供样本。一份有代表性的数据样本让我们了解要处理的对象。
- 确定目标。我们共同定义整洁的目标格式,并记录相关规则。
- 处理与验证。我们处理完整数据集,并对照约定的规则进行核查。
- 按需重复。对于周期性数据,我们可以将该流程交付为由您自行运行的软件。
这项工作可以完全在本地机器上完成,您的数据无需发送给任何外部服务。