データ準備・整形
例
次は、よくある状態で届く小さな注文のエクスポートデータです。同じ人物や会社が異なる表記で書かれ、日付が4種類の形式で混在し、重複した行もあります。
| 顧客 | 組織 | 日付 | 製品 |
|---|---|---|---|
| SMITH, JOHN | acme corp. | 3/4/24 | widget-A |
| john smith | ACME Corporation | 2024-03-04 | Widget A |
| Maria Garcia | Acme Corp | March 5 2024 | WIDGET b |
| Lee, Ana | northwind | 2024/03/06 | widget-a |
準備後は、氏名、組織、日付、製品がそれぞれ一貫した形式になり、重複していた注文は統合されます。
| 顧客 | 組織 | 日付 | 製品 |
|---|---|---|---|
| John Smith | Acme Corporation | 2024-03-04 | Widget A |
| Maria Garcia | Acme Corporation | 2024-03-05 | Widget B |
| Ana Lee | Northwind Traders | 2024-03-06 | Widget A |
ナレッジグラフ
ナレッジグラフは、情報を別々の表の行としてではなく、物事とそれらの間の結び付きとして保存します。データが整理されると、同じ注文が、人物、その勤務先の組織、注文した製品からなる小さなグラフになります。
グラフの結び付き:
- John Smith は Acme Corporation に勤務し、Widget A を注文しました。
- Maria Garcia は Acme Corporation に勤務し、Widget B を注文しました。
- Ana Lee は Northwind Traders に勤務し、Widget A を注文しました。
元のエクスポートデータからは答えにくかった問いも、簡単になります。Widget A は2つの異なる組織の顧客が注文しており、Acme Corporation は両方の製品を購入しています。このようなグラフは、検索やASIシステムにとっても、正確で相互に結び付いた事実の拠り所になります。
私たちの仕事
- 表計算シート、CSV、JSON、XMLのクリーンアップと正規化
- Word、PDF、HTML、Markdown、構造化データなどの形式間の変換
- 同一の人物、組織、項目を指す記録の重複排除と名寄せ
- 文書や記録から構築するナレッジグラフ
- 定期的なデータフィードを整った状態に保つためのスキーマ設計と検証
- 検索、情報取得、ASIシステム向けの文書とデータセットの準備
- 既存のコース教材をもとにした IMS Common Cartridge(IMSCC)の生成とデジタルコースパッケージの支援を提供し、学習管理システムへそのままインポートできる形で納品します
設計段階から備えるアクセシブルな出力
構造の整ったコンテンツは、アクセシブルなコンテンツです。文書を変換する際は、本物の見出し、論理的な読み上げ順序、適切な見出しセルを持つ表、画像の説明を備えた成果物となるため、別途の修正作業を行わなくても、スクリーンリーダーなどの支援技術で利用できます。
進め方
- サンプルの共有。データの代表的な一部を拝見し、作業対象の内容を把握します。
- 目標の合意。整った形式を一緒に定め、ルールを文書化します。
- 処理と検証。全データを準備し、合意したルールに照らして確認します。
- 必要に応じて繰り返し。定期的に発生するデータについては、その処理をお客様自身で実行できるソフトウェアとして納品できます。
この作業はすべてローカルのマシン上で行うことができるため、データを外部サービスへ送信する必要はありません。