Тема

Підготовка й форматування даних

Довгий дерев’яний верстак, вигляд спереду: на одному кінці — заплутана купа паперів і карток із мітками, посередині — охайні відсортовані стоси, а на іншому кінці — шафа з підписаними шухлядами, позначена сіткою з’єднаних бірюзових точок.

Приклад

Ось невеликий експорт замовлень у тому вигляді, в якому він часто надходить: ті самі люди й компанії записані по-різному, дати у чотирьох форматах і дубльований рядок.

До: експорт замовлень у отриманому вигляді
КлієнтОрганізаціяДатаПродукт
SMITH, JOHNacme corp.3/4/24widget-A
john smithACME Corporation2024-03-04Widget A
Maria GarciaAcme CorpMarch 5 2024WIDGET b
Lee, Ananorthwind2024/03/06widget-a

Після підготовки імена, організації, дати та продукти мають по одній узгодженій формі, а дубльоване замовлення об’єднано.

Після: очищено й без дублікатів
КлієнтОрганізаціяДатаПродукт
John SmithAcme Corporation2024-03-04Widget A
Maria GarciaAcme Corporation2024-03-05Widget B
Ana LeeNorthwind Traders2024-03-06Widget A

Графи знань

Граф знань зберігає інформацію як сутності та зв’язки між ними, а не як рядки в окремих таблицях. Щойно дані очищено, ті самі замовлення стають невеликим графом людей, організацій, у яких вони працюють, і продуктів, які вони замовили.

Граф знань очищених замовлень Організації ліворуч з’єднані суцільними лініями з людьми, які там працюють, посередині, а ті — пунктирними лініями з продуктами, які вони замовили, праворуч. Повний перелік зв’язків наведено після схеми. Організації Люди Продукти Acme Corporation Northwind Traders Maria Garcia John Smith Ana Lee Widget B Widget A

Зв’язки графа:

  • John Smith працює в Acme Corporation і замовив Widget A.
  • Maria Garcia працює в Acme Corporation і замовила Widget B.
  • Ana Lee працює в Northwind Traders і замовила Widget A.

Запитання, на які було важко відповісти за сирим експортом, стають простими: Widget A замовляють клієнти з двох різних організацій, а Acme Corporation купує обидва продукти. Такі графи також надають системам пошуку та ASI точні, пов’язані факти для роботи.

Що ми робимо

Доступний результат за задумом

Добре структурований вміст є доступним вмістом. Коли ми перетворюємо документи, результат містить справжні заголовки, логічний порядок читання, таблиці з належними заголовками та описи зображень, тож він працює з екранними зчитувачами та іншими допоміжними технологіями без окремого проєкту з усунення недоліків.

Як це працює

  1. Надайте зразок. Репрезентативний фрагмент ваших даних показує нам, з чим ми працюємо.
  2. Узгодьте мету. Ми разом визначаємо чистий формат і документуємо правила.
  3. Обробка та перевірка. Ми готуємо весь набір і звіряємо його з узгодженими правилами.
  4. Повторюйте за потреби. Для регулярних даних ми можемо передати цей процес у вигляді програмного забезпечення, яке ви запускатимете самостійно.

Ми можемо виконувати цю роботу повністю на локальних машинах, тож ваші дані ніколи не доведеться надсилати стороннім сервісам.

Поговорімо про ваші дані