Priprema i formatiranje podataka
Primjer
Evo malog izvoza narudžbi onako kako često stiže: iste osobe i kompanije napisane na različite načine, datumi u četiri formata i duplirani red.
| Kupac | Organizacija | Datum | Proizvod |
|---|---|---|---|
| SMITH, JOHN | acme corp. | 3/4/24 | widget-A |
| john smith | ACME Corporation | 2024-03-04 | Widget A |
| Maria Garcia | Acme Corp | March 5 2024 | WIDGET b |
| Lee, Ana | northwind | 2024/03/06 | widget-a |
Nakon pripreme, imena, organizacije, datumi i proizvodi imaju po jedan dosljedan oblik, a duplirana narudžba je spojena.
| Kupac | Organizacija | Datum | Proizvod |
|---|---|---|---|
| John Smith | Acme Corporation | 2024-03-04 | Widget A |
| Maria Garcia | Acme Corporation | 2024-03-05 | Widget B |
| Ana Lee | Northwind Traders | 2024-03-06 | Widget A |
Grafovi znanja
Graf znanja pohranjuje informacije kao stvari i veze među njima, umjesto kao redove u odvojenim tabelama. Kada su podaci čisti, iste narudžbe postaju mali graf osoba, organizacija u kojima rade i proizvoda koje su naručile.
Veze u grafu:
- John Smith radi u kompaniji Acme Corporation i naručio je Widget A.
- Maria Garcia radi u kompaniji Acme Corporation i naručila je Widget B.
- Ana Lee radi u kompaniji Northwind Traders i naručila je Widget A.
Pitanja na koja je iz sirovog izvoza bilo teško odgovoriti postaju jednostavna: Widget A naručuju kupci iz dvije različite organizacije, a Acme Corporation kupuje oba proizvoda. Ovakvi grafovi pretraživanju i ASI sistemima daju i tačne, povezane činjenice na kojima mogu raditi.
Šta radimo
- Čišćenje i normalizacija tabela te CSV, JSON i XML datoteka
- Konverzija između formata, uključujući Word, PDF, HTML, Markdown i strukturirane podatke
- Uklanjanje duplikata i uparivanje zapisa koji se odnose na istu osobu, organizaciju ili stavku
- Grafovi znanja izgrađeni iz vaših dokumenata i evidencija
- Dizajn i validacija shema, kako bi redovni tokovi podataka ostali čisti
- Priprema dokumenata i skupova podataka za pretraživanje, dohvaćanje i ASI sisteme
- Generisanje IMS Common Cartridge (IMSCC) paketa i pomoć oko digitalnih paketa kurseva, izrađenih iz vašeg postojećeg materijala za kurseve i spremnih za uvoz u vaš sistem za upravljanje učenjem
Pristupačan rezultat po dizajnu
Dobro strukturiran sadržaj je pristupačan sadržaj. Kada pretvaramo dokumente, rezultat ima prave naslove, logičan redoslijed čitanja, tabele s ispravnim zaglavljima i opise slika, pa radi uz čitače ekrana i druge pomoćne tehnologije bez zasebnog projekta ispravljanja.
Kako to funkcioniše
- Podijelite uzorak. Reprezentativan dio vaših podataka pokazuje nam s čime radimo.
- Dogovorite cilj. Zajedno definišemo čist format i dokumentujemo pravila.
- Obrada i provjera. Pripremamo cijeli skup i provjeravamo ga prema dogovorenim pravilima.
- Ponovite po potrebi. Za podatke koji se redovno ponavljaju proces možemo isporučiti kao softver koji sami pokrećete.
Ovaj posao možemo obavljati u potpunosti na lokalnim računarima, tako da vaši podaci nikada ne moraju biti poslani vanjskoj usluzi.