Preparação e formatação de dados
Um exemplo
Eis uma pequena exportação de encomendas tal como muitas vezes chega: as mesmas pessoas e empresas escritas de formas diferentes, datas em quatro formatos e uma linha duplicada.
| Cliente | Organização | Data | Produto |
|---|---|---|---|
| SMITH, JOHN | acme corp. | 3/4/24 | widget-A |
| john smith | ACME Corporation | 2024-03-04 | Widget A |
| Maria Garcia | Acme Corp | March 5 2024 | WIDGET b |
| Lee, Ana | northwind | 2024/03/06 | widget-a |
Após a preparação, os nomes, as organizações, as datas e os produtos passam a ter, cada um, uma forma consistente, e a encomenda duplicada é fundida.
| Cliente | Organização | Data | Produto |
|---|---|---|---|
| John Smith | Acme Corporation | 2024-03-04 | Widget A |
| Maria Garcia | Acme Corporation | 2024-03-05 | Widget B |
| Ana Lee | Northwind Traders | 2024-03-06 | Widget A |
Grafos de conhecimento
Um grafo de conhecimento armazena a informação como entidades e as ligações entre elas, em vez de linhas em tabelas separadas. Depois de os dados estarem limpos, as mesmas encomendas transformam-se num pequeno grafo de pessoas, das organizações onde trabalham e dos produtos que encomendaram.
As ligações do grafo:
- John Smith trabalha na Acme Corporation e encomendou Widget A.
- Maria Garcia trabalha na Acme Corporation e encomendou Widget B.
- Ana Lee trabalha na Northwind Traders e encomendou Widget A.
Perguntas que eram difíceis de responder a partir da exportação em bruto tornam-se simples: o Widget A é encomendado por clientes de duas organizações diferentes, e a Acme Corporation compra ambos os produtos. Grafos como este fornecem também aos sistemas de pesquisa e de ASI factos rigorosos e interligados com que trabalhar.
O que fazemos
- Limpeza e normalização de folhas de cálculo, CSV, JSON e XML
- Conversão entre formatos, incluindo Word, PDF, HTML, Markdown e dados estruturados
- Remoção de duplicados e correspondência de registos que se referem à mesma pessoa, organização ou item
- Grafos de conhecimento construídos a partir dos seus documentos e registos
- Conceção e validação de esquemas, para que os fluxos de dados recorrentes se mantenham limpos
- Preparação de documentos e conjuntos de dados para pesquisa, recuperação e sistemas de ASI
- Geração de IMS Common Cartridge (IMSCC) e apoio com pacotes digitais de cursos, criados a partir do seu material de curso existente e prontos a importar para o seu sistema de gestão de aprendizagem
Resultados acessíveis desde a conceção
Um conteúdo bem estruturado é um conteúdo acessível. Quando convertemos documentos, o resultado tem títulos reais, uma ordem de leitura lógica, tabelas com cabeçalhos adequados e descrições para as imagens, pelo que funciona com leitores de ecrã e outras tecnologias de apoio sem necessidade de um projeto de correção à parte.
Como funciona
- Partilhe uma amostra. Uma parcela representativa dos seus dados mostra-nos com o que estamos a trabalhar.
- Acorde o objetivo. Definimos em conjunto o formato limpo e documentamos as regras.
- Processe e verifique. Preparamos o conjunto completo e verificamo-lo face às regras acordadas.
- Repita quando necessário. Para dados recorrentes, podemos entregar o processo sob a forma de software que executa por si próprio.
Podemos realizar este trabalho inteiramente em máquinas locais, pelo que os seus dados nunca têm de ser enviados para um serviço externo.