Stap 1:Data laden

Inleiding

Het laden van data is een belangrijke eerste stap. Zonder data kun je de volgende stap niet nemen. In het DataOwn BI-platform kun je data laden zonder ingewikkelde code te schrijven, maar met een paar klikken. In de praktijk heb je voor het aanmaken van een nieuwe databron vaak afstemming nodig met de beheerder van deze databron.

Aanmaken van databron

Dit doe je door in de tabel "Data sources" te kiezen voor "+ Add data source" (rechtsboven). Daarna kun je kiezen uit connecties met databases of API's. Binnen databases heb je keuze uit diverse soorten SQL (PostgreSQL, MySQL, MariaDB en MS SQL Server).

• De "display name" en "connector description" zijn alleen zichtbaar binnen DataOwn en helpen om overzicht te houden.
• De andere gegevens zou de beheerder van de bron moeten weten of moeten genereren. Deze beheerder moet in veel gevallen ook het IP-adres 212.114.98.7 (voor app.DataOwn.dev: 212.114.98.137) toestaan, zodat de Meltano-instance van DataOwn verbinding kan maken.

Hierna is het aan te raden om de connectie te testen met "test connection" voordat je "Save data source" kiest. Daarna kun je de tabellen en daarbinnen de kolommen kiezen. Als je niets kiest, wordt alleen de primary key meegenomen, dus maak altijd een selectie. Binnen een tabel kun je via "select all" of "deselect all" alle kolommen kiezen. Je kunt terug naar dit scherm door op "Open catalog" te klikken.

We raden aan om kolommen met gegevens die naar een persoon herleidbaar zijn alleen in te laden als ze noodzakelijk zijn. Je kunt ze later alsnog inladen indien nodig, maar het is meestal beter om kolommen zoals persoonsnamen niet in te laden.

Andere connectoren, zoals API-connectoren, hebben we nog niet kunnen testen, vaak door gebrek aan een testsysteem. Laat het ons weten als je een bepaald systeem hebt dat we kunnen gebruiken om te testen en/of een standaardbouw te maken.

Mis je een connector? Mail dan naar info@dataown.nl. Meestal kunnen we de connector binnen een paar weken beschikbaar maken.

De standaardinstellingen bij een nieuwe databron (contoso op een PostgreSQL-database) werken en leiden tot een kleine testdataset.

CSV-bestand importeren

Je kunt ook een lokaal CSV-bestand laden. Kies bij het aanmaken van een databron de connector "Import CSV" binnen "Raw data".

1. Vul een "Display name" in en eventueel een "Connector description".
2. Geef bij "Table / entity name" de naam van de tabel op, bijvoorbeeld customers. Gebruik alleen letters, cijfers en underscores en begin met een letter. De naam mag inclusief het bronvoorvoegsel maximaal 63 tekens bevatten.
3. Kies de "Sync mode":
   • Append voegt alle rijen uit het CSV-bestand toe aan de tabel. Als je hetzelfde bestand opnieuw importeert, worden de rijen opnieuw toegevoegd en ontstaan er duplicaten.
   • Full refresh vervangt alle rijen in de tabel door de gegevens uit het geselecteerde CSV-bestand.
4. Stel bij "Delimiter" het scheidingsteken van je bestand in en kies bij "Encoding" de tekencodering waarmee het bestand is geëxporteerd. UTF-8 is de standaard en ondersteunt ook bestanden met een BOM.
5. Selecteer bij "CSV file" je bestand. Het bestand moet een kopregel met kolomnamen bevatten. Gebruik voor kolomnamen alleen letters, cijfers en underscores en begin elke kolomnaam met een letter.

Klik op "Save data source", selecteer de gewenste data in de catalogus en start daarna een handmatige import. Het geüploade bestand blijft bewaard totdat je de databron verwijdert. Let bij een nieuwe import op de gekozen sync mode: bij "Append" worden de rijen opnieuw toegevoegd.

Daadwerkelijk laden van data

Het schema en het handmatig starten van een run stel je in bij de databron zelf. Bij het schedule kun je kiezen voor "Manual" (handmatig), "Daily" (dagelijks) of "Weekly" (wekelijks). Bij wekelijks kies je welke dag de job draait. Dagelijks en wekelijks laden gebeurt 's nachts, ergens tussen 0:00 en 4:00. Je kunt vanuit de databron ook direct een handmatige run starten — ook als er al een dagelijks of wekelijks schema staat, als je een extra run nodig hebt.

In de Monitor zie je de status van alle runs, en kun je daar ook een nieuwe run starten.