Stor Dansk Energi- og Telekommunikationsfirma

Et projekt var tæt på deadline uden at kunne levere de nødvendige resultater og konsulent blev tilknyttet teamet på projektet. Målet var at importere data fra mange forskellige kilder, således de kunne bruges til rapportering i Power BI.

Kundens behov

Hos kunden var der et team af databehandlere, som havde akut brug for at kunne præsentere data for deres slutbrugerne, data analytikere. I samarbejde med teamet anbefalede vores konsulent en passende løsning i form af Azure Data Factory, da en sådan løsning ikke krævede direkte kendskab til programmering.

Udfordringer

Hente data fra mange forskellige kilder såsom API’er, databaser, file shares, FTP servere i mange forskellige formater og map disse ind i en fælles database, der vil være tilgængelig fra Power BI.

Den valgte løsning

Azure Data Factory blev valgt som grundliggende løsning og den blev implementeret, således at der hurtigt kunne fremstilles nogle generiske pipelines, som kunne håndtere ETL processen med at levere data ind i en PostgreSQL database. Der blev valgt at streamline løsningen, således dataflowet blev ensrettet uden skelen til den oprindelige kildes oprindelse. Der blev anvendt linked services, egen hosted runtime, data flows til at flatne data formater i ADF.

Fordelen er bl.a. at Microsoft med denne løsning sikrer vedligehold og skalerbarhed blev abstraheret langt væk fra databehandlerne. Derudover er Azure Data Factory allerede understøtter ETL og har support for integration til et stort udvalg af kendte datakilde typer.

2G Clouds Rolle

Rådgivning omkring valg af Azure resourcer, arkitektur beslutninger, implemetering af infrastruktur i Azure, implementering af Azure Data factorys specifikke opsætninger, devops konfigurationer, sikkerhedsaspekter såsom firewall, netværk, brugeradgange og begrænsninger. Sikring af logning og overvågning. Det hele blev grundigt dokumenteret i form af tekst og video samt handover af viden til databehandlerne, som derefter kunne fortsætte driften. 

Integrationer til mere end 20 forskellige interne og eksterne datakilder. Deltagelse i projektets iterative forløb og sparring med andre konsulenter og virksomhedens interne afdelinger samt de ansatte såsom arkitekter, projektleder, databehandlere. Det skete gennem god kommunikation og workshops onsite hos kunden. Fremskridtet blev løbende demonstreret for projektets stakeholdere, således de fik en tryghed i at projektet ville lykkedes som forventet.

Resultat

Kunden fik en løsning, som kunne afløse manuelle processer med levering af data. Kunden oplevede at nye data nu kunne leveres  automatiseret dagligt, ugentlig og månedligt modsat tidligere, hvor de fleste af disse data kom på uge basis. Det betød kunden kunne frigøre resourcer som tidligere havde lavet manuelt repetetivt arbejde.

Der blev leveret integration og udtræk af data til langt flere datakilder end oprindeligt forventet og projektet skiftede status undervejs fra rød til grøn, hvilket betød scope blev udvidet og at alle tilgængeligt mulige datakilder blev indlæst i løbet at et par måneder ekstra. Alt i alt en meget tilfreds kunde, der fik leveret over forventning fra starten. Derudover blev der checket og opsat alerts på kritiske drift punkter i miljøet og der belv udarbejdet en fremtidig drift beskrivelse.

Projektet er nu gået i drift og det forventes det skal udvides med yderligere datakilder indenfor det næste halve år, når de nye datakilder er klar med data som kan indlæses. Da arkitekturen er lavet meget generisk, så er den forberedt til nemt at kunne implementere disse.

Kunden har opnået bedre indsigt i egne data, der på sigt skal bidrage til en bedre beslutningstagning i virksomheden.

På grund af  fortrolighedsforpligtelser kan vi desværre ikke offentliggøre vores kundes navn. Hvis du ønsker yderligere information om opgaven, er du velkommen til at kontakte os direkte.