Hvad er en dataplatform?

Datadrevne beslutningsprocesser kræver ikke blot data; du har brug for en måde at læse, dele, styre samt udforske lineage, metadata samt have tillid til, at de underliggende data er af både høj kvalitet og konsistens.

En dataplatform er det interface, dine medarbejdere får adgang til data gennem. Det er platformen, der håndterer adgangsanmodninger og håndterer tilladelser til følsomme data. Platformen sikrer, at data er opdateret. Det er måden, medarbejderne udforsker data, der måske er relateret til en given forretningscase. Det er her, data scientists vil udføre forskellige eksperimenter og opbygge dataværktøjer baseret på levende data direkte fra relevante kilder.

Dette hjælper din virksomhed med at køre mere smidigt, effektivt og konsistent.

Hvordan kan min virksomhed drage fordel af data-platforme?

En data-platform kan i sig selv dække mange af dine behov - fra lagring af operationelle data til at udføre analyse. At opbygge en data-platform transformerer data til en strategisk aktiv, der gør det muligt at træffe beslutninger baseret på realtidsinformation.

Hvad gør en god dataplatform?

Styrker og Faldgruber

Mens hver virksomheds behov er unikke, har vi i vores brancheerfaring observeret nogle fælles styrker og tilbagevendende problemer med dataplatforme.

Problemfri Datatransmission på Tværs af Værktøjer og Afdelinger

Interoperabilitet er systemets evne til at fungere og integrere med andre systemer. Vi oplever, at visse medarbejdere er mest komfortable med Excel, for eksempel, så det er afgørende, at et system tillader folk at udforske og transformere data i Excel. Hver afdeling har også en række værktøjer, der er specifikke for deres behov; det kunne være geografiske informationssystem (GIS) data, hvor en afdeling måske foretrækker bestemt værktøj; I så fald sikrer vi, at systemet både får data fra og skubber data ind i sådan et system problemfrit.

Optimeret Datafriskhed & Nedsatte Omkostninger

Uden de rette sikkerhedsforanstaltninger kan en dataplatform let blive til rod. Medarbejdere vil oprette dataaktiver af høj kvalitet, men den enkelte kan være ansvarlig for at opdatere den specifikke data, så du har tilfælde, hvor data ikke er blevet opdateret i uger uden at folk ved det. På samme måde kan afhængighederne mellem data, hvis de ikke spores ordentligt, blive uoverkommelige for enhver menneskelig hjerne, hvor det bliver umuligt at sikre, at hvert stykke data opdateres i overensstemmelse hermed.

Ved at bruge de korrekte systemer kan vi resonere om friskhed mellem aktiver; dvs. så snart en faktura er indsendt i et system, sikrer dataplatformen, at relevante rapporter automatisk opdateres, samt at relevante parter underrettes. God friskhed er ikke blot ‘så hurtigt som muligt’ - visse domæner kan kræve langsommere friskhed, og omkostninger kan optimeres ved at begrænse friskheden af visse aktiver. Et eksempel er fysiske sensorer, der muligvis opdateres hvert millisekund, men man behøver måske ikke årlige opsummeringer af disse sensorer, der opdateres oftere end dagligt eller ugentligt.

Vi bevæger os væk fra perspektivet:

“vi vil have dette til at køre hver nat”

til

“vi ønsker aldrig, at disse data skal have en højere forsinkelse end 4 timer”

“hver morgen kl. 6 ønsker vi, at disse tabeller skal være opdaterede”

som afspejler de faktiske forretningsregler og procedurer. Vi kan på lignende vis kortlægge begrænsninger såsom ‘disse aktiver kan ikke opdateres før middag’, hvilket kan afspejle regulatoriske begrænsninger eller lukning af visse markeder.

Brobygning mellem Forretning og Domæne

De fleste virksomheder af en vis størrelse har forskellige afdelinger og domæner med forskellige forståelser af forskellige termer. På samme måde kan visse områder og dataaspekter være meget tekniske i naturen eller kræve en høj grad af forretningsforståelse.

Vi stræber efter at inkludere faktiske eksperter i en given sag, når det er muligt; ideelt set muliggør teknologiske personer fra det relevante forretningsområde udviklingen af aktiverne, men alternativt opbygges de i tæt samarbejde. Dette sikrer, at hvert aktiv i platformen er af høj kvalitet og er forståeligt for de medarbejdere, der får adgang til det, uden en større introduktion.

Vi sigter mod at arbejde på en problemdrevet måde

Dvs. at definere et dataværktøj og få en klar forståelse af det underliggende domæne, hvorefter en løsning bygges med det eksplicitte formål at løse et klart problem. At binde sådanne oplysninger til data og eksponere dem for fremtidige læsere gør det nemmere at udforske i fremtiden og forstå den relevante kontekst.

Opbygning af Tillid og Agilitet gennem Datademokratisering & Gennemsigtighed

En udvidelse af at være forretningsdrevet er evnen for alle medarbejdere, hvor det er relevant, at forfine og udforske data i de værktøjer, de er komfortable med. At muliggøre, at data scientists skriver den nødvendige kode på det sprog, de vælger, uden at bekymre sig om planlægning og den efterfølgende vedligeholdelse.

På samme måde tillader det

alle med tilstrækkelig sikkerhedsgodkendelse at udforske data og anvende det på tværs af domæner, nedbryde de siloer, der let dannes omkring forskellige afdelinger.

Vi finder ofte, at de problemer, vi ønsker at løse i en virksomhed, kræver data fra forskellige domæner og kræver en tværfaglig indsats.

Ved at gøre data let tilgængelig, forståeligt og udforskeligt bobler ideer og refleksioner op fra medarbejdere på tværs af en virksomhed. På samme måde vokser tilliden til data, når man kan se lineage, dvs. hvilke aktiver der afhænger af hvilke, og hvornår deres sidste opdateringstidspunkt var, tilliden til data vokser. Dette minimerer også leverandør-lock-in og forbedrer vedligeholdelsesvenligheden.

Fremme af Kvalitetskontrol

Når man demokratiserer data og tillader en bredere vifte af mennesker at bidrage, kan visse kvalitetsporte være afgørende. Vi opfordrer generelt til en fire-øjne-princip; sikring af, at enhver ændring er gennemgået af mindst én anden person, men hvor det er muligt, aktiverer vi også automatiske værktøjer til at hjælpe.

Vi sigter på at hjælpe de personer, der udvikler nye dataaktiver, med at oprette relevante porte og kontroller, så ugyldige data eller fejlbehæftede data automatisk flagges, og der udløses en alarm.

Vi fremmer en kode-drevet udviklingsstil

Dette kan være fremmed og skræmmende for nogle. At arbejde kode-drevet betyder simpelthen, at ændringer og funktioner, der udvikles, udføres gennem kode på en eller anden måde - dette kan være SQL- eller Python-kode eller andre teknologier, som virksomheden er tilfreds med. Vi har oplevet indledende tøven, men både en produktivitetsforøgelse og en komfort, når det er implementeret, hvor visse personer fra hver afdeling hjælper med at drive ændringen i tæt samarbejde med mindre kyndige kolleger.

Da en række personer bidrager, er en klar spor af ændringer afgørende. I tilfælde af en hændelse vil vi være i stand til at genopbygge alle dataaktiver uden større manuel indgriben, og når fejl opstår, vil vi være i stand til at udforske trinnene, der førte til det.

Arbejde kode-drevet trivialiserer gennemgang af ændringer, forbedrer vedligeholdelsesvenligheden samt generalisering af trin og praksis, der gentages. Man kunne have en lignende procedure for at filtrere støj i sensor data eller aggregere månedlige finansnumre; standardisering og genbrug er trivielt, når man arbejder kode-drevet.

Big Data? Nej, Right Data!

Neurospace mener, at data bør være et strategisk mål, og dataens størrelse bør være den mindst vigtige faktor.

Derfor bruger vi i Neurospace Right Data Framework, hvilket betyder, at vi kun indhenter data, når det har et formål. Denne strategiske tilgang sikrer:

  • relevant og værdifuld data til den aktuelle forretningscase
  • at undgå uhåndterlige mængder af data
  • en hurtigere og mere effektiv indsamling og analyse af data

Teknologier

Der er flere teknologier derude, der kan hjælpe dig med at opbygge din dataplatform. Neurospace opbygger platforme ved hjælp af Azure eller Google Cloud Platform.

Azure Databricks

Databricks er en alt-i-en-dataplatform, der gør det muligt at udforske og se data, definere transformationer af data, eksperimentere med forskellige machine learning-værktøjer og meget mere. Den integreres med et bredt udvalg af værktøjer, og de underliggende data kan udforskes gennem PowerBI, Excel, dine egne brugerdefinerede systemer og meget mere. Deres interaktive editor giver data scientists mulighed for at oprette notebooks, definere forskellige transformationer og operationer på data både i SQL, Python og R. Den har et bredt udvalg af integrationer, både til geo-data, streaming og meget mere.

Google Cloud Platform

Google Cloud Platform, eller GCP for kort, er en enterprise-skala-suite af modulære cloud computing-tjenester, der tilbyder talrige løsninger inden for dataopbevaring, cloud computing og machine learning.

Dagster

Dagster er et værktøj til at orkestrere data, der tillader definition og udførelse af aktiver, med deres relevante afhængigheder, krævet friskhed, kvalitetsporte og tjek. Det er open-source, hvilket betyder, at der ikke er nogen indledende omkostning, men de tilbyder en fantastisk cloud-løsning, der er pakket med relevant værktøj. Det er kode-drevet og tillader udviklere enten at udnytte standardiserede integrationer eller bygge dine egne, hvilket i bund og grund gør evner uendelige. Vi har oplevet visse begrænsninger med andre værktøjer, men Dagster har en fantastisk måde at tænke på aktiver. Det kan bruges med enhver underliggende dataopbevaring og udgør ingen klare grænser og kan kombineres med f.eks. Databricks eller andre værktøjer. Vi bruger det internt, mens vi integrerer med en bred vifte af platforme.

Men først... Hvorfor Neurospace?

Uanset hvilken specifik teknologi der anvendes, kan Neurospace garantere, at din platform vil:

  • Have en solid og veldokumenteret arkitektur, der lever op til datasikkerheds- og datakvalitetsstandarder.

  • Være garanteret både reproducerbarhed og sporbarhed takket være de anvendte værktøjer til Infrastructure as Code.

  • Inkorporere en række værktøjer, der kan gøre optagelse og behandling af nye datakilder til en enklere opgave.

Not sure yet?

Vores kunder siger...

"

AI Campen gav indblik i hvad Machine Learning er og hvor det kan bruges i vores virksomhed. Vi fik den baggrundsviden der skulle til, for at vi kunne komme i gang med et machine learning projekt i vores virksomhed

"

Jens Rishøj Skov

Kredsløb A/S

"

Vi havde store forventninger til AI campen, herunder at blive klogere på maskinlæring og en fælles forståelse af en optimeringsopgave, som påvirker flere varmeproduktionsanlæg i København, for at få billig fjernvarme til vores kunder. AI campen beviste, at der er en klar optimeringsmulighed og vi er trygge ved resultatet fra analysen. Neurospace har været ganske engageret, og har været gode til at spørge om sammenhænge, for at få den rette forståelse af problematikken. CTR er klar til at arbejde videre med pilot projektet, da vores mål med AI Campen er opfyldt til fulde.

"

Michal Brahm Thomsen

CTR I/S

"

AI Camp konceptet passer perfekt ind i vores innovations dagsorden, hvor vi skal have ny teknologi og mennesker til at arbejde sammen. I forløbet er vi blevet klogere på optimeringer i produktionen og fået en forståelse af hvordan machine learning kan løse disse i sammenspil med vores medarbejdere. Det løste AI camp forløbet perfekt. Vi er ovenud tilfredse og nåede alle vores målsætninger med AI Campen.

"

Martin Jørgensen

Danish Crown A/S

"

Vi er en blandet afdeling af både IT kyndige og lægmænd, til trods for det spredte niveau i faglighed om emnet, har alle deltager fået større forståelse for hvad AI og ML er, hvordan man sikrer sig man samler den rigtige data sammen og hvor det giver mening at bruge, disse teknologier. Derudover er både Maria og Bo fra Neurospace nogle yderst professionelle og behagelige undervisere.

"

Martin Lauritzen

Green Energy Scandinavia A/S

"

Vi er blevet introduceret til den nye verden omkring machine learning af Neurospace. Deres AI Camp giver en rigtig god basisforståelse for machine learning og data. Hos Nordic Sugar Nakskov har vi fået en forståelse for hvorfor det er vigtigt, at undersøge korrelationer systematisk i stedet for at begrænse brugen af sensorer og målinger ud fra mavefornemmelser.

"

Anders Juul-Jørgensen

Nordic Sugar A/S