Hvordan ser et skydatavarehus ut?

Hvordan AI og big data kan redusere for tidlig fødte Karen Roby lærte hvordan Kentucky-baserte Lucina Health bruker AI for å avgjøre om en kvinne er utsatt for en prematur fødsel.

Tradisjonelt samler et datavarehus alle strukturerte data fra hele virksomheten din, slik at du kan integrere dem i en enkelt datamodell, kjøre analyser og få forretningsintelligens - enten det er for å utvikle nye produkter eller markedsføre eksisterende tjenester til kunder. Det pleide å bli kalt 'big data', men alle bedrifter har nå store datamengder fra kilder som e-handelssteder, IoT-enheter og sensorer, så et moderne datavarehus trenger å håndtere strukturerte, ustrukturerte og strømming av data og tilby sanntid analyse samt BI og rapportering.

Julia White, Azure corporate vice-president at Microsoft.

" data-credit="Image: Microsoft" rel="noopener noreferrer nofollow">

Julia White, konserndirektør i Azure i Microsoft.

Bilde: Microsoft

Bedrifter gjør det i økende grad i skyen for høyere hastighet og lavere kostnader. Flere og flere av disse dataene kan være i skyen allerede, så vel som tjenestene du vil bruke disse dataene med, påpeker Azure konserndirektør Julia White. "I økende grad når data sitter i og flytter til skyen, enten det er fra SaaS-applikasjoner eller applikasjoner som bare flytter til skyen; operasjonsdataene er der, og kundene spør 'hvorfor vil jeg ta driftsdataene mine og laste dem fra skyen til -ligner bare for å gjøre analysene mine? ' Det gir bare ikke mening. " (Det er fremdeles rikelig med data lokalt, og det vil være mer etter hvert som kantberegningen vokser, men mange kunder flytter deler av eller alle disse dataene til skyen uansett, sier White, avhengig av samsvarsproblemer.)

Hver bedrift ser på AI, "og de innser veldig raskt at analytics er grunnlaget for det, " bemerker White. "De begynner å spørre" hva er tilstanden til analysene mine og datavarehuset mitt? ", Og det er ofte ikke godt nok."

Populariteten til Power BI presser også flere Microsoft-kunder til skyanalyse. "Når de har fått disse kraftige datavisualiseringene, begynner de å stille spørsmål ved analysefunksjonene deres - 'Jeg vil vite hva som skjer bak datavisualiseringen min: Jeg elsker Power BI og ønsker at analysene mine var mer interessante', " sier White.

Mer sofistikerte kunder ønsker å analysere sine egne Office Graph-data (som du kan kopiere til Azure Data Lake ved å bruke Azure Data Factory) eller dra nytte av Open Data Initiative (ODI) mellom Microsoft, Adobe og SAP (som er bygget på Azure Data Lake og vil etter hvert integrere data fra mange flere programvareleverandører). "Azure Data Lake er veldig tett koblet med Azure Data Warehouse, og kundene bruker Azure Data Warehouse for å få mer innsikt og bygge det moderne datavarehuset på toppen av det, " sier White.

Hvilken datatjeneste?

Microsoft har en rekke skytjenester som alle ligner litt på et datavarehus, det mest åpenbare er Azure SQL Data Warehouse eller 'DW' som Microsoft ofte kaller det), men det er også Azure Data Factory, Azure Data Lake, Azure Databricks, Power BI og Azure Machine Learning, pluss flere pakketjenester som AI salgsverktøy i Dynamics 365.

Måten å gi mening om dem er å se ikke bare på verktøyene de tilbyr, men også hvilke brukere de serverer og hvordan de samarbeider. Det er fordi dataene en bedrift har ofte er fragmentert over flere datalagre, og det første trinnet med å lage et moderne datavarehus er å integrere alle disse siloene. Jo flere av de forskjellige datalagrene som er på Azure, jo lettere blir tilkoblingene - noe som er en grunn til at Microsoft tilbyr så mange forskjellige datatjenester. Den andre, sier White, er at kundene ikke er ute etter et eneste verktøy som kan gjøre alt: "Det er et sett med nyanserte valg, og du vil virkelig velge og optimalisere det du bruker til dine egne scenarier. "

Mer om Windows

  • Slik bruker du God Mode i Windows 10
  • Windows 10 PowerToys: Et jukseark
  • Microsofts største flopper i tiåret
  • 10 triks og finpusse for tilpasning av Windows 10 (gratis PDF)

Azure DW er for dataingeniører som jobber med kuraterte data. Det kan være data fra en SQL Server-database, men det kan også være data som kom fra en rørledning bygget av dataingeniørene som bruker Databricks eller Spark og .NET for å klargjøre data fra en kilde som Azure HDInsight.

Azure Data Factory er en annen tjeneste for dataingeniører som gjør inntak av data, transformasjon og orkestrering. Tenk på det som et cloud-skala ETL-verktøy som du kan bruke gjennom et dra-og-slipp-grensesnitt (under dekslene, det er faktisk Logic Apps) eller med Python, Java eller .NET SDK hvis du foretrekker å skrive kode for å gjøre datatransformasjonen og administrere de forskjellige trinnene i datapipeline gjennom Databricks eller HDInsight, til Azure Data Lake eller ut til Power BI.

Power BI kan også gjøre datatransformasjon ved å bruke Dataflows (også kodefritt), men det er ment å være en selvbetjeningsfunksjon for forretningsanalytikere. Dataingeniører eller BI-analytikere på heltid kan gjøre de semantiske modellene som forretningsbrukere jobber med, og Microsoft legger til mer integrasjon med Azure DW til Power BI.

Power BI-brukere kan legge til AI i visualiseringene og rapportene sine. Noe av det kan være å bruke Microsofts forhåndsbygde kognitive tjenester til ting som bildegjenkjenning og følelsesanalyse. Men de kan også bruke tilpassede AI-modeller som dataingeniører har bygget for dem i Azure Machine Learning-tjenesten, og bruker alle de bedriftsdataene.

A modern data warehouse brings together data at any scale, delivering insights via analytical dashboards, operational reports, or advanced analytics.

" data-credit="Image: Microsoft" rel="noopener noreferrer nofollow">

Et moderne datavarehus samler data i alle målestokker, og gir innsikt via analytiske dashboards, driftsrapporter eller avansert analyse.

Bilde: Microsoft

Et lager nær innsjøen

Kompleksiteten i disse scenariene er grunnen til at linjen mellom datavarehus og datasjøer begynner å se litt gjørmete ut i skyen. Et tradisjonelt datavarehus lar deg ta data fra flere kilder og bruke ETL-transformasjon for å plassere disse dataene i et enkelt skjema og en enkelt datamodell i programvare som er designet for å svare på spørsmål du planlegger å stille om og om igjen.

Disse kildene trenger ikke å være strukturerte, relasjonsdata: PolyBase og JSON-støtten i SQL Server og Azure DW betyr at du kan koble data fra ikke-relasjonelle butikker som HDFS, Cosmos DB, MySQL og MongoDB samt Oracle, Teradata og PostgreSQL. Det betyr at et datavarehus (eller til og med en SQL Server) kan ligne mer på en datasjø.

Datasjøer lar deg ta flere datalagre, både strukturerte og ustrukturerte, innta dem og lagre dem i enten sitt opprinnelige format eller noe i nærheten av det formatet, slik at du har flere datamodeller og flere dataskjemaer og fleksibiliteten til å stille nye spørsmål fra samme data. (SQL-varianten som brukes til Azure Data Lake-spørsmål, kalles U-SQL, ikke bare fordi det er den neste versjonen etter T-SQL, men fordi du kanskje trenger en U-båt for å gå ned i datasjøen og finne ut hva som er skjult i de grumle dypet.)

Når du har et spørsmål du kommer til å stille gjentatte ganger (som salgsanalyse eller overvåke leveringstider for et dashbord), kan du opprette et datavarehus fra de relevante porsjonene med data. Men hvis spørsmålet endres over tid, eller du må stille nye spørsmål, kan du gå tilbake til datasjøen der du oppbevarer de opprinnelige dataene og oppretter et nytt datavarehus for å svare på disse spørsmålene.

Kombinasjonen av de to er hva Microsoft mener med en moderne datavarehusinfrastruktur. Du kan ta med alle slags data fra forskjellige steder, jobbe med den i datasjøen for ting som sanntidsanalyse, eller bruke maskinlæring for å oppdage mønstre som forteller deg hvilken innsikt du kan få fra dataene og kombinere den med den kjente datalagerverktøy for å svare på disse spørsmålene effektivt.

Microsoft har ikke en eneste tjeneste for alt det. Du kan gjøre forskjellige deler av det med de forskjellige Azure-tjenestene, noe som betyr at du kan velge og velge de delene du trenger. Men det betyr også at du må ha datakompetanse for å bygge ditt eget spesifikke system.

Microsoft Weekly Newsletter

Vær din virksomhets Microsoft-innsider ved hjelp av disse Windows- og Office-opplæringsprogrammene og våre eksperters analyser av Microsofts bedriftsprodukter. Leveres mandager og onsdager

Registrer deg i dag

Mer om Power BI og Microsoft

  • Power BI og Azure som fremtiden for bedriftsanalyse (TechRepublic)
  • Microsofts Power BI Premium leverer funksjoner og bulkrabatter i bedriften (ZDNet)
  • Oppkjøp av Datazen kan bringe Microsoft Power BI til iOS og Android (TechRepublic)
  • Å bygge en bank som kan overraske og glede med Power BI (TechRepublic Resource Library)
  • Lag datavisualiseringer og analyser med Google Fusion Tables (TechRepublic)
  • Microsoft Office 365: Den smarte personens guide (TechRepublic)

© Copyright 2021 | pepebotifarra.com