Googles tilnærming til Big Data er BigQuery

Alle ser ut til å snakke om big data nå (bortsett fra på bursdagsfestene jeg drar til, der de fortsatt diskuterer Teenaged Mutant Ninja Turtles - et akseptabelt tema når du har en fem år gammel). Big data er et emne som når på alle måter av IT, fra systemadministratorer som prøver å lagre det, nettverksadministratorer som prøver å gi tilgang til det, og forretningsanalytikere som prøver å gi mening om det.

Som rumlingen om et fly i nærheten som begynte å ta av, var jeg ikke helt klar over begrepet big data før støyen rundt det ble så høyt at det var vanskelig å høre noe annet.

Wikipedia uttaler: "Big data er en samling datasett som er så store og komplekse at det blir vanskelig å behandle ved bruk av databaseadministrasjonsverktøy." Det som definerer "stort og sammensatt" kan være subjektivt, men i et generelt best mulig scenario vil dette være informasjon til melodien til eksabyter. Jeg tror det er trygt å si at mange av oss sannsynligvis eier eller har eid en kjøretur på 1 terabyte. Se på en million av disse stasjonene som er koblet til et system som prøver å analysere hva som er på dem og gi meningsfulle resultater på kort tid. Akkurat nå er det big data.

Hva blir analysert?

Da jeg først begynte å lese om big data antok jeg at det betydde store databaser fulle av markedsføringsdetaljer eller kundeoppføringer. Dette kan gjelde, men big data kan også referere til e-post, kontordokumenter, logger, bildefiler - alt som utgjør verdifull informasjon for din organisasjon.

Hvilke alternativer tilbyr Google?

På Google-fronten er det der BigQuery kommer inn.

Google uttaler at "BigQuery er en webtjeneste som lar deg gjøre interaktiv analyse av massive datasett - opptil milliarder rader. Skalbar og enkel å bruke, lar BigQuery utviklere og bedrifter benytte seg av kraftige dataanalyser på forespørsel. BigQuery fungerer best for interaktiv analyse av veldig store datasett, vanligvis ved hjelp av et lite antall veldig store, bare vedleggstabeller. For mer tradisjonelle relasjonsdatabasescenarier, kan du vurdere å bruke Google Cloud SQL i stedet. "

Denne siste setningen kan være vanskelig. Google tilbyr en sammenligning for å klargjøre forskjellene mellom de to tjenestene:

Figur A

Fordi BigQuery er en nærmere passform til konseptet "Big Data", vil jeg analysere det nærmere for formålet med denne artikkelen.

Hva kan BigQuery spesifikt gjøre?

La oss innse det: data og håndtering av dem, kan være et tørt tema uten subjektive eksempler. Google tilbyr flere casestudier for å skissere fordelene med BigQuery. En slik studie diskuterer hvordan et selskap som heter Crystalloids bygde en BigQuery-basert applikasjon for en klient (PDF). Denne klienten, Center Parcs Europe, drev et feriestednettverk og ønsket å finne ut hvilke markedsføringsteknikker som ville fungere best for å nå frem til potensielle gjester før travle ferieperioder.

Crystalloids setter opp den nye webapplikasjonen for Center Parcs Europe for å la dem "fokusere på spesifikke data ved å bare klikke på en knapp - for eksempel å se bestillingsinformasjon for et bestemt land eller å isolere en viss tidsramme." Søkeresultatene ble deretter omgjort til diagrammer og grafer via Google Visualization API.

BigQuery chugs gjennom millioner av poster i løpet av få sekunder. Som sammenligning kan andre alternativer ta åtte minutter. Som et resultat kunne Center Parcs Europe "få tilgang til bestillingsinformasjon, angi priser og maksimere inntekter." De sparte $ 150 000 per år i driftskostnader, og - best av alt - siden applikasjonen er skybasert, trengte de ikke å bruke nesten $ 800 000 for å drive den lokalt.

Andre konkrete eksempler fra casestudiene om bruk av BigQuery:

  • "oppdage nye trender i data."
  • "vurdere effektiviteten av kampanjer for brukerinnsamling."
  • "se på brukerens rekkevidde, oppbevaring og inntektsberegninger for å se om et spill eller en app får trekkraft før de investerer for mye i det."
  • "identifisere de mest aktive brukerne og lokke dem til å introdusere nye spillere til spill"
  • "lære hvor mange ganger kunder søkte på seter og fant ingen eller svært få tilgjengelige, noe som indikerer at flere seter bør legges til en rute."
  • "undersøke reduksjoner i bookinger og varsle ingeniører om et teknisk problem er årsaken."
  • "identifisere serverproblemer ved raskt å analysere data relatert til serveraktivitet."
  • "oppdag hvor mange unike besøkende som ser på blogger og nettsteder."

For en god lese om emnet, sjekk ut magasinet Wired, som snakker om opprinnelsen til BigQuery.

Hvordan mater jeg dataene mine til BigQuery?

Du kan laste opp dataene dine i CSV- eller JSON-format. Flere filer er tillatt (opptil 500) med en maksimal jobbstørrelse på 1 terabyte om gangen. Du kan importere denne informasjonen fra datamaskinen din eller ved å bruke Google Cloud Storage (som Google anbefaler for mer effektiv dataopplasting). De har også en kvotepolitikk for spørsmål og import / eksportjobber, som sier at du kan kjøre opptil 20 samtidige spørsmål eller spørsmål på totalt 200 GB og ett spørsmål med ubegrenset størrelse.

Google gir alle detaljene om hvordan du laster opp dataene dine via en side som heter "Big Query Data Ingestion Best Practices and Cookbook." Det høres ut som noe som kan være på Jabba the Huttes lesehylle, men er faktisk en veldig omfattende guide. Google tilbyr også en side med beste praksis for BigQuery som er verdt å sjekke ut; nye oppdateringer kan legges til senere.

Hvordan bruker jeg BigQuery for å få tilgang til dataene mine?

Du kan bruke BigQuery via en nettleser eller et kommandolinjeverktøy. Det er også mulig å få tilgang til det via et REST API (applikasjonsprogrammeringsgrensesnitt).

Hvor mye koster BigQuery?

Prisene for Big Data er som følger. Merk at de første 100 GB dataene du behandler hver måned er gratis:

Figur B

I tillegg når du kjører spørsmål, blir du bare belastet per kolonne (heller enn per tabell) for behandling av data.

Konklusjon

Som systemadministrator har det vært et mål for meg i mange år å endre oppfatningen om at IT bare eksisterer for å "fikse ødelagte datamaskiner" eller "endre passord." Det er som å holde en Ford Mustang fra 1968 i garasjen bare med en kvart tur til tannlegen. I virkeligheten bør formålet med informasjonsteknologi og dets arbeidere være å berike bedrifter; for å hjelpe dem med å få mest mulig ut av dataene sine og øke fortjenesten, fremme vekst og kutte kostnadene. BigQuery er et perfekt eksempel på dette konseptet.

Hvis det bare kan hjelpe meg å analysere mine 12 år med feriebilder for å finne ut hvor pokker vi var, ville jeg ha ett prosjekt til å krysse av oppgavelisten min.

Les også:

  • Directory: Big data leverandører i USA
  • Tips om gruvedrift av Big Data i et lite forretningsmiljø
  • Fem applikasjoner for å analysere big data

© Copyright 2021 | pepebotifarra.com