LinkedIns Azure-trekk handler mindre om skala og mer om hastigheten på innovasjon

Hvordan Barracuda utnytter Microsoft Azure til å levere applikasjonssikkerhet til kundene Nitzan Miron, VP for applikasjonssikkerhetstjenester hos Barracuda Networks, diskuterer det Azure-leverte WAF-as-a-Service-tilbudet som ble kunngjort på Microsoft Ignite 2019

Må-lese sky

  • Cloud computing i 2020: Spådommer om sikkerhet, AI, Kubernetes, mer
  • De viktigste skyutviklingen i tiåret
  • Topp leverandør av desktop som en tjeneste (DaaS): Amazon, Citrix, Microsoft, VMware og mer
  • Cloud computing policy (TechRepublic Premium)

LinkedIn er så investert i å drive egne datasentre at det startet sin egen versjon av Open Compute Project (OCP) basert på 19-tommers rack, Open19. Det har også bidratt med betydelige mengder kode til Microsofts operativsystem SONiC-nettverk for å støtte funksjoner den trenger for sitt eget datasenternettverk. Men nå planlegger den å flytte til Azure.

Noen måneder etter den første kunngjøringen satte TechRepublic seg sammen med LinkedIn CTO Raghu Hiremagalur for å spørre hvorfor selskapet bytter til skyen, og hvilken fremgang som er gjort så langt. Og nei, sier han, er det ikke fordi Microsoft eier dem eller presser dem - det handler om muligheten til å skalere ved å bruke ny maskinvare og tjenester som LinkedIn aldri kunne bygge for seg selv.

Ekte hyperskala

Raghu Hiremagalur, CTO at LinkedIn.

" data-credit="Image: LinkedIn" rel="noopener noreferrer nofollow">

Raghu Hiremagalur, CTO på LinkedIn.

Bilde: LinkedIn

For det første, mens Open19 i stor grad har handlet om hvordan man forenkler og reduserer kostnadene ved drift av et datasenter, tar flytting til Azure bort behovet for å bygge ut nye datasentre.

Microsoft Azure: En innsideveiledning (gratis PDF)

For et tiår siden handlet LinkedIns problemer om å holde nettstedet tilgjengelig etter hvert som trafikken vokste, og den brukte flere år på å fokusere på å flytte til mikroservices og bare ha nok kapasitet til å tjene medlemmer. Så begynte det å tenke på å skalere nettverket og bygge en aktiv-aktiv datasenterarkitektur. I løpet av de siste tre årene har dette blitt skiftet til å prøve å bygge datasentre slik hyperskalens skyer som Azure gjør, med nettverket som endrer seg for å passe behovene til applikasjonene som kjører på det, i stedet for å be programutviklerne om å jobbe med den tilgjengelige infrastrukturen, båndbredde og latenstid.

Men det har gjort det i mellomstore datasentre i stedet for de gigantiske datasentrene for hyperscale sky, og problemet var mer sannsynlig å gå tom for plass enn å gå tom for strøm. LinkedIn har omtrent 250 000 servere i fem datasentre - og antallet har vokst med en tredjedel hvert år. Den har også 20 poeng av tilstedeværelse og jevnaldrende med 4000 nettverk, men det kan ikke sammenlignes med Azure.

"Vi er i vest USA, øst USA, Singapore og Texas; de er bokstavelig talt 57 regioner, " forklarer Hiremagalur. "Å kunne sykle på Microsofts ryggrad er et øyeblikkelig pluss: det er sannsynligvis en av de beste nettverksryggene som er fra a fra et privat ryggradssynspunkt, og de har 160 pluss kantplasser med Azure Front Door. Så vår evne til å betjene våre medlemmer kommer til å bli mye bedre enn der vi er i dag, fordi vi kan avslutte øktene deres i nærheten av der de er. "

LinkedIn gjør mer enn å bruke Azure-tilkobling, sier Hiremagalur: "Planen vår er å flytte alle arbeidsmengdene våre - produksjon, offline beregning, nåværende beregning - til Azure. På et tidspunkt i fremtiden ønsker vi ikke å drive datasentre ."

Det er ikke fordi LinkedIn ikke kunne fortsette å vokse datasentrene: Hiremagalur ser i hvert fall ikke de neste fem årene noen problemer med å skalere nettverk, datasenterkapasitet, strøm eller andre krav til infrastruktur.

LinkedIn flytter ikke til skyen fordi det må. Men det er verdt å gå gjennom det som kan være en ganske forstyrrende migrasjon av komplekse arbeidsmengder for muligheten Azure tilbyr - smidighet.

"Enten det er elastisitet og kapasitet, eller å utnytte Azure-investeringer med deres infrastruktur med Azure Front Door, eller deres nettverksryggrad, eller arbeidet de gjør i tilpasset silisium, og datasenteret og nettverksstoffene de gjør med akselerert nettverk og FPGA og lagringsinnovasjon ... Det er alt vi ønsker oss tilgang til over tid, sier Hiremagalur. "Og det er ikke ting som vi uavhengig ville investere i oss selv - det gir ikke mening for oss å uavhengig investere i dem selv."

LinkedIn vil også ta i bruk sky AI-verktøy som AzureML. "Azure-egenskapene med de tingene de gjør på AI-plassen er fantastiske. GPU-beregningen som de har, vil vi definitivt dra stor nytte av, " sier Hiremagalur.

Flerårig migrasjon

Å være en del av Microsoft betyr at LinkedIn får et avansert blikk på hva som kommer på Azure. Hiremagalur ønsker å komme i gang med en migrasjon som vil ta flere år å være klar for det. "Tatt i betraktning hvor lang tid vi tror det vil ta for oss å flytte arbeidsmengden vår til Azure, ønsket vi å starte prosessen nå og være klar til å utnytte all den godheten, når alt dette er klart for oss."

I mellomtiden vil LinkedIn fortsette med sin egen produktutvikling, men samtidig forberede den seg på farten - og tenke på hva den kan slutte å gjøre når den kjører på Azure.

"I det store og hele må grensesnittene som byggesteinene til infrastrukturen, som lagringsindeksering, tilby resten av ingeniørorganisasjonen, forbli konstante eller i det minste veldig like, så infrastrukturteamene våre vil gjøre det tunge løftet med å tilpasse byggesteinene til infrastrukturen. å løpe på den offentlige skyen, sier Hiremagalur.

Men han vil ikke ende opp med en kopi av LinkedIns nåværende infrastruktur, bare i skyen. "Dette er en mulighet for oss å splitte beregning og lagring. Vi har muligheten til å utnytte elastisitet i ekstrem skala for å jobbe med de daglige arbeidsmengdemønstrene som LinkedIn har med de fleste brukere som logger seg på i løpet av arbeidstiden. Det er ting vi ønsker å begynne å utnytte på vei til Azure. "

LinkedIn bruker veldig store grafdatabaser; det er mye Kafka (som ble utviklet på LinkedIn og håndterte en billion begivenheter om dagen der i 2015), og Samza strømbehandlingssystemer bygget på toppen av Kafka, for eksempel offline beregning og maskinlæring. Det er veldig nettverksintensivt: for hver byte med data som kommer inn i et LinkedIn-datasenter fra brukeraktivitet, genereres omtrent 1000 byte øst-vest-trafikk inne i datasenteret (analyserer denne informasjonen for LinkedIn-grafen og maskinlæringssystemer som å anbefale folk du kanskje kjenner).

"Vi vil kunne utnytte denne samlingen av nettverk og lagring i massiv skala, sammen med muligheten til å skalere beregning og lagring uavhengig. Vi er et veldig datatungt system, så det å kunne administrere disse to tingene som to separate enheter er også et stort pluss for oss, "sier Hiremagalur.

"Jo lavere nettverksforsinkelse er, jo mer kan du gjøre med grafdatabaser, " påpeker han. "Evnen til å krysse grafen vår på veldig interessante måter krever åpenbart veldig gode, veldig godt arkitekterte distribuerte systemer, men også nettverk som er helt topp. Jeg gleder meg til muligheten til å ha serverløs skala for disse typer arbeidsmengder og ikke trenger å bekymre deg i det hele tatt om hvordan disse tingene spinner opp og avvikles. Disse tingene er fantastiske kandidater for serverløs beregning. "

Spesiell rapport: Forbered deg på serverløs databehandling (gratis PDF)

Det var en arkitektonisk endring som LinkedIn ville ha sett på om den flyttet til Azure eller bodde i sine egne datasentre. Men flyttingen betyr at det vil være infrastrukturområder som LinkedIn kan overlate til Azure fullstendig.

"Å drive en stor arbeidsmengde på en offentlig sky er forskjellig fra å styre ting selv, hvor vi har 100 prosent kontroll på bokstavelig talt alt. Så vi må lære oss å drifte et nettsted på en veldig stabil måte med de endringene, " sa Hiremagalur sier.

I stedet for å tenke på maskinvare- og servicefeil, må ingeniører planlegge for oppgraderingssykluser de ikke har kontroll over, forklarer Hiremagalur. "Vi må lære om å svare på signaler om at Azure vil tjene oss og finne ut hvordan vi kan bevege eller pause arbeidsmengder. Måten vi administrerer sikkerhet på blir annerledes. Lagene i stabelen som vi har 100% kontroll på vil krympe bare: vi kontrollerer ikke nettverket, vi kontrollerer ikke de forskjellige datasettene. Så måten vi tenker på infosec trenger å utvikle seg, måten vi tenker på omkretssikkerhet trenger å utvikle seg. "

Det er den vanlige historien om sky migrasjon - du flytter ikke et program til en annen server, du flytter det du trenger for å få gjort til en annen type abstraksjon. Når du har gjort arbeidet, er belønningen at du får fokus på problemer på høyere nivå.

"Jeg ser på dette som at vi har muligheten til å fokusere på områder der vi leverer unik verdi og benytter oss av kollegene i Azure, til å gjøre ting de gjør i ekstrem skala og gjør det veldig, veldig bra, " sier Hiremagalur. "Jeg visualiserer dette som en økning i havnivået: tingene som går under vann for oss er ting vi bare lener oss på Azure for. Resten av dette er ting vi fortsetter å gjøre, og vi kan fokusere massevis mer på."

On-prem er den nye mainframe

Open19-initiativet går ikke bort, sier Hiremagalur. "Vi har allerede hatt mye verdi av det: vi har distribuert det på datasentrene våre, vi har bidratt med en haug med teknologi til OCP allerede, og vi vil fortsette å samarbeide med dem."

Men bortsett fra gigantiske organisasjoner som Facebook som driver sin egen sky, forventer Hiremagalur også at flere og flere selskaper vil gå over til offentlig sky over tid for mye av arbeidsmengden, fordi deres egne utviklere vil kreve det.

"Hvis du ikke har tilgang til innovasjoner som skjer i den offentlige skyen i løpet av de neste fem til ti årene, kan selskapet ditt bli oppfattet på samme måte som selskaper som kjører på mainframes - og ingen selskaper ønsker å være i den posisjonen ."

Cloud og alt som et service nyhetsbrev

Dette er din go-to ressurs for det siste om AWS, Microsoft Azure, Google Cloud Platform, XaaS, skysikkerhet og mye mer. Leveres mandager

Registrer deg i dag

Se også

  • Multicloud: Et jukseark (TechRepublic)
  • Hybrid sky: En guide for IT-proffer (TechRepublic nedlasting)
  • Topp skyleverandører 2019: AWS, Microsoft, Azure, Google Cloud; IBM gjør hybrid trekk; Salesforce dominerer Saas (ZDNet)
  • Beste skytjenester for små bedrifter (CNET)
  • Microsoft Office vs Google Docs Suite vs LibreOffice i 2018 (Download.com)
  • Cloud computing: Mer målesningsdekning (TechRepublic på Flipboard)

© Copyright 2021 | pepebotifarra.com