Den dype læringsrevolusjonen: Hvordan forståelse av hjernen vil la oss overlave AI

Video: Cracking open deep learning's black box PARC-administrerende direktør Tolga Kurtoglu uttaler hvorfor vi trenger å forstå den indre funksjonen til banebrytende AI-modeller.

Hvis noen er kvalifisert til å snakke om maskinlæringsrevolusjonen som pågår, er det Terry Sejnowski.

Lenge før den virtuelle assistenten Alexa var et glimt i Amazons øye eller selvkjørende biler ble ansett som ekstern gjennomførbar, la professor Sejnowski grunnlaget for feltet dypt læring.

Sejnowski var en av en liten gruppe forskere på 1980-tallet som utfordret den rådende tilnærmingen til å bygge kunstig intelligens og foreslo å bruke matematiske modeller som kunne lære ferdigheter fra data.

I dag har de hjerneinspirerte, dyptlærende nevrale nettverk ført til store gjennombrudd i maskinlæring: gir opphav til virtuelle assistenter som i økende grad forutsier hva vi vil, oversettelse på forespørsel og datasystem som lar selvkjørende biler "se" verden rundt dem.

Professor Terry Sejnowski.

Bilde: Salk Institute

Men Sejnowski sier at maskinlæringen er veldig i sin spede begynnelse, og sammenligner den med det rudimentære flyet som Wright-brødrene fløy i den amerikanske byen Kitty Hawk på begynnelsen av 1900-tallet. Selv om det er en landemerkeprestasjon, fremstår denne tidlige maskinen i dag som umulig rå ved siden av de kommersielle jetflyene som ville følge i kjølvannet.

"Det vi har gjort er, tror jeg, å løse de vanskelige problemene som er forløpere til etterretning. Å kunne snakke på telefon, og svare på spørsmål og så videre, er bare det første laget av etterretning. Jeg tror vi ' tar vi våre første skritt, sier han.

Sejnowski sammenligner dagens nevrale nettverk med de tidlige dampmotorene utviklet av ingeniøren James Watt i begynnelsen av den industrielle tidsalderen - bemerkelsesverdige verktøy som vi vet fungerer, men er usikre på hvordan.

"Dette er nøyaktig hva som skjedde i dampmaskinene. 'Herregud, vi har denne gjenstanden som fungerer. Det må være noen forklaring på hvorfor det fungerer og på en måte å forstå det.'

"Det er en enorm mengde teoretisk matematisk utforskning som virkelig prøver å forstå og bygge en teori for en dyp læring."

Hvis forskning på dyp læring følger den samme banen som den som ble stimulert av dampmotoren, spår Sejnowski at samfunnet er i begynnelsen av oppdagelsesreisen som vil vise seg transformativ, og siterer hvordan de første dampmotorene "tiltrakk seg oppmerksomheten til fysikere og matematikere som utviklet en teori kalt termodynamikk, som deretter tillot dem å forbedre ytelsen til dampmotoren, og førte til mange innovative forbedringer som fortsatte de neste hundre årene, som førte til disse massive dampmotorene som trakk tog over kontinentet. "

Hvordan AI-forskning utvikler seg

Mens tidlig AI-forskning fokuserte på hard koding av reglene for intelligens i et dataprogram, ble det i de mellomliggende årene tydelig at en slik tilnærming var for ufleksibel til nøyaktig å tolke den rotete og uforutsigbare virkelige verden.

Hvis vi ønsker å utvikle maskiner med samme kognitive evner som mennesker - å tenke, resonnere og forstå - så sier Sejnowski at vi må se på hvordan intelligens dukket opp i hjernen.

"Det viser seg at det eneste beviset du kunne løse ethvert problem innen intelligens i det hele tatt, er det faktum at naturen allerede har løst det.

"Så ville det ikke være fornuftig å faktisk stille spørsmålet:" Vel, hvordan løste naturen det? Hva var arkitekturen? Hva er de generelle prinsippene? ".

"Brødrene Wright brukte generelle prinsipper for hvordan fugler gli for å designe luftbladene, skulle vi ikke også kunne fjerne ting som det fra naturen?

"Den eneste fremgangen som er gjort i AI de siste 50 årene, som virkelig har innvirkning på økonomien og vitenskapen, er virkelig inspirert av naturen, av hjernen, det er der vi er."

Sluttresultatet har vært utviklingen av nevrale nettverk, matematiske modeller løst inspirert av hjernen som er i stand til å fremheve mønstre i data, og gi dem muligheten til å lære å utføre spesifikke oppgaver, det være tale anerkjennelse eller datasyn.

Som et ytterligere bevis på den overlappingen mellom maskinlæring og natur, peker Sejnowski på den nære sammenhengen mellom tidsmessige forskjeller, en viktig matematisk modell som brukes i forsterkningslæring - der et system lærer ved å prøve å maksimere en belønning - og virkemåten til basalganglier funnet i virveldyrhjerner, som hjelper dyr og mennesker med å løse problemer i den virkelige verden.

"Basalgangliene hjelper dyret med å lære å ta en rekke beslutninger for å nå et mål.

"For eksempel kan målet være 'Jeg vil fange en fisk'. Ok, hvor går du? Du må finne ut det mest sannsynlige stedet å finne en fisk. Du må komme på en måte å fange Du må være der når fisken er der. Du må ha et spyd eller noe annet verktøy.

"Det er utrolig mange usikkerheter i den prosessen, og det læres gjennom erfaring. Det læres gjennom å faktisk se seg rundt og observere og deretter lage en hypotese. 'Å, det er strøm der'. 'Du vet, jeg så en fisk der i går'." Å, kanskje jeg ser igjen i dag.

"Så basalgangliene gjør akkurat det du trenger for å løse disse problemene, og det viser seg at interessant nok, den algoritmen som er innebygd i hjernen, ble også utarbeidet på 1980-tallet og kalt tidsmessige forskjeller."

Mer om innovasjon

  • IBM kunngjør gjennomslag av batteriteknologi
  • Augmented reality for business: Cheat sheet
  • Bilder: Verdens 25 raskeste superdatamaskiner
  • Inside the Raspberry Pi: Historien om $ 35-datamaskinen som forandret verden

Denne tidsmessige forskjellen-algoritmen ble brukt sammen med dyp læring av Googles spill-spillende AI AlphaGo, sier Sejowski, og spilte en rolle i å hjelpe systemet med å slå verdens ledende mester på Go, et spill så komplekst at det totale antall stillinger som kan spilles er mer enn antallet atomer i universet.

Imidlertid utsetter naturen for inspirasjon også bukten i kompleksiteten i naturlige systemer sammenlignet med de største neurale nettverkene i dag.

"Se inn i hjernen, og hva ser du? Vel, dyp læring viser seg å være en bitteliten del av det som skjer i hjernen, bittesmå. De største dype læringsnettverkene har i størrelsesorden en milliard forbindelser, en milliard parametere . Vel, hvis du ser inn i hjernen din og ser på en kubikk millimeter av hjernen, har den omtrent en milliard synapser, "sier han.

"Det vi har nå, er slags, som en nesten lite hjerne, som vi begynner å mestre når det gjelder hvordan vi bruker det til å representere ting og løse problemer."

Selv om samfunnet bygde et nevralt nettverk med et tilsvarende antall forbindelser til en menneskelig hjerne, mangler vi fremdeles informasjon om hvordan dette nettverket bør struktureres for å gi opphav til generell intelligens som finnes hos mennesker.

"Det er resten av hjernen rett? Hjernen består ikke bare av hjernebarken, ikke sant, det er en million dype læringsnettverk i hjernen vår. Hvordan kobler du dem opp? Hvordan integreres de?"

Hans tro på at maskinlæringsforskere skal se til naturen, gjengis av Demis Hassabis, medgründer av Google DeepMind.

"Å studere dyrkognisjon og dets nevrale implementering har også en viktig rolle å spille, ettersom det kan gi et vindu til forskjellige viktige aspekter ved generell intelligens på høyere nivå, " skrev han i en artikkel i fjor.

En akselererende revolusjon

Mens Sejnowski sier at vi kan forvente en jevn strøm av trinnvise forbedringer i maskinlæringsevnen, sier han at det er umulig å forutsi når det neste naturinspirerte gjennombruddet vil skje. For veiledning sier han imidlertid at vi kan se på hvor lang tid det tok å konstruere de nevrale nevrale nettverkene (CNN) som understøtter eksisterende datasystemsystemer i dag.

"Det mest suksessrike nettverket for dyp læring, go-to-nettverket, er det innviklede nevrale nettverket.

"Det er Yann LeCuns baby, ikke sant? Han brukte 20 år på å bygge den tingen til det punktet hvor det nå er praktisk."

Strukturen til CNN bygger på menneskelig kunnskap om det visuelle systemet, og dateres tilbake til forskning utført av Hubel og Wiesel i 1960-årene.

"Så egentlig tok det omtrent 40 år å gå fra kunnskapen vi hadde om hjernen til å kunne bygge noe basert på det på disse prinsippene og se hvordan det fungerer.

"Det var en prosess med langsomme inkrementelle fremskritt og økninger i datakraft og data."

Selv med den enorme prosessorkraften som er tilgjengelig for de største teknologifirmaene og dype brønner av treningsdata som er samlet, sier han at betydelige fremskritt innen maskinlæring vil kreve en dypere forståelse av den menneskelige hjernen.

For å videreføre dette målet var Sejnowski en av de ledende akademikerne som hjalp Obama Det hvite hus med å starte BRAIN-initiativet i 2013. Under initiativet jobber nevrovitenskapsmenn sammen med ingeniører, matematikere og fysikere for å forbedre verktøyene som er tilgjengelige for å undersøke hjernen, med et fokus på å øke forståelsen av læring og hukommelse.

Sejnowski regner med at initiativet vil spille en rolle i "å utvikle innovative verktøy, raskt akselerere kunnskapen vår om hva som skjer i forskjellige deler av hjernen" og at det igjen "nye læringsalgoritmer kommer til å bli oppdaget", og legger til at større forståelse om hippocampus kan hjelp til å belyse hvordan maskinlæringssystemer kan lære av færre eksempler, i stedet for de enorme datasettene som trengs for å trene systemer i dag.

"Den andre gode nyheten er at mellom 1980 og i dag har det skjedd enorme fremskritt, for å forstå andre deler av hjernen som ikke har blitt utnyttet av maskinlæring."

Til tross for at det er så mye vi ikke forstår om hjernen, er Sejnowski optimistisk med hensyn til frekvensen av fremtidige fremskritt, og siterer tilbakemeldingssløyfen mellom maskinlæring og nevrovitenskap, og fremskritt innen det ene feltet fremskynder forskning i det andre.

"Nevrovitere genererer terabyte med informasjon per eksperimenter, og hvordan analyserer du det? Maskinlæring, " sier Sejnowski.

"Verktøy vi utviklet basert på hjernen blir nå brukt til å analysere data fra hjernen, og dette revolusjonerer nevrovitenskapen.

"Du går til hjernen for inspirasjon, du bygger en maskin, og nå bruker du maskinen for å forstå hjernen, og den løkken svinger raskere og raskere."

  • Sejnowskis nye bok The Deep Learning Revolution, som dekker hvordan dyp læring endrer livene våre og transformerer økonomien, er tilgjengelig fra 30. oktober fra MIT Press.

Les mer:

  • Facebooks maskinlæringsdirektør deler tips for å bygge en vellykket AI-plattform (TechRepublic)
  • AI-hjelpere er ikke bare for Facebooks Zuckerberg: Slik bygger du din egen (TechRepublic)
  • IBM Watson: Hva bruker selskaper det til? (ZDNet)
  • Hvordan utviklere kan dra nytte av maskinlæring på Google Cloud Platform (TechRepublic)
  • Hvordan forberede virksomheten din til å dra nytte av AI (TechRepublic)
  • Executive's guide to AI in business (gratis eBok)

Nyhetsbrev om innovasjon

Vær kjent med smarte byer, AI, Internet of Things, VR, AR, robotikk, droner, autonom kjøring og mer av de kuleste teknologiske nyvinningene. Leveres onsdager og fredager

Registrer deg i dag

© Copyright 2021 | pepebotifarra.com