Berätta för din kattunge vad du tycker inuti - black box-effekten

Att avancerade AI-algoritmer är som en svart låda (1) som kastar bort ett resultat utan att avslöja hur det gick till oroar vissa och upprör andra.

2015 ombads en forskargrupp vid Mount Sinai Hospital i New York att använda denna metod för att analysera en omfattande databas med lokala patienter (2). Denna stora samling innehåller en ocean av patientinformation, testresultat, recept och mer.

Forskare kallade det analysprogram som utvecklades under arbetets gång. Den tränade på data från cirka 700 XNUMX personer. människa, och när den testas i nya register har den visat sig vara extremt effektiv för att förutsäga sjukdom. Utan hjälp av mänskliga experter upptäckte han mönster i sjukhusjournaler som indikerar vilken patient som är på väg till en sjukdom, som levercancer. Enligt experter var systemets prognostiska och diagnostiska effektivitet mycket högre än för andra kända metoder.

2. Medicinsk artificiell intelligens baserat på patientdatabaser

Samtidigt märkte forskarna att det fungerar på ett mystiskt sätt. Det visade sig till exempel att den är idealisk för erkännande av psykiska störningarsom schizofreni, vilket är extremt svårt för läkare. Detta var förvånande, särskilt eftersom ingen hade någon aning om hur AI-systemet kunde se psykisk ohälsa så bra baserat bara på patientens journaler. Ja, specialisterna var mycket nöjda med hjälp av en så effektiv maskindiagnostiker, men de skulle vara mycket mer nöjda om de förstod hur AI kommer till sina slutsatser.

Lager av konstgjorda neuroner

Redan från början, det vill säga från det ögonblick som begreppet artificiell intelligens blev känt, fanns det två synpunkter på AI. Den första antydde att det skulle vara mest rimligt att bygga maskiner som resonerar i enlighet med kända principer och mänsklig logik, vilket gör deras inre funktion transparent för alla. Andra trodde att intelligens skulle uppstå lättare om maskiner lärde sig genom observation och upprepade experiment.

Det senare innebär att vända på typisk datorprogrammering. Istället för att programmeraren skriver kommandon för att lösa ett problem, genererar programmet egen algoritm baserat på provdata och önskat resultat. Maskininlärningsmetoder som senare utvecklades till de mest kraftfulla AI-systemen som är kända idag har just gått på vägen till, faktiskt, själva maskinen programmerar.

Detta tillvägagångssätt låg kvar i marginalen för AI-systemforskning på 60- och 70-talen. Först i början av föregående decennium, efter några banbrytande förändringar och förbättringar, "Djupa" neurala nätverk började visa en radikal förbättring av kapaciteten hos automatiserad perception. 

Djup maskininlärning har försett datorer med extraordinära förmågor, som förmågan att känna igen talade ord nästan lika exakt som en människa. Detta är en alltför komplex färdighet för att programmera i förväg. Maskinen måste kunna skapa sitt eget "program" av utbildning i stora datamängder.

Djup inlärning har också förändrat datorbildigenkänning och avsevärt förbättrat kvaliteten på maskinöversättning. Idag används den för att fatta alla möjliga viktiga beslut inom medicin, ekonomi, tillverkning med mera.

Men med allt detta du kan inte bara titta in i ett djupt neuralt nätverk för att se hur "insidan" fungerar. Nätverksresonemangsprocesser är inbäddade i beteendet hos tusentals simulerade neuroner, organiserade i dussintals eller till och med hundratals intrikat sammanlänkade lager..

Var och en av neuronerna i det första lagret tar emot en input, såsom intensiteten av en pixel i en bild, och utför sedan beräkningar innan utmatningen matas ut. De överförs i ett komplext nätverk till neuronerna i nästa lager - och så vidare, tills den slutliga utsignalen. Dessutom finns det en process som kallas för att justera de beräkningar som utförs av individuella neuroner så att träningsnätverket ger önskat resultat.

I ett ofta citerat exempel relaterat till hundbildigenkänning analyserar de lägre nivåerna av AI enkla egenskaper som form eller färg. De högre hanterar mer komplexa problem som päls eller ögon. Endast det översta lagret samlar allt, identifierar hela uppsättningen information som en hund.

Samma tillvägagångssätt kan tillämpas på andra typer av input som driver maskinen att lära sig själv: ljud som utgör ord i tal, bokstäver och ord som utgör meningar i skriven text, eller en ratt, till exempel. rörelser som är nödvändiga för att köra ett fordon.

Bilen hoppar inte över något.

Man försöker förklara exakt vad som händer i sådana system. Under 2015 modifierade forskare på Google en algoritm för bildigenkänning för djupinlärning så att den genererade eller modifierade dem istället för att se objekt på foton. Genom att köra algoritmen baklänges ville de upptäcka egenskaperna som programmet använder för att känna igen till exempel en fågel eller en byggnad.

Dessa experiment, offentligt kända som titeln, producerade fantastiska skildringar av (3) groteska, bisarra djur, landskap och karaktärer. Genom att avslöja några av maskinperceptionens hemligheter, som det faktum att vissa mönster upprepade gånger returneras och upprepas, visade de också hur djup maskininlärning skiljer sig från mänsklig perception – till exempel i den meningen att den expanderar och duplicerar artefakter som vi ignorerar i vår uppfattningsprocess utan att tänka. .

3. Bild skapad i projektet

Förresten, å andra sidan har dessa experiment avslöjat mysteriet med våra egna kognitiva mekanismer. Kanske är det i vår uppfattning att det finns olika obegripliga komponenter som gör att vi omedelbart förstår och ignorerar något, samtidigt som maskinen tålmodigt upprepar sina iterationer på "oviktiga" föremål.

Andra tester och studier utfördes i ett försök att "förstå" maskinen. Jason Yosinski han skapade ett verktyg som fungerar som en sond som sitter fast i hjärnan, riktar sig mot alla artificiella neuroner och letar efter den bild som aktiverar den starkast. I det senaste experimentet dök abstrakta bilder upp som ett resultat av att "kicka" nätverket på bar gärning, vilket gjorde processerna som äger rum i systemet ännu mer mystiska.

Men för många forskare är en sådan studie ett missförstånd, eftersom, enligt deras åsikt, för att förstå systemet, känna igen mönstren och mekanismerna för en högre ordning för att fatta komplexa beslut, alla beräkningsinteraktioner inuti ett djupt neuralt nätverk. Det är en gigantisk labyrint av matematiska funktioner och variabler. I nuläget är det obegripligt för oss.

Startar inte datorn? Varför?

Varför är det viktigt att förstå beslutsmekanismerna för avancerade artificiella intelligenssystem? Matematiska modeller används redan för att avgöra vilka interner som kan friges villkorligt, vem som kan få lån och vem som kan få jobb. De som är intresserade skulle vilja veta varför detta och inte ett annat beslut togs, vad är dess grunder och mekanism.

erkände han i april 2017 i MIT Technology Review. Tommy Yaakkola, en MIT-professor som arbetar med applikationer för maskininlärning. -.

Det finns till och med en juridisk och politisk ståndpunkt att förmågan att granska och förstå beslutsmekanismen för AI-system är en grundläggande mänsklig rättighet.

Sedan 2018 har EU arbetat med att kräva att företag ska ge förklaringar till sina kunder om beslut som fattas av automatiserade system. Det visar sig att detta ibland inte är möjligt även med system som verkar relativt enkla, som appar och webbplatser som använder djup vetenskap för att visa annonser eller rekommendera låtar.

Datorerna som kör dessa tjänster programmerar sig själva, och de gör det på sätt som vi inte kan förstå... Inte ens ingenjörerna som skapar dessa applikationer kan helt förklara hur det fungerar.