Artificiell intelligens följer inte logiken i vetenskapliga framsteg
Vi har skrivit många gånger i MT om forskare och specialister som utropar maskininlärningssystem som "svarta lådor" (1) även för dem som bygger dem. Detta gör det svårt att utvärdera resultat och återanvända nya algoritmer.
Neurala nätverk – tekniken som ger oss intelligenta konverteringsrobotar och geniala textgeneratorer som till och med kan skapa poesi – förblir ett obegripligt mysterium för utomstående observatörer.
De blir större och mer komplexa, bearbetar enorma datamängder och använder massiva datormatriser. Detta gör replikering och analys av de resulterande modellerna kostsamma och ibland omöjliga för andra forskare, med undantag för stora centra med enorma budgetar.
Många forskare förstår detta problem väl. Bland dem är Joel Pinault (2), ordförande för NeurIPS, den främsta konferensen om "reproducerbarhet". Experter under hennes ledning vill skapa en "reproducerbarhetschecklista".
Tanken, säger Pino, är att uppmuntra forskare att erbjuda andra en färdplan så att de har möjlighet att återskapa och bygga vidare på det arbete som redan gjorts. Du kanske förundras över vältaligheten hos en ny textgenerator eller den övermänskliga smidigheten hos en videospelsrobot, men även de bästa experterna har ingen aning om hur dessa underverk fungerar. Därför är reproducering av AI-modeller viktigt inte bara för att identifiera nya mål och forskningsriktningar, utan också som en rent praktisk guide att använda.
Andra försöker lösa detta problem. Googles forskare föreslog "mönsterkort" för att detaljera hur system testades, inklusive resultat som indikerar potentiella fel. Forskare vid Allen Institute for Artificial Intelligence (AI2) har publicerat en artikel som syftar till att utöka Pinaults checklista för reproducerbarhet till andra stadier av den experimentella processen. "Visa ditt arbete", uppmanar de.
Ibland saknas grundläggande information eftersom forskningsprojektet är proprietärt, särskilt till laboratorier som arbetar för företag. Men oftare är det ett tecken på oförmåga att beskriva föränderliga och allt mer komplexa forskningsmetoder. Neurala nätverk är ett mycket komplext område. För att få bästa resultat krävs ofta finjustering av tusentals "rattar och knappar", som vissa kallar "svart magi". Att välja den optimala modellen innebär ofta att man genomför ett stort antal experiment. Magi blir väldigt dyrt.
Till exempel, när Facebook försökte replikera AlphaGo, ett system utvecklat av Alphabets DeepMind, visade sig uppgiften vara extremt svår. De enorma beräkningskraven, miljontals experiment på tusentals enheter under många dagar, i kombination med brist på kod, gjorde systemet "mycket svårt, för att inte säga omöjligt, att återskapa, testa, förbättra och utöka", enligt Facebooks personal.
Problemet verkar vara specialiserat. Men om vi tänker vidare, undergräver fenomenet problem med reproducerbarheten av resultat och funktioner mellan ett forskarlag och ett annat hela logiken i hur vetenskap och forskningsprocesser fungerar som vi känner den. Generellt sett kan resultat från tidigare forskning användas som underlag för vidare forskning som stimulerar kunskapsutveckling, teknik och övergripande framsteg.
