OpenAI har efter kommunikationskrisen inom matematik inrättat en oberoende rådgivande grupp med nio medlemmar som ska ge råd om relationer till matematisk forskning. Gruppens oberoende och inflytande ifrågasätts av matematiker.
OpenAI meddelade att man efter den förtroendekris som företagets resultat inom matematik orsakat har inrättat en oberoende grupp av matematiker som ska ge råd till företaget och andra AI-företag om relationer till matematisk forskning. Enligt företagets uttalande kommer gruppen att ge råd om hur man interagerar med matematiksamfundet, inklusive hur nya resultat presenteras och publiceras.
Strukturen, som kallas Mathematical and AI Advisory Group (AGMAI), består av nio medlemmar. Medlemmarna kommer från institutioner som Stanford, Harvard, Oxford och Cambridge, och bland dem finns personer med flera Fieldsmedaljer och MacArthur-stipendier. Gruppen kommer att vara värd för Institute for Advanced Study (IAS) i New Jersey, ett av världens mest ansedda matematiska forskningscentra, där personer som Albert Einstein, John von Neumann och J. Robert Oppenheimer en gång arbetade.
Enligt företagets uttalande kommer gruppen att arbeta oberoende; den kan ge råd i frågor som företaget inte har efterfrågat, offentligt kommentera sin påverkan på matematiken och offentliggöra sina rekommendationer. OpenAI uppgav att gruppen kommer att få tidig tillgång till företagets forskning för att kunna fullgöra sitt uppdrag. Det sades att medlemmarna inte kommer att betalas av OpenAI och att gruppen kan ändra sin medlemsstruktur efter eget gottfinnande. Företaget konstaterade: "Gruppens värde beror på att dess medlemmar kan använda sitt eget omdöme och utmana vårt."
Gruppens sammansättning och oberoende
Trots betoningen på gruppens oberoende är det fortfarande oklart hur effektiv den kommer att vara och varför den inrättades. Simon Machado, forskare vid ETH Zürich i Schweiz, sade att processen verkar vara "höljd i mystik" och ifrågasatte hur de nio medlemmarna valdes ut. På gruppens webbplats anges att strukturen "kom till efter att OpenAI kontaktat vissa medlemmar med ett förslag om att bilda en extern rådgivande kommitté", men att matematikerna efter samtal med företaget beslutade att bilda en oberoende grupp och bjuda in andra. Det förklarades inte vilka medlemmar OpenAI initialt kontaktade och hur de återstående medlemmarna valdes ut.
Gruppmedlemmen Martin Hairer svarade i ett blogginlägg på diskussioner som han beskrev som "felaktig informationsspridning" om gruppens bildande. Hairer påpekade att artificiell intelligens redan har en djupgående inverkan på matematisk forskning och väcker många frågor om korrekt tillskrivning av idéer, prioritet och människors förståelse. Han argumenterade för att det inte vore meningsfullt för samfundet att ignorera AI-laboratorier.
Hairer medgav att gruppen bildades till följd av OpenAIs tillvägagångssätt, men betonade att inte alla medlemmar kontaktades av företaget och att den bildade strukturen är "verkligen oberoende av OpenAI och andra ledande AI-laboratorier". Han tillade att medlemmarna inte har undertecknat något avtal som begränsar deras offentliga uttalanden utöver "uppenbara sekretesskrav", inte får någon ekonomisk ersättning och förlitar sig på IAS för tekniskt stöd. Hairer uppgav att gruppens syfte är att så väl som möjligt representera matematiksamfundets intressen.
Samfundets farhågor
Gruppens lilla storlek väcker frågan om den har den bredd av expertis som krävs för att bedöma alla frågor som kommer till den, med tanke på den höga specialisering som krävs för att arbeta i matematikens gränsland. Francesco Fournier-Facio, matematikprofessor som ska börja vid Heriot-Watt University i Skottland, sade att han är "osäker" på panelen och att mer interaktion med matematiker "skulle kunna förbättra allt". Han ifrågasatte dock om gruppen fullt ut speglar det samfund vars arbete och försörjning påverkas av OpenAIs åtgärder inom matematik, och beskrev strukturen som ett "elfenbenstorn".
Machado ifrågasatte på liknande sätt om gruppmedlemmarna verkligen kan förstå det bredare matematiksamfundets farhågor om AI. Han sade att medlemmarna är "fantastiska matematiker" men att han inte är säker på om han vill att de ska representera honom i mer politiska frågor. Machado sade att verkligheten för matematiker i denna position är mycket annorlunda än för de flesta matematiker.
Huruvida gruppen kan vinna matematikernas förtroende kommer att avgöra hur effektiv den är för att begränsa återverkningarna av OpenAIs senaste kommunikationsmisstag. Hairer skrev i sitt blogginlägg att det vore "mycket naivt" att tro att medlemmarna inte skulle förvränga vad AI-laboratorier säger för sina egna marknadsföringsändamål. Samtidigt argumenterade Hairer för att det vore hyckleri att undvika dialog i en tid då företaget gör ansträngningar. Han sade att gruppen ännu inte har bestämt vilka rekommendationer den ska ge, men att det finns ett tydligt problem som den svarar på.
Hairer sade att gruppen för närvarande samlar in synpunkter genom samtal med kollegor, ett offentligt feedbackformulär och en blogg där matematiker diskuterar AI:s inverkan på området.
Den kommande utmaningen
Gruppens största prövning tros ligga framför den. När OpenAI tillkännagav den rådgivande gruppen uppgav man att företagets nya opublicerade modell "har löst över 100 långvariga öppna problem inom de flesta områden av matematik". Företaget hade tidigare uppgett att det närmade sig ett annat Millennium Prize-problem. På gruppens webbplats anges att denna ansamling är den första prioriteringen och att man kommer att ge råd om hur man koordinerar publiceringen av ett stort antal viktiga matematiska resultat som rapporteras ha producerats av OpenAIs interna modell.
Det nya initiativet ses delvis som ett erkännande av företagets kommunikationskris. OpenAI har anklagats för att ha approprierat forskares arbete, kritiserats för att inte hänvisa till det mänskliga arbete som modellerna bygger på och för att samla in data från dem som använder deras modeller. Dessa kontroverser har fått många matematiker att ifrågasätta om företaget förstår det område och det samfund det ger sig in i.
Kevin Buzzard, matematikprofessor vid Imperial College London, ifrågasatte varför OpenAI behöver en så framstående struktur för att förstå samfundets krav, efter att mycket har skrivits om vad matematiker vill. Buzzard sade: "Det som behövdes var inte bevis för svåra teorem, utan en bättre förståelse för vårt ämne", och tillade att det inte är självklart för honom att en kommitté av briljanta människor behövs för att understryka denna punkt.
