Etter kommunikasjonskrisen innen matematikk opprettet OpenAI en uavhengig rådgivningsgruppe på ni medlemmer som skal gi råd om forholdet til matematisk forskning. Gruppens uavhengighet og innvirkning blir stilt spørsmål ved av matematikere.
OpenAI kunngjorde at de har opprettet en uavhengig gruppe matematikere som skal gi selskapet og andre AI-selskaper råd om forholdet til matematisk forskning, etter omdømmekrisen som oppsto som følge av selskapets resultater innen matematikk. Ifølge selskapets kunngjøring vil gruppen gi råd om samhandling med matematikkmiljøet, inkludert hvordan nye resultater skal presenteres og publiseres.
Strukturen, kalt Mathematical and AI Advisory Group (AGMAI), består av ni medlemmer. Medlemmene kommer fra institusjoner som Stanford, Harvard, Oxford og Cambridge, og blant dem finnes flere Fields-medaljevinnere og MacArthur-stipendiater. Gruppen skal ha tilhold ved Institute for Advanced Study (IAS) i New Jersey, et av verdens mest anerkjente matematiske forskningssentre, hvor personer som Albert Einstein, John von Neumann og J. Robert Oppenheimer en gang arbeidet.
Ifølge selskapets kunngjøring vil gruppen arbeide uavhengig; den kan gi råd om emner selskapet ikke har bedt om, uttale seg offentlig om sin innvirkning på matematikken og offentliggjøre sine anbefalinger. OpenAI opplyste at gruppen vil få tidlig tilgang til selskapets forskning for å kunne utføre sitt mandat. Det ble uttalt at medlemmene ikke vil motta betaling fra OpenAI, og at gruppen kan endre sin medlemsstruktur etter eget skjønn. Selskapet uttalte: «Gruppens verdi avhenger av at medlemmene kan bruke sin egen dømmekraft og utfordre vår.»
Gruppens sammensetning og uavhengighet
Til tross for vektleggingen av gruppens uavhengighet, er det fortsatt uklart hvor effektiv den vil være og hvorfor den ble opprettet. Simon Machado, forsker ved ETH Zürich i Sveits, uttalte at prosessen virker «hyllet i mystikk» og stilte spørsmål ved hvordan de ni medlemmene ble valgt. På gruppens nettside står det at strukturen «kom sammen etter at OpenAI henvendte seg til noen medlemmer med et forslag om å opprette et eksternt rådgivende organ», men at matematikerne etter samtaler med selskapet bestemte seg for å danne en uavhengig gruppe og invitere flere. Det er ikke redegjort for hvilke medlemmer OpenAI først henvendte seg til, eller hvordan de øvrige medlemmene ble valgt.
Gruppemedlem Martin Hairer svarte i et blogginnlegg på diskusjonene han kalte «feilinformasjon» om gruppens etableringsprosess. Hairer uttalte at kunstig intelligens allerede har hatt dyp innvirkning på matematisk forskning, og at det reiser mange spørsmål som korrekt tilskrivning av ideer, prioritet og menneskers forståelse. Han argumenterte for at det ikke ville være meningsfullt for miljøet å ignorere AI-laboratorier.
Hairer innrømmet at gruppen ble opprettet som følge av OpenAIs tilnærming, men understreket at ikke alle medlemmene ble kontaktet av selskapet, og at strukturen som oppsto er «virkelig uavhengig av OpenAI og andre ledende AI-laboratorier». Han la til at medlemmene ikke har signert noen avtale som begrenser deres offentlige uttalelser utover «åpenbare konfidensialitetskrav», at de ikke mottar økonomisk kompensasjon, og at de er avhengige av IAS for teknisk støtte. Hairer uttalte at gruppens mål er å representere matematikkmiljøets interesser så godt som mulig.
Bekymringer i miljøet
Gruppens lille størrelse reiser spørsmålet om den har bred nok ekspertise til å vurdere alle saker den mottar, gitt den høye spesialiseringen som kreves for å arbeide i matematikkens grenseland. Francesco Fournier-Facio, matematikkprofessor som skal begynne ved Heriot-Watt University i Skottland, sa at han er «usikker» på panelet, og at mer samhandling med matematikere «kan gjøre alt bedre». Han stilte imidlertid spørsmål ved om gruppen fullt ut gjenspeiler miljøet hvis arbeid og levebrød påvirkes av OpenAIs fremstøt innen matematikk, og kalte strukturen et «elfenbenstårn».
Machado stilte på lignende måte spørsmål ved om gruppemedlemmene fullt ut kan forstå det bredere matematikkmiljøets bekymringer om kunstig intelligens. Han uttalte at medlemmene er «fantastiske matematikere», men at han ikke er sikker på om han vil at de skal representere ham i mer politiske spørsmål. Machado sa at virkeligheten matematikere i en slik posisjon møter, er svært forskjellig fra de fleste matematikeres.
Hvorvidt gruppen klarer å vinne matematikernes tillit, vil avgjøre hvor effektiv den er til å begrense gjenklangen av OpenAIs nylige kommunikasjonsfeil. Hairer uttalte i blogginnlegget at det ville være «svært naivt» å tro at medlemmene ikke vil oppleve at AI-laboratorier vrir på det som blir sagt, for å passe deres egne promoteringformål. Likevel argumenterte Hairer for at det ville være hyklersk å unngå dialog i en periode hvor selskapet gjør en innsats. Han uttalte at gruppen ennå ikke har bestemt hvilke anbefalinger den vil gi, men at det finnes et klart problem den svarer på.
Hairer sa at gruppen for tiden samler inn synspunkter gjennom samtaler med kolleger, et offentlig tilbakemeldingsskjema og en blogg hvor matematikere diskuterer AI-ens innvirkning på feltet.
Den kommende utfordringen
Det vurderes at gruppens største prøve ligger foran den. OpenAI kunngjorde samtidig med rådgivningsgruppen at deres upubliserte nye modell «har løst over 100 lenge åpne problemer innen de fleste områder av matematikken». Selskapet hadde tidligere uttalt at det nærmet seg et annet Millennium Prize-problem. På gruppens nettside står det at denne oppgaven er førsteprioritet, og at det skal gis råd om hvordan publiseringen av et stort antall viktige matematiske resultater, som rapporteres å være generert av OpenAIs interne modell, skal koordineres.
Det nye initiativet ses delvis som en erkjennelse av kommunikasjonskrisen selskapet har opplevd. OpenAI har blitt anklaget for å tilegne seg forskeres arbeid, og har møtt kritikk for ikke å kreditere den menneskelige innsatsen modellene bygger på, og for å samle inn data fra brukere av deres egne modeller. Disse diskusjonene har ført til at mange matematikere stiller spørsmål ved om selskapet forstår feltet og miljøet det har gitt seg inn i.
Kevin Buzzard, matematikkprofessor ved Imperial College London, stilte spørsmål ved hvorfor OpenAI trenger en så fremtredende struktur for å forstå miljøets krav, etter at det er skrevet mye om hva matematikere ønsker. Buzzard sa: «Det som trengtes var ikke bevis for vanskelige teoremer, men en bedre forståelse av faget vårt,» og la til at det for ham ikke er klart om det er behov for en komité av strålende mennesker for å understreke dette poenget.
