OpenAI hat nach der Kommunikationskrise in der Mathematik einen unabhängigen neunköpfigen Beirat gegründet, der das Unternehmen und andere KI-Firmen in Fragen der Beziehungen zur mathematischen Forschung beraten soll. Die Unabhängigkeit und Wirkung der Gruppe werden von Mathematikern jedoch infrage gestellt.
OpenAI hat nach der Reputationskrise, die durch seine jüngsten Ergebnisse in der Mathematik ausgelöst wurde, die Gründung einer unabhängigen Gruppe von Mathematikern angekündigt, die das Unternehmen und andere KI-Firmen in Fragen der Beziehungen zur mathematischen Forschung beraten soll. Laut der Ankündigung des Unternehmens wird die Gruppe Empfehlungen zum Umgang mit der mathematischen Gemeinschaft abgeben, einschließlich der Frage, wie neue Ergebnisse präsentiert und veröffentlicht werden sollen.
Das Gremium mit dem Namen Advisory Group on Mathematics and AI (AGMAI) besteht aus neun Mitgliedern. Die Mitglieder kommen von Institutionen wie Stanford, Harvard, Oxford und Cambridge und umfassen Persönlichkeiten, die mehrere Fields-Medaillen und MacArthur-Stipendien erhalten haben. Die Gruppe wird am Institute for Advanced Study (IAS) in New Jersey angesiedelt sein, einem der angesehensten mathematischen Forschungszentren der Welt, an dem einst Persönlichkeiten wie Albert Einstein, John von Neumann und J. Robert Oppenheimer tätig waren.
Laut der Ankündigung des Unternehmens wird die Gruppe unabhängig arbeiten; sie kann auch zu Themen beraten, die das Unternehmen nicht angefragt hat, sich öffentlich zu den Auswirkungen auf die Mathematik äußern und ihre Empfehlungen veröffentlichen. OpenAI erklärte, dass die Gruppe frühzeitigen Zugang zu den Forschungen des Unternehmens erhalten wird, um ihre Aufgabe erfüllen zu können. Es wurde angegeben, dass die Mitglieder nicht von OpenAI bezahlt werden und die Gruppe ihre Mitgliederstruktur nach eigenem Ermessen ändern kann. Das Unternehmen erklärte: „Der Wert der Gruppe hängt davon ab, dass ihre Mitglieder ihr eigenes Urteilsvermögen nutzen und unserem widersprechen können.“
Zusammensetzung und Unabhängigkeit der Gruppe
Trotz der Betonung der Unabhängigkeit der Gruppe bleibt unklar, wie effektiv sie sein wird und warum sie gegründet wurde. Simon Machado, Forscher an der ETH Zürich in der Schweiz, sagte, der Prozess erscheine „von Geheimnissen umhüllt“ und hinterfragte, wie die neun Mitglieder ausgewählt wurden. Auf der Website der Gruppe heißt es, die Struktur sei „nach einer Initiative von OpenAI entstanden, einige Mitglieder zur Bildung eines externen Beirats einzuladen“, doch nach Gesprächen mit dem Unternehmen hätten die Mathematiker beschlossen, eine unabhängige Gruppe zu gründen und andere einzuladen. Es wurde nicht erklärt, welche Mitglieder OpenAI ursprünglich angesprochen hatte und wie die übrigen Mitglieder ausgewählt wurden.
Das Gruppenmitglied Martin Hairer reagierte in einem Blogbeitrag auf Diskussionen, die er als „Fehlinformationsfluss“ über den Gründungsprozess der Gruppe bezeichnete. Hairer wies darauf hin, dass KI bereits jetzt tiefgreifende Auswirkungen auf die mathematische Forschung habe und viele Fragen aufwerfe, etwa die korrekte Zuschreibung von Ideen, Priorität und das Verständnis der Menschen. Er argumentierte, es sei nicht sinnvoll, dass die Gemeinschaft die KI-Labore ignoriere.
Hairer räumte ein, dass die Gruppe aufgrund der Initiative von OpenAI gegründet wurde, betonte jedoch, dass nicht alle Mitglieder vom Unternehmen angesprochen worden seien und die entstandene Struktur „wirklich unabhängig von OpenAI und anderen führenden KI-Labors“ sei. Er fügte hinzu, dass die Mitglieder keine Vereinbarung unterzeichnet hätten, die ihre öffentlichen Äußerungen einschränke, abgesehen von „offensichtlichen Vertraulichkeitsanforderungen“, keine finanzielle Vergütung erhielten und für technische Unterstützung auf das IAS angewiesen seien. Hairer erklärte, das Ziel der Gruppe sei es, die Interessen der mathematischen Gemeinschaft so gut wie möglich zu vertreten.
Bedenken in der Gemeinschaft
Die kleine Struktur der Gruppe wirft die Frage auf, ob sie über die fachliche Breite verfügt, um alle an sie herangetragenen Themen zu bewerten, wenn man die hohe Spezialisierung bedenkt, die für die Arbeit an den Grenzen der Mathematik erforderlich ist. Francesco Fournier-Facio, Mathematikprofessor, der an die Heriot-Watt University in Schottland wechseln wird, sagte, er sei „unentschlossen“ bezüglich des Gremiums und dass mehr Interaktion mit Mathematikern „alles verbessern könnte“. Er hinterfragte jedoch, ob die Gruppe die Gemeinschaft vollständig repräsentiert, deren Arbeit und Lebensgrundlage von OpenAIs Vorstößen in die Mathematik betroffen sind, und bezeichnete die Struktur als „Elfenbeinturm“.
Auch Machado hinterfragte, ob die Gruppenmitglieder die Bedenken der breiteren mathematischen Gemeinschaft in Bezug auf KI vollständig verstehen können. Er wies darauf hin, dass die Mitglieder „großartige Mathematiker“ seien, aber er sei sich nicht sicher, ob er möchte, dass sie ihn in politischeren Fragen vertreten. Machado sagte, die Realität, mit der Mathematiker in dieser Position konfrontiert seien, unterscheide sich stark von der der meisten Mathematiker.
Ob die Gruppe das Vertrauen der Mathematiker gewinnen kann, wird darüber entscheiden, wie effektiv sie die Auswirkungen von OpenAIs jüngsten Kommunikationsfehlern begrenzen kann. Hairer erklärte in seinem Blogbeitrag, es sei „sehr naiv“ zu glauben, dass die Mitglieder nicht die Aussagen der KI-Labore zu deren eigenen Werbezwecken verdrehen würden. Dennoch argumentierte Hairer, es wäre Heuchelei, den Dialog zu vermeiden, während das Unternehmen Anstrengungen unternimmt. Er sagte, die Gruppe habe noch nicht entschieden, welche Empfehlungen sie aussprechen werde, aber es gebe ein klares Problem, auf das sie reagiere.
Hairer sagte, die Gruppe sammle derzeit Meinungen durch Gespräche mit Kollegen, ein öffentliches Feedback-Formular und einen Blog, in dem Mathematiker die Auswirkungen von KI auf das Fach diskutieren.
Die kommende Herausforderung
Es wird erwartet, dass die größte Prüfung der Gruppe noch bevorsteht. OpenAI erklärte bei der Ankündigung des Beirats, dass sein unveröffentlichtes neues Modell „über 100 seit langem offene Probleme in vielen Bereichen der Mathematik gelöst“ habe. Das Unternehmen hatte zuvor angegeben, sich einem weiteren Millennium-Preis-Problem genähert zu haben. Auf der Website der Gruppe heißt es, diese Entwicklung habe oberste Priorität, und man werde OpenAI dazu beraten, wie die Veröffentlichung zahlreicher bedeutender mathematischer Ergebnisse koordiniert werden könne, die angeblich von seinem internen Modell erzeugt wurden.
Die neue Initiative wird teilweise als Eingeständnis der Kommunikationskrise des Unternehmens gesehen. OpenAI wurde beschuldigt, die Arbeit von Forschern zu vereinnahmen, und sah sich Kritik ausgesetzt, dass es die menschliche Arbeit, auf der seine Modelle basieren, nicht ausreichend würdigt und Daten von Nutzern seiner Modelle erhält. Diese Diskussionen führten dazu, dass viele Mathematiker hinterfragten, ob das Unternehmen das Feld und die Gemeinschaft, in die es eindringt, versteht.
Kevin Buzzard, Mathematikprofessor am Imperial College London, hinterfragte, warum OpenAI nach all dem, was über die Wünsche der Mathematiker geschrieben wurde, eine so herausragende Struktur benötigt, um die Forderungen der Gemeinschaft zu verstehen. Buzzard sagte: „Was gebraucht wurde, waren nicht Beweise für schwierige Theoreme, sondern ein besseres Verständnis unseres Fachgebiets“, und fügte hinzu, es sei ihm nicht klar, ob es notwendig sei, ein Komitee aus brillanten Köpfen zu haben, um diesen Punkt zu betonen.
