DiscoveryRSI: KI lernt, gute Hypothesen aufzustellen

Hintergrund

Ein Schlüsselschritt der wissenschaftlichen Entdeckung ist, eine wertvolle Hypothese in Forschung zu überführen, die jemand tatsächlich durchführen kann. Eine neuartig klingende Vermutung aufzuschreiben, ist der leichte Teil. Schwer ist es, diese Vermutung durch Revision, Untersuchung und Begutachtung so weit zu bringen, dass man sie prüfen kann. Aus diesem Vorgang zu lernen, ist deshalb schwierig, weil er sich ständig verändert. Viele Forschungsagenten werden nur am Endergebnis gemessen. Wie eine Hypothese über viele Runden wächst und sich wandelt, hinterlässt bei ihnen kaum Lerneffekte.

Die Arbeit hinter DiscoveryRSI definiert zunächst, was eine wertvolle, prüfbare Hypothese ist. Die Autoren zerlegen sie in Bestandteile, die alle vorhanden sein müssen. Sie ist eine evidenzbasierte Aussage zu einer wichtigen Unsicherheit. Sie kommt mit einem machbaren Untersuchungsplan. Sie nennt klare Entscheidungskriterien, also welches Ergebnis die Aussage stützen und welches sie widerlegen würde. Und sie führt alternative Erklärungen auf, damit sich die Forschenden nicht auf ihre Lieblingsantwort versteifen.

Auf dieser Definition bauen die Autoren das Framework DiscoveryRSI auf. Es erlaubt einem Modell, seine Fähigkeit zum Aufstellen von Hypothesen durch rekursive Selbstverbesserung zu steigern. Zur Messung dieser Verbesserung führen sie außerdem DFM-Bench ein. Die Arbeit konzentriert sich auf vier Lebenswissenschaften.

Tiefenanalyse

DiscoveryRSI erzeugt zuerst per evolutionärer Multi-Agenten-Suche einen Hypothesenbaum. Mehrere Agenten schlagen zu derselben Forschungsrichtung Hypothesen vor, kritisieren und überarbeiten sie. Jeder Ast des Baums steht für einen anderen Entwicklungspfad. Die ausgewählten Untersuchungen werden anschließend zu ausführbaren Harbor-Aufgaben kompiliert. Forschung bleibt damit keine Textbeschreibung. Sie wird zu etwas, das laufen kann und Spuren hinterlässt. Drei Mechanismen treiben das rekursive Lernen an. Die Hypothesen-Credit-Optimierung ordnet Ergebnisse der wissenschaftlichen Bewertung bestimmten Forschungsbeiträgen zu, die in den Dokumenten festgehalten sind. So erkennt das Modell, welche Revision die Qualität einer Hypothese wirklich verbessert hat, statt den Verdienst auf einen ganzen Verlauf zu verteilen. Das Harness-Replay sichtet bestehende Forschungsläufe, findet wirksame Strategien und wiederkehrende Fehlermuster und verbessert damit den Forschungsablauf selbst. Die Wiederentdeckung wendet akzeptierte Verbesserungen auf neue Untersuchungen an, und diese liefern frische Erfahrung für die nächste Runde. Zusammen ergibt das einen Kreislauf: Die Suche erzeugt Erfahrung, die Erfahrung verbessert Ablauf und Modell, und das verbesserte System sucht erneut.

Wie misst DiscoveryRSI, ob eine Hypothese gut ist? Es nutzt DFM-Bench, das die Qualität auf vier Ebenen bewertet: Hypothesen, Revisionen, Entwicklungspfade und Forschungsläufe. Das prüft mehr als eine einzige Endnote. Es fragt auch, ob sich über mehrere Revisionsrunden Fortschritt ansammelt. In der automatischen Auswertung über die vier Lebenswissenschaften stieg die Hypothesenqualität vom Basismodell mit 4,86 auf 5,39 nach zwei Selbstverbesserungsrunden. Am stärksten wuchsen Falsifizierbarkeit und Datenauflösbarkeit. Das passt zum Design des Frameworks, das Entscheidungskriterien und ausführbare Untersuchungen betont. Die Expertenbewertung liefert ein zweites Signal. In einer vorläufigen menschlichen Auswertung erzielte DiscoveryRSI-27B bei der Relevanz der Hypothesen und bei der Frage, ob Aussagen schlüssig und durch Evidenz begrenzt sind, höhere Werte als GPT-6 Luna. Die menschliche Bewertung zeigte zudem größere Verbesserungen entlang des Forschungspfads. Am aussagekräftigsten ist der Vergleich mit späterer Literatur. Als Referenz dienten Studien, die nach dem Stichtag der Modelle erschienen sind. Die Hypothesen von DiscoveryRSI-27B stimmten dabei zu 6,3 % mit veröffentlichter Forschung überein. GPT-6 erreichte 2,5 %, Claude Opus 5 erreichte 2,3 %. Die menschliche Auswertung ist noch vorläufig, und Stichprobengröße und Abdeckung brauchen weitere Prüfung.

Branchenwirkung

Die erste Wirkung ist praktisch. Die Arbeit macht aus einer guten Hypothese keine Geschmacksfrage mehr, sondern etwas, das sich definieren und messen lässt. Kennzahlen wie Falsifizierbarkeit und Datenauflösbarkeit geben Forschungsagenten ein klares Optimierungsziel. Teams, die automatisierte Forschungswerkzeuge bauen, können die vierteilige Definition als Prüfliste für ihre eigenen Ergebnisse übernehmen.

Die zweite Wirkung betrifft die Modellgröße. Ein Modell mit 27B Parametern, das rekursiv aus seinem eigenen Forschungsprozess lernt, erreichte eine Hypothesenqualität, die mit einem größeren Modell wie GPT-6 Luna mithalten kann und es bei einigen Expertenmaßen übertrifft. Für Open-Source-Gruppen mit begrenzter Rechenleistung ist das ein nützliches Signal. Besseres Lernen aus dem Prozess könnte bei dieser Aufgabe ebenso wichtig sein wie reine Größe.

Die dritte Wirkung liegt im Engineering. Untersuchungen zu ausführbaren Harbor-Aufgaben zu kompilieren und Credit auf der Ebene einzelner Forschungsbeiträge zuzuweisen, bietet ein Entwurfsmuster für industrielle Forschungsabläufe. Denkbar sind etwa die Auswahl von Wirkstoffzielen oder der Entwurf von Experimenten. Die Arbeit prüft allerdings nur Lebenswissenschaften und testet solche Einsätze nicht. DFM-Bench gibt der Forschung zudem einen Maßstab auf mehreren Ebenen. Man kann vergleichen, wie viel Fortschritt verschiedene Agenten ansammeln, und nicht nur die Qualität einer einzelnen Ausgabe.

Ausblick

Die Übereinstimmung von 6,3 % zeigt, wie weit das Feld noch davon entfernt ist, echte Entdeckungen verlässlich vorherzusehen. Der Wert liegt deutlich über den 2,5 % von GPT-6 und den 2,3 % von Claude Opus 5, doch die meisten Hypothesen entsprechen weiterhin keiner späteren Veröffentlichung. Leser sollten die Zahl als relativen Gewinn verstehen und nicht als Beleg für verlässliche Vorhersagen.

Zwei offene Fragen ergeben sich aus der Arbeit. Erstens deckt die Auswertung vier Lebenswissenschaften ab. Ob derselbe Kreislauf aus Baumsuche, Harbor-Kompilierung und rekursivem Lernen in anderen Disziplinen funktioniert, bleibt unbeantwortet. Zweitens ist die menschliche Bewertung vorläufig. Größere Expertengruppen und eine breitere Abdeckung würden zeigen, ob die Zugewinne bei Relevanz und Evidenzgrenzen Bestand haben.

Der nächste Test ist, ob weitere Selbstverbesserungsrunden die Hypothesenqualität über die berichteten zwei Runden hinaus weiter anheben, von 4,86 auf 5,39 und darüber. Falls ja, würde DiscoveryRSI zeigen, dass Credit-Zuweisung auf Prozessebene dauerhaftes Wachstum tragen kann. Falls nein, werden die Grenzen des Kreislaufs selbst zu einem nützlichen Ergebnis für das Feld.