ReproBAIT: Bauen Coding-Agenten Bio-KI-Tools nach?

Hintergrund

Große Sprachmodelle nutzen bereits wissenschaftliches Wissen und vorhandene Werkzeuge für komplexe Arbeitsabläufe. Kaum belegt war bisher, ob sie ein Werkzeug aus einer knappen Beschreibung nachbauen können. Diese Lücke soll der Benchmark ReproBAIT schließen, kurz für Reproducing Biological AI Tools. Er misst, wie gut Coding-Agenten veröffentlichte biologische KI-Tools entwerfen, implementieren und trainieren.

Die Aufgabe unterscheidet sich deutlich von gewöhnlichen Tests zur Codegenerierung. Ein lauffähiges Programm genügt nicht. Der Agent muss das Modell innerhalb eines festen Zeit- und Rechenbudgets auch auf ein brauchbares Niveau trainieren. Die Arbeit liefert drei Beiträge: ein Rahmenwerk, das Agenten bei unterschiedlichem Informationszugang vergleicht, eine Auswahl realer Tools mit verschiedener Komplexität und eine Prüfung auf Memorisierung. Die Prüfung ist nötig, weil offene Tools wahrscheinlich im Vortrainingskorpus eines Modells stehen. Ohne sie könnte ein hoher Wert schlicht Auswendiggelerntes sein.

Tiefenanalyse

Der Versuchsaufbau ist streng. Jeder Agent arbeitet in einer Sandbox ohne Internetzugang und kann daher weder den Originalcode noch die Gewichte herunterladen. Er erhält Trainingsdaten, ein festes Budget an Zeit und Rechenleistung sowie nur wenige Angaben zum Zieltool. Der Umfang dieser Angaben lässt sich variieren. So sehen die Autoren, wie sich die Leistung mit dem Informationszugang ändert. Der Agent muss die Netzarchitektur wählen, den Code für Datenverarbeitung und Training schreiben und das Training im Budget abschließen. Bewertet wird nicht, wie ähnlich der Code dem Original ist. Stattdessen wird das nachgebaute Tool auf zurückgehaltenen Daten mit den Metriken geprüft, die zu diesem Tool gehören. Getestet wurden drei Werkzeuge. ProteinMPNN entwirft Sequenzen zu einer vorgegebenen Proteinstruktur, eine Aufgabe, die als Inverse Folding bekannt ist. RFdiffusion3 ist ein generatives Diffusionswerkzeug auf Allatom-Ebene, dessen Aufbau und Training deutlich komplexer sind. Das dritte ist ein Closed-Source-Tool für molekulares Design. Es taucht kaum in einem Trainingskorpus auf und dient deshalb als Kontrolle, die echtes Nachbauen von Erinnerung trennen hilft.

Die Ergebnisse fallen gestuft aus. Mehrere führende geschlossene und offene Agenten reproduzierten manche Tools beachtlich. Sie schaffen also bei knappen Angaben den ganzen Weg vom Entwurf bis zum trainierten Modell. Beim hochkomplexen Tool blieb die Reproduktion begrenzt. Größere Systeme scheitern offenbar weiterhin am Entwurf, an der Umsetzung oder am Trainingsbudget. Bei der Memorisierung fanden die Autoren mäßige Hinweise, die dazu passen, und sie unterscheiden sich stark je nach Agent. Die Wortwahl ist wichtig: Die Belege sind mit Memorisierung vereinbar, bewiesen ist sie nicht. Ein Teil des Erfolgs bei offenen Tools mag aus dem Vortraining stammen, aber nicht bei jedem Agenten im gleichen Maß. Die Zusammenfassung nennt keine konkreten Messwerte, daher bleibt dieser Text ohne Zahlenvergleiche.

Branchenwirkung

Die erste Folge betrifft geistiges Eigentum und Sicherheitsregeln. Die Autoren mahnen Tool-Entwickler, bei der Veröffentlichung von Informationen vorsichtiger zu sein. Kann ein Agent ein Tool allein aus öffentlichen Beschreibungen nachbauen, schrumpft womöglich sein kommerzieller Wert. Wer Jahre in ein Modell investiert hat, könnte erleben, dass ein Agent es aus einem Fachartikel und einem Datensatz rekonstruiert.

Die zweite Folge betrifft Dual-Use-Risiken. Manche Tools tragen solche Risiken, und ihre Entwickler steuern sie häufig über kontrollierten Zugang. Lässt sich ein Tool aus öffentlichen Angaben reproduzieren, kann diese Strategie ins Leere laufen. Gesperrte Gewichte schützen dann wenig, wenn schon die Veröffentlichung genug Details zum Nachbau liefert.

Für die Open-Source-Gemeinschaft bietet ReproBAIT eine wiederverwendbare Methode, um zu verfolgen, was Agenten bei der eigenständigen Entwicklung biologischer KI-Tools leisten. Für Unternehmen legt die Arbeit nahe, den Detailgrad von Artikeln, technischen Berichten und Dokumentation als Risikoentscheidung zu behandeln, die eine Prüfung verdient. Das Closed-Source-Kontrolltool liefert zudem eine Vorlage: Ein Test gegen ein Werkzeug, das das Modell nicht gesehen haben kann, ist ein praktischer Weg, Reproduktionsbehauptungen zu prüfen.

Ausblick

Aus der Arbeit ergeben sich zwei offene Aufgaben. Erstens muss sich Reproduktion zuverlässiger von Memorisierung trennen lassen. Die derzeitige Prüfung liefert mäßige Hinweise, die je nach Agent schwanken, und lässt Raum für schärfere Verfahren. Zweitens fehlt es an Abdeckung. Der Benchmark testet wenige Tools, und schon das eine hochkomplexe überforderte die Agenten. Weitere und schwierigere Tools würden zeigen, wo die Grenze liegt.

Da sich die Informationsmenge für den Agenten einstellen lässt, kann das Rahmenwerk mit jeder neuen Agentengeneration erneut laufen. Ein steigender Wert beim komplexen Tool wäre ein frühes Signal, dass sich Veröffentlichungsregeln ändern müssen. Bis dahin gilt für Entwickler ein schlichter Rat: Entscheiden Sie vor der Veröffentlichung, wie viel Sie preisgeben, nicht erst, nachdem ein Agent Ihr Tool nachgebaut hat.