Wenn Anpassung Schaden anrichtet: Repräsentationsdrift und OOD-Fehlerschlagen bei der Feinabstimmung von MedSAM

Hintergrund

Foundation Models wie MedSAM haben die Segmentierung medizinischer Bilder durch eine beeindruckende Zero-Shot- und Few-Shot-Generalisierung über Domänen hinweg neu geprägt. Doch dieses Versprechen birgt einen zentralen Widerspruch: Die tatsächlich erzielte Leistung hängt stark von der Qualität der Prompts und davon ab, wie sich das Modell an neue Datensätze anpasst. Die Forschung hat diesen Umstand bislang überwiegend über reine Leistungszahlen bewertet, während die tiefere Frage, welche Anpassungsstrategien tatsächlich helfen und welche die Robustheit auf unbekannten Verteilungen schädigen, kaum erforscht blieb.

Diese Arbeit schließt diese Lücke, indem sie sechs Anpassungsstrategien in einem einheitlichen Rahmen systematisch vergleicht. Die Methodik umfasst die aktuellen Paradigmen der parametereffizienten Feinabstimmung und des Prompt-Learnings: die vollständige Feinabstimmung, das nur-Encoder-LoRA, die flache und tiefe visuelle Prompt-Abstimmung (VPT) sowie die nur-Decoder-Feinabstimmung. Die Evaluation erfolgt am Hautläsionsdatensatz ISIC 2018, während die Generalisierung über verschiedene Verteilungsebenen hinweg untersucht wird.

Das Evaluationsdesign trennt die Verteilungsverschiebung bewusst in klare Stufen. Getestet wird unter sauberen und schrittweise verrauschten Prompts auf In-Distribution-Daten, den nah-OOD-Hautdaten von PH2 sowie den fern-OOD-Daten von BUSI (Brustultraschall) und CBIS-DDSM (Brust-Röntgen). Diese gestufte Struktur erlaubt es den Autoren präzise zu diagnostizieren, wo die Anpassung hilft und wo sie die Leistung aktiv verschlechtert.

Tiefenanalyse

Die experimentellen Ergebnisse offenbaren ein gegen die Intuition arbeitendes Muster, das der Arbeit ihren Namen gab. Anpassungsstrategien verbessern die Leistung auf In-Distribution- und nah-OOD-Daten zuverlässig, verschlechtern sie jedoch häufig auf fern-OOD-Daten. Dieser Zielkonflikt, bei dem das Verbessern eines Bereichs einen anderen schädigt, zeigt, dass Feinabstimmung nicht durchweg nützlich ist und versteckte Kosten auf Verteilungen verursachen kann, die das Modell nie gesehen hat.

Unter den verglichenen Strategien erreicht die vollständige Feinabstimmung die beste allgemeine Balance in allen Einstellungen. Das nur-Encoder-LoRA erweist sich jedoch als stärkste parametereffiziente Alternative und schlägt Standard-LoRA und VPT unter fern-OOD-Verschiebung deutlich. Dies ist bedeutsam, denn parametereffiziente Verfahren sind genau jene Werkzeuge, auf die Praktiker zurückgreifen, wenn sie auf neue klinische Settings skalieren.

Zur Erklärung dieser Ergebnisse setzen die Autoren die Zentrierte-Kernel-Alignment-Messung (CKA) als Repräsentationsähnlichkeit ein und verfolgen, wie sich Encoder- und Decoder-Repräsentationen vor und nach der Anpassung verschieben. Die Analyse zeigt, dass die fern-OOD-Verschlechterung stark mit der Repräsentationsdrift des Decoders korreliert, während die Encoder-Ähnlichkeit allein die Robustheit nicht erklären kann. Diese Unterscheidung ist entscheidend, da sie die Merkmalsbewahrung im Encoder von der Pfadanpassung im Decoder trennt und exakt benennt, welches Component die Robustheit verliert.

Branchenwirkung

Der theoretische Beitrag ist deshalb bemerkenswert, weil er die Repräsentationsdrift erstmals auf kausaler Ebene mit der OOD-Fehlerschlagen verbindet. Dies formt eine häufige empirische Beobachtung um, nach der Modelle nach der Feinabstimmung auf fremden Daten nachlassen, in ein Erklärbares und Quantifizierbares um und verschafft Forschern eine wissenschaftliche Grundlage für die Wahl der Anpassungsstrategie statt des Vertrauens auf Versuch und Irrtum.

Für Praktiker bietet die Erkenntnis, dass nur-Encoder-LoRA unter fern-OOD-Verschiebung überragt, eine kosteneffiziente Deployment-Option unter Ressourcenbeschränkungen. Dies ist besonders relevant für medizinische Settings, die sich schnell an neue Abteilungen oder Bildgebungstechnik anpassen müssen, ohne auf große annotierte Datensätze zugreifen zu können. Die Jitter-basierte Augmentierung senkt zudem die Hürde beim Aufbau robuster Prompts.

Die Autoren haben den gesamten Code veröffentlicht, was die Gemeinschaftsforschung dazu beschleunigen sollte, wie medizinische Grundmodelle sich anpassen. Diese offene Ressource liefert sowohl eine experimentelle als auch theoretische Referenz für das Design intelligenterer, selbstadaptiver Feinabstimmungsmethoden in der Zukunft.

Ausblick

Die Arbeit legt nahe, dass die Wahl der Anpassungsstrategie gleichzeitig die Prompt-Rauschexposition, die Verteilungsverschiebung und die Repräsentationsbewahrung berücksichtigen muss, statt lediglich die Leistung auf dem Trainingsdatensatz zu jagen. Diese dreidimensionale Sicht sollte lenken, wie Teams Feinabstimmungsentscheidungen in der klinischen Bildgebung in der Produktion bewerten.

Zukünftige Arbeiten könnten das CKA-basierte Diagnoseframework auf andere Grundmodelte über MedSAM hinaus erweitern und prüfen, ob die Decoder-Drift-Hypothese über Segmentierungsbauarten und Bildgebungsmodalitäten hinweg Bestand hat. Das Verständnis, ob die beobachteten Zielkonflikte generalisieren, wird darüber entscheiden, wie weitreichend diese Empfehlungen gelten.

Letztlich verlagert die Arbeit den Fokus der Gemeinschaft von der reinen Genauigkeit hin zur Robustheit unter Verteilungsverschiebung. Wenn medizinische Grundmodelle von Forschungsbenchmarks in reale klinische Arbeitsabläufe übergehen, wird die Fähigkeit, sich anzupassen, ohne auf unbekannten Daten nachzulassen, zu einem entscheidenden Faktor für deren sicheres und wirksames Deployment.