Forschungsbudgets brauchen mehr als eine gute KI-Bewertung
Eine Studie zeigt Grenzen bei der KI-Bewertung von Forschungsideen. Forschungsleitungen sollten Auswahlentscheidungen fachlich begründen lassen.
Unternehmen, die Forschungsideen mit Sprachmodellen bewerten, sollten Budgetentscheidungen nicht allein auf deren Urteile stützen. Eine Studie des Forschungsinstituts Ai2 vom 27. Oktober 2026 zeigt, dass die Bewertung der wissenschaftlichen Neuheit stark von der Aufgabenstellung abhängen kann.
Ai2 untersuchte sechs Sprachmodelle. Schon kleine Änderungen an der Formulierung der Aufgabe führten laut Studie teils zu deutlich anderen Urteilen. Auch zusätzliche Literatursuche oder höherer Rechenaufwand verbesserten die Bewertung nicht durchgehend. Untersucht wurde die Neuheit wissenschaftlicher Ideen, nicht ihr wirtschaftlicher Nutzen.
Ein Vergleich in der Studie setzt teilweise die nur begrenzt überprüfte Annahme voraus, dass erzeugte Ideen weniger neu sind. Das schränkt die Aussagekraft dieses Vergleichs ein. Aus den Ergebnissen lässt sich weder eine allgemeine Fehlerquote für KI-Bewertungen noch eine Rendite für Forschungsinvestitionen ableiten.
Unsere Einordnung: Die Geschäftsführung sollte von der Forschungsleitung eine fachliche Begründung verlangen, bevor eine KI-Bewertung über die Auswahl einer Idee mitentscheidet. Der Nachweis sollte zeigen, welche vorhandene Forschung zum Vergleich herangezogen wurde und weshalb die ausgewählte Idee darüber hinausgeht.