Coding-Agenten scheitern in der Praxis – trotz 99 Prozent im Benchmark
Ein neuer Praxistest von Alibaba zeigt: Coding-Agenten lösen nur 26 Prozent der echten Aufgaben korrekt – obwohl sie in Benchmarks über 99 Prozent schaffen.
Benchmarks lügen – zumindest ein bisschen.
Alibaba hat Coding-Agenten in einem realistischen Test geprüft, und das Ergebnis ist ernüchternd: Das beste Modell hat nur etwa 26 Prozent der Aufgaben vollständig korrekt gelöst.
Zum Vergleich: In künstlichen Benchmarks schaffen dieselben Modelle oft über 99 Prozent.
Was läuft da schief?
Ganz einfach: Benchmarks sind oft zu einfach, zu vorhersehbar, zu künstlich.
Echte Softwareentwicklung ist chaotisch, mehrdeutig, kontextabhängig.
Für euch heißt das: Lasst euch nicht von hohen Benchmark-Werten blenden.
Wenn ihr KI-Agenten im echten Projekt einsetzt, rechnet mit deutlich mehr Fehlern.
