Der KI-Vertrauensregler: Von lokalen Agenten zur autonomen Softwarefabrik

Es gibt viele Diskussionen über den Einsatz von KI, insbesondere darüber, wie Entwicklerteams sie in ihren Programmierabläufen nutzen. Manuelle Arbeit wird durch agentengesteuerte Automatisierung ersetzt, und der menschliche Mehrwert liegt zunehmend in den höherwertigen Aufgaben: Spezifikationen verfassen, die Architektur durchdenken, die Richtung vorgeben, den richtigen Geschmack treffen und die Ergebnisse überprüfen.

In diesem Zusammenhang sind die ständigen Debatten um Modellauswahl, Produktivität und KPIs nur ein Teil einer größeren Frage: Inwieweit kann man den generierten Ergebnissen vertrauen? Und was kannst du im Vorfeld tun, um von vornherein mehr Vertrauen zu haben?

Fabien Potencier, Mitbegründer und CTPO von Upsun, beschäftigt sich schon seit Langem mit diesem Problem. Er hat miterlebt, wie die Branche mehrere Wellen der KI-Einführung durchlaufen hat – von der Autovervollständigung über Copiloten bis hin zu Agenten, die in der cloud laufen –, und dabei in jeder Phase dieselbe Spannung beobachtet: die Kluft zwischen dem, was ein Agent leisten kann, und dem, was ein Team ihm tatsächlich ohne Aufsicht anvertrauen möchte.

Warum sollten wir uns auf Vertrauen konzentrieren?

Wenn ein Agent Handlungen mit echten Konsequenzen ausführt, überwachen Menschen entweder mechanisch alles übermäßig und genehmigen Aktionen, die sie gar nicht mehr wirklich lesen, oder sie gehen ins andere Extrem: das, was Fabien Potencier als „YOLO-Modus“ bezeichnet – sie geben die Aufsicht komplett auf und lassen den Agenten standardmäßig tun, was er will.

Er beschreibt es am besten: „Zunächst vertraust du den LLMs nicht. Du willst im Bilde bleiben, um sicherzustellen, dass du alles überprüfen kannst, was der Agent tut.“ Aber alles zu überprüfen kann schnell zu einer Lawine werden, wenn du nicht zuerst einen gemeinsamen Kontext, definierte Fähigkeiten und klare Leitplanken festlegst – dann stehst du immer wieder vor denselben Problemen.

In diesem Szenario ist Vertrauen der gesamte Kontext, den du im Laufe der Zeit aufbaust: dem Agenten das richtige Verständnis dafür zu vermitteln, was du tun willst und wie du es tun willst, damit er sich die ihm gewährte Autonomie verdienen kann. Es ist die bewusste Arbeit am Aufbau von Grundlagen, die sinnvolle Autonomie erst möglich macht und die Voraussetzung für alles ist, was danach kommt.

Können wir also von vollständiger Überwachung zu sinnvoller Autonomie übergehen, ohne dabei die Qualität oder die langfristige Wartbarkeit und Sicherheit der Ergebnisse zu beeinträchtigen?

Es ist ein Regler, kein Schalter

Fabien Potencier erklärt dies anhand des Bildes, dass Vertrauen ein Regler ist, kein Schalter. Ein Schalter ist binär: ein oder aus, überwacht oder autonom. Ein Regler hingegen ist abgestuft; er bewegt sich in kleinen Schritten.

Zunächst ist der Regler ganz in Richtung menschlicher Aufsicht gedreht, was bedeutet, dass jede Aktion eine Genehmigung und Überprüfung erfordert. In dieser Phase ist bei jeder Entscheidung ein Mensch involviert, und mit zunehmender Erfolgsbilanz lässt sich der Regler schrittweise weiterdrehen.

„Das Vertrauen verdient man sich, weil man die Arbeit geleistet hat“, erklärt Fabien Potencier, „und irgendwann kann man einige der Kontrollpunkte wegnehmen, weil man darauf vertraut, dass es jedes einzelne Mal gut laufen wird.“

Doch dieses Vertrauen entsteht nicht dadurch, dass der Agent einfach dieselbe Aufgabe viele Male wiederholt. Es erfordert, dass der Mensch nach jedem Durchlauf eine Nachbetrachtung durchführt: Feedback geben, Eingabeaufforderungen anpassen, Fähigkeiten verfeinern – damit das Gelernte in den Prozess selbst einfließt.

Das Ziel ist es, alles, was deterministisch gestaltet werden kann, schrittweise in Skripte und Fähigkeiten zu übertragen, die jedes Mal auf dieselbe Weise funktionieren. Sobald etwas festgeschrieben ist, vertraust du nicht darauf, dass der Agent es erneut herausfindet; du vertraust auf einen Prozess, den du aufgebaut hast und von dem du weißt, dass er funktioniert.

Der Mensch tritt in den Hintergrund – nicht, weil er ersetzt wurde, sondern weil er genügend Sicherheitsvorkehrungen geschaffen und genügend Teile des Prozesses festgeschrieben hat, um zu wissen, wann seine Aufmerksamkeit tatsächlich benötigt wird und wann nicht.

Die eigentliche Herausforderung

Diese Umstellung scheint ziemlich einfach zu sein, doch die Schwierigkeit liegt nicht in der Technik, sondern im Verhalten. Die meisten Teams tun sich schwer, überhaupt etwas zu bewegen, weil sie den Ergebnissen, die sie nicht selbst erstellt haben, einfach nicht vertrauen. Folglich wird der Entwickler, wie Fabien Potencier es ausdrückt, zu einer „menschlichen Checkliste“: kein Entscheidungsträger oder Architekt, sondern jemand, der einfach nacheinander Kästchen abhakt, während der Agent die eigentliche Arbeit erledigt.

Erschöpfung ist unvermeidlich. „Die Erschöpfung entsteht dadurch, dass man jeden einzelnen Schritt in allen Gesprächen mit den Agenten genehmigen muss“, sagt er. Er argumentiert, dass dies kein nachhaltiges Modell ist und keine besseren Ergebnisse bringt; es macht die Entwickler einfach nur müde.

„Anstatt vom ersten Tag an so schnell wie möglich voranzukommen, sollten wir erst mal einen Gang zurückschalten, verstehen, wie Agenten funktionieren und wie man sie verbessern kann; es dreht sich alles um Kontextmanagement. Das braucht Zeit; es ist noch keine Wissenschaft, also müssen die Leute Zeit investieren, um zu lernen, wie es geht“, sagt Fabien Potencier.

Der Zinseszinseffekt

Je mehr Vertrauen sich aufbaut, desto mehr Wissen entsteht. „Jeder einzelne Durchlauf macht den nächsten besser“, sagt er, „weil wir Fähigkeiten und Prompts gemeinsam nutzen.“ Wenn Agenten auf einer gemeinsamen Infrastruktur statt auf einzelnen Rechnern laufen, gehören die nach jedem Durchlauf verfeinerten Fähigkeiten, die durch jede Retrospektive verbesserten Prompts und der im Laufe der Zeit aufgebaute Kontext dem gesamten Team – nicht nur der Person, die den Workflow ausgeführt hat.

Die Workflows verbessern sich, der Kontext vertieft sich, und der Agent versteht nicht nur die Aufgabe besser, sondern auch die Standards und Konventionen des jeweiligen Teams, mit dem er zusammenarbeitet.

Dieser Compounding-Effekt unterscheidet Teams, die einen Mehrwert aus Agenten ziehen, von denen, die im überwachten Modus feststecken. Das Ergebnis ist nicht nur Programmieren, sondern ein System, das die eigene Codebasis versteht und auf das man sich verlassen kann, dass es die eigenen Standards konsequent anwendet.

Was das für Führungskräfte im Engineering bedeutet

Der „Trust Dial“ ist kein Produktfeature; er ist eine Denkweise über die Beziehung zwischen menschlichem Urteilsvermögen und automatisierten Systemen – eine Beziehung, die jedes Entwicklerteam bewusst entwickeln muss oder in die es reaktiv hineinstolpert.

Vertrauen schrittweise aufzubauen, zu kodieren, was funktioniert, und Autonomie durch Beweise statt durch Annahmen zu erlangen, ist die Voraussetzung für alles, was als Nächstes kommt: Agenten von einzelnen Rechnern weg zu verlagern, Workflows im gesamten Team auszuführen und schließlich eine Art autonome Softwarefabrik zu betreiben, in der der Agent seine Arbeit erledigt und der Mensch sich auf das konzentriert, was nur er tun kann.