Was ist ein Agent Harness? Die Laufzeitumgebung, die KI-Agenten produktionsreif macht, und ein Lernpfad für Entwickler

Ein Agent Harness ist die Laufzeitumgebung rund um ein LLM: Tool-Aufrufe, MCP, Skills, Berechtigungsrichtlinien, Memory, Evals und Observability. Dieser Beitrag erklärt, warum bei produktiven KI-Agenten das Harness-Design oft wichtiger ist als die Modellwahl, und zeigt, was Entwickler auf dem Weg in die Agent-Entwicklung in welcher Reihenfolge lernen sollten.

was ist ein Agent HarnessKI-Agenten entwickelnKI-Agenten in ProduktionMCP Tool-AufrufeLernpfad KI-Agent-Entwickler

Viele beginnen mit einem KI-Agenten, indem sie eine Modell-API aufrufen und zwei, drei Tools anbinden. In der Demo läuft alles. Im echten Einsatz geht es dann schief: Der Agent wiederholt dieselbe Aktion immer wieder, ändert Dateien, die er nicht anfassen sollte, und weiß nicht mehr, was er gestern gemacht hat. Die meisten dieser Probleme liegen nicht daran, wie klug das Modell ist, sondern an der Schicht um das Modell herum. Diese Schicht heißt Agent Harness.

Was ist ein Agent Harness?

Ein Agent Harness ist die Laufzeitumgebung, die ein LLM umschließt und es arbeitsfähig macht. Das Modell selbst nimmt nur eine Eingabe entgegen und gibt zurück, was als Nächstes zu tun ist, als Text oder als Tool-Aufruf. Das Tool tatsächlich auszuführen, das Ergebnis zurückzugeben, die Schleife bis zum Ende der Aufgabe zu drehen und zu entscheiden, wann angehalten wird, ist Aufgabe des Harness. Das Bild stammt vom Pferdegeschirr, das die Kraft des Pferdes auf den Wagen überträgt: Hier verbindet es die Fähigkeiten des Modells mit echter Arbeit.

Woraus ein Harness besteht

Erstens die Agent-Schleife und die Tool-Ausführung: Modellausgabe auswerten, Tools aufrufen, Ergebnisse zurückgeben und wiederholen, bis eine Abbruchbedingung erfüllt ist. Zweitens die Anbindung externer Tools und Daten über MCP (Model Context Protocol), damit interne Systeme und SaaS-Dienste auf dieselbe Weise eingebunden werden. Drittens Skills: Anleitungen für eine bestimmte Art von Aufgabe, als Dateien gebündelt und nur bei Bedarf geladen. Viertens Richtlinien und Berechtigungen: Welche Aktionen automatisch erlaubt sind, welche eine menschliche Freigabe brauchen und was ins Audit-Log muss.

Fünftens Kontext und Memory: Was bei langen Unterhaltungen erhalten bleibt, was zusammengefasst wird und was über Sitzungen hinweg gespeichert wird. Sechstens Evals: Wenn Sie einen Prompt oder ein Modell ändern, zeigen Testfälle statt Bauchgefühl, ob die Qualität gestiegen oder gesunken ist. Siebtens Observability: Nachträglich nachvollziehen können, was der Agent in jedem Schritt überlegt hat, welches Tool er mit welchen Argumenten aufgerufen hat und wie lange es gedauert hat.

Warum das Harness wichtiger ist als das Modell

Neue Modelle erscheinen regelmäßig, und die meisten Teams nutzen Modelle derselben wenigen Anbieter. Mit dem Modell allein hebt man sich also kaum ab. Wie Tools bereitgestellt werden, wie man sich von Fehlern erholt und wo gefährliche Aktionen gestoppt werden, sind dagegen Designentscheidungen jedes Teams. Viele Produktionsvorfälle sind Harness-Probleme: zu weit gefasste Berechtigungen, Wiederholungsversuche ohne Ende, fehlende Logs, mit denen sich die Ursache nicht finden lässt. Ein Modellwechsel behebt das nicht, nur das Harness.

Es gibt noch einen Grund: Ein solides Harness macht den Modellwechsel leichter. Mit einem Eval-Set und Logs sehen Sie nach dem Umstieg auf ein neues Modell sofort, was besser und was schlechter geworden ist. Das Harness ist auch die Grundlage, um von Fortschritten bei den Modellen zu profitieren.

Der Unterschied zum Chatbot

Etwas, das nur eine API an eine Chat-Oberfläche hängt (oft Chat-Wrapper genannt), geht davon aus, dass ein Mensch eine Frage nach der anderen stellt und jede Antwort prüft. Einem Agenten, dem man echte Arbeit übergeben kann, gibt man eine Aufgabe; er treibt sie mit Tools selbst voran, fragt nur bei Bedarf nach und berichtet am Ende. Um diesem Zustand näherzukommen, in dem man delegieren kann, ohne ständig zuzusehen, braucht es die Bausteine des Harness: Berechtigungen, Memory, Evals und Logs.

Ein Lernpfad für Entwickler

1. Beginnen Sie mit den Grundlagen von LLM-APIs: Nachrichtenstruktur, Funktionsweise von Tool-Aufrufen, Streaming, Tokens und Kontextlänge. 2. Schreiben Sie selbst eine Agent-Schleife. Bevor Sie ein Framework nutzen, programmieren Sie von Hand eine minimale Schleife, die nur Tools aufruft und Ergebnisse zurückgibt; dann wird klar, wofür das Harness zuständig ist. 3. Lernen Sie Tool-Laufzeitumgebungen und MCP kennen und wie man Dateioperationen und Befehlsausführung auf ein Arbeitsverzeichnis beschränkt.

4. Kümmern Sie sich um Kontextmanagement, Memory und Sitzungsspeicherung. 5. Entwerfen Sie Richtlinien, Freigabeprozesse und Audit-Logs, damit Sie festlegen können, wie weit der Agent eigenständig gehen darf. 6. Gehen Sie weiter zur Arbeitsteilung zwischen mehreren Agenten und zum Design lang laufender Worker. 7. Richten Sie zum Schluss Evals und Observability ein, damit jede Änderung messbar ist, und gehen Sie erst dann in Produktion. In jeder Phase gilt derselbe schnellste Weg: klein bauen, wirklich ausführen, Fehlerfälle festhalten und beheben.

Ihre bisherigen Fähigkeiten zählen

Agent-Entwicklung wirkt wie ein völlig neues Feld, verlangt aber vor allem API-Design, Zugriffskontrolle, Logging, Tests und Incident-Handling, also Dinge, die Softwareentwickler bereits beherrschen. Mit Prompts allein kommt man nicht in Produktion, und genau diese Lücke zu schließen ist Ingenieursarbeit.

Wer das systematisch lernen möchte, findet mit Agent Harness von null bis zur Meisterschaft (die Lektionen sind auf Chinesisch) einen Kurs, der mit dem LLM-Protokoll und der Agent-Schleife beginnt und in 86 Lektionen Pi Agent Core, Tool-Laufzeit und MCP, Kontext und Memory, Richtlinien und Freigaben, lang laufende Worker im Hermes-Stil sowie Evals und Observability behandelt, bis Sie Ihre eigene Agent Workbench bauen. Die ersten 6 Lektionen sind kostenlos.