LLM-Agenten mit langem Kontext optimieren

Modelle mit langem Kontext verleiten dazu, einem Agenten jedes Dokument, jede Nachricht und jedes Tool-Ergebnis zu geben. Das kann bei der Erkundung nützlich sein, ist aber selten eine vollständige Produktstrategie. Mehr Kontext kann Kosten, Latenz, veraltete Informationen und widersprüchliche Anweisungen verursachen. Ein verlässlicher Agent beginnt mit einer kleineren Frage: Welche Informationen sind nötig, um diese konkrete Aufgabe sicher abzuschließen?

Trennen Sie Aufgabe und Verlauf

Beginnen Sie mit der Entscheidung oder Aktion, die der Agent unterstützen soll. Ein Support-Agent benötigt möglicherweise die aktuelle Kundenfrage, eine kleine Menge freigegebener Richtlinien und den Kontostatus. Er benötigt nicht standardmäßig jedes frühere Gespräch und jedes interne Dokument.

Ordnen Sie Informationen als unmittelbare Eingabe, abrufbare Referenz, dauerhaftes Gedächtnis oder Prüfverlauf ein. Für jede Kategorie gelten andere Regeln für Aktualität und Zugriff. So vermeiden Sie das übliche Muster, einen riesigen Prompt als Datenbank zu behandeln.

Rufen Sie Belege gezielt ab

Nutzen Sie Suche oder Retrieval, um das relevanteste Quellenmaterial bei Bedarf einzubringen. Fordern Sie den Agenten auf, Nutzer oder Prüfer auf Quellen hinzuweisen, wenn der Ablauf von einer sachlichen Antwort abhängt. Ein begrenzter Retrieval-Schritt lässt sich leichter prüfen als ein großer, undurchsichtiger Kontext.

Das gilt auch für Tools. Geben Sie einem Agenten nur die für die Aufgabe erforderlichen Tools und verlangen Sie für wirkungsstarke Aktionen eine Bestätigung. Praktische erste Schritte finden Sie bei Guardrails für jedes KI-Agenten-MVP.

Behandeln Sie Gedächtnis als Produktoberfläche

Gedächtnis sollte kein unkontrolliertes Transkript sein. Legen Sie fest, was das System speichern darf, wie lange es nützlich bleibt, wer es korrigieren kann und wann es verworfen werden muss. Eine Nutzerpräferenz kann wertvoll sein; eine unbestätigte Schlussfolgerung über den Nutzer ist riskanter.

Speichern Sie zu jedem Eintrag Quelle und Aktualisierungszeit. So lassen sich Ergebnisse erklären, Fehler beheben und alte Annahmen aus einer neuen Aufgabe heraushalten. Die LLM-MVP-Architektur ist eine nützliche Ergänzung zu diesen Verantwortungsentscheidungen.

Optimieren Sie erst nach Messung des Ablaufs

Cache- und Infrastrukturtechniken können wiederholte Berechnungen verringern, verbessern aber keinen schlecht definierten Ablauf von allein. Messen Sie zuerst Anfragetypen, Kontextgröße, Erfolgsquote, Fehlermuster, Prüfquote, Latenz und Betriebskosten. Testen Sie anschließend eine Änderung anhand repräsentativer Fälle.

Wenn ein kürzerer Kontext die Qualität verringert, bestimmen Sie die fehlenden Belege, statt sofort alles wiederherzustellen. Führt ein großer Kontext zu inkonsistenten Ergebnissen, suchen Sie nach widersprüchlichen Eingaben oder unklaren Anweisungen. Dadurch wird Optimierung zu einem Produktexperiment statt zu technischem Raten.

Ein Agent wird nützlicher, wenn sein Kontext bewusst gewählt ist, sein Gedächtnis verantwortbar bleibt und sein Verhalten anhand von Arbeit bewertet werden kann, die Nutzer wiedererkennen.

Häufig gestellte Fragen

Löst ein größeres Kontextfenster die Zuverlässigkeit eines Agenten?

Nein. Mehr Kontext kann nützliche Informationen enthalten, aber auch irrelevante oder veraltete Anweisungen. Der Agent benötigt weiterhin klare Aufgabengrenzen und Evaluation.

Woran sollte sich ein Agent erinnern?

Speichern Sie nur Informationen, die für eine zukünftige Aufgabe nötig sind, eine definierte Quelle oder Verantwortung haben und korrigiert oder entfernt werden können, wenn sie unzutreffend werden.

Wie kann ein Startup die Kosten eines Agenten senken?

Reduzieren Sie wiederholten Kontext, rufen Sie nur relevantes Material ab, wählen Sie wenn möglich eine kleinere Aufgabe und messen Sie Kosten neben Aufgabenerfolg und Prüfergebnissen.