Kontextfenster
Auch bekannt als: Context Window
Das Kontextfenster ist die Textmenge, die ein KI-Modell bei einer einzelnen Anfrage gleichzeitig berücksichtigen kann.
Ein Sprachmodell arbeitet nicht mit unbegrenztem Gedächtnis, sondern mit einem festen Rahmen an Text, den es bei einer Anfrage auf einmal einlesen kann, dem Kontextfenster. Alles, was hineinpasst, sei es der bisherige Gesprächsverlauf, ein eingefügtes Dokument oder die eigentliche Frage, fließt in die Antwort ein. Was nicht hineinpasst, kennt das Modell für diese Anfrage schlicht nicht.
In der Praxis zeigt sich das Kontextfenster darin, wie viel Text sich in einen Chat einfügen lässt, bevor ein Modell beginnt, frühere Teile des Gesprächs zu ignorieren oder zu vergessen, oder ob sich ein längeres Dokument überhaupt in einem Stück verarbeiten lässt. Modelle unterscheiden sich deutlich darin, wie groß dieses Fenster ist.
Ein Grenzfall ist die Annahme, ein größeres Kontextfenster bedeute automatisch bessere Antworten. Auch innerhalb eines großen Fensters kann ein Modell Details aus der Mitte eines langen Textes übersehen oder falsch gewichten, und für einen stabilen, wachsenden Dokumentenbestand ist ein durchsuchbares RAG-System meist praktischer als alles bei jeder Anfrage neu ins Kontextfenster zu laden.
Was das im Betrieb heißt
Für einen Betrieb ist das Kontextfenster relevant, wenn geprüft werden soll, ob ein Chat-Tool einen ganzen Vertrag oder ein langes Protokoll auf einmal verarbeiten kann, oder ob der Text vorher aufgeteilt werden muss. Für größere, dauerhafte Dokumentenbestände ist ohnehin eine RAG-Anbindung der praktischere Weg als ein möglichst großes Kontextfenster.
Ist das bei Ihnen sauber gelöst?
Wir schauen uns an, wie es bei Ihnen tatsächlich aussieht — und sagen ehrlich, ob etwas zu tun ist.
Verwandte Begriffe
Alle BegriffeEin Begriff aus Ihrem Angebot fehlt hier?
Schicken Sie uns die Stelle, die Sie nicht verstehen. Wir erklären sie — ohne dass daraus gleich ein Auftrag werden muss.