Wie funktionieren ChatGPT & Co.? Sprachmodelle verständlich erklärt

Eine Mitarbeiterin einer Steuerkanzlei bittet ChatGPT um eine freundliche Erinnerung an einen Mandanten, der seine Belege noch nicht geschickt hat. Sekunden später steht ein höflicher, fehlerfreier Brief auf dem Bildschirm. Dann fragt sie nach der Frist für einen Einspruch gegen einen Steuerbescheid. Auch diese Antwort klingt souverän, doch ob sie stimmt, sieht man ihr nicht an. Wie kann ein Programm so gut formulieren und sich trotzdem irren? Dieser Artikel erklärt, wie Sprachmodelle arbeiten, also die Technik hinter ChatGPT, Microsoft Copilot, Google Gemini oder Claude.

Was ist ein Sprachmodell?

Hinter ChatGPT und ähnlichen Programmen steckt ein Sprachmodell, auf Englisch Large Language Model oder kurz LLM. Das ist ein Computerprogramm, das aus riesigen Textmengen gelernt hat, wie Sprache aufgebaut ist. Seine Grundaufgabe klingt fast unscheinbar. Es sagt voraus, welches Textstück als Nächstes am wahrscheinlichsten folgt.

Diese Textstücke heißen Tokens. Ein Token ist oft ein kurzes Wort oder ein Wortteil, manchmal auch nur ein Satzzeichen. Ein langes Wort wie „Umsatzsteuervoranmeldung“ besteht für das Modell aus mehreren Tokens.

Das Prinzip kennen Sie vom Handy. Tippen Sie „Mit freundlichen“, schlägt die Tastatur „Grüßen“ vor. Ein Sprachmodell macht etwas Ähnliches, nur mit viel mehr Wissen über Sprache und mit Blick auf den gesamten bisherigen Text. Es hängt ein Token an, betrachtet den verlängerten Text und berechnet das nächste. So wächst die Antwort Stück für Stück. Dabei ist etwas Zufall im Spiel. Dieselbe Frage ergibt deshalb oft unterschiedlich formulierte Antworten.

Woher hat ChatGPT sein Wissen?

Bevor ein Sprachmodell antworten kann, wird es trainiert. Dafür verarbeitet es enorme Textmengen, etwa öffentlich zugängliche Internetseiten, Bücher und Fachartikel. Beim Training rät das Modell immer wieder das nächste Wort in diesen Texten. Liegt es daneben, werden seine inneren Stellschrauben ein klein wenig verstellt. Davon hat ein großes Modell viele Milliarden. Sie stecken in einem neuronalen Netz, einem Rechenmodell, das lose dem Gehirn nachempfunden ist. In einem zweiten Schritt lernt das Modell mit Beispielen und Bewertungen von Menschen, hilfreich zu antworten und Anweisungen zu befolgen.

Aus den Texten lernt das Modell Muster und Zusammenhänge. Was im Internet tausendfach steht, gibt es deshalb meist zuverlässig wieder. Seltene Details, etwa die Preise eines kleinen Betriebs, kennt es oft gar nicht oder nur ungenau. In seinen Trainingsdaten nachschlagen kann es nicht.

Dazu kommt der Trainingsstichtag. Das Wissen eines Modells reicht nur bis zu dem Zeitpunkt, an dem seine Trainingsdaten gesammelt wurden. Eine Gesetzesänderung aus dem vergangenen Monat oder die neue Preisliste Ihres Großhändlers kennt es nicht. Viele Programme können deshalb zusätzlich im Internet suchen und nennen dann ihre Quellen. Öffnen Sie diese im Zweifel selbst.

Warum klingen falsche Antworten so überzeugend?

Ein Sprachmodell ist darauf trainiert, plausiblen Text zu erzeugen. Eine eingebaute Prüfung, ob eine Aussage stimmt, hat es nicht. Fehlt ihm eine Information, füllt es die Lücke oft mit etwas, das gut klingt. Fachleute nennen das Halluzination. Die erfundene Antwort klingt dabei genauso flüssig und selbstsicher wie eine richtige.

Typisch sind erfundene Quellen, falsche Paragrafen oder Zahlen, die plausibel aussehen und trotzdem nicht stimmen. In den USA mussten 2023 zwei Anwälte und ihre Kanzlei eine Geldbuße zahlen, weil sie in einem Schriftsatz Urteile zitiert hatten, die ChatGPT erfunden hatte. Auch im Kleinen kann ein Fehler Folgen haben. Nennt eine KI in einer Bäckerei die Allergene eines Brots falsch, kann das für eine Kundin gefährlich werden.

Gute Anweisungen senken das Risiko. Geben Sie der KI die nötigen Unterlagen mit und erlauben Sie ihr ausdrücklich, mit „Das weiß ich nicht“ zu antworten. Weitere Hinweise finden Sie im Artikel 7 Tipps für gute Anweisungen.

Wie viel kann sich ein Sprachmodell merken?

Während eines Gesprächs arbeitet das Modell mit seinem Kontextfenster. Das ist die Textmenge, die es auf einmal berücksichtigen kann. Dazu gehören Ihre Fragen, seine bisherigen Antworten und alle Dokumente, die Sie hochgeladen haben. Bei aktuellen Modellen ist dieses Fenster meist groß genug für längere Dokumente. Wie groß genau, hängt vom Modell und oft auch von der gewählten Version ab. In sehr langen Gesprächen übersieht das Modell manchmal Vorgaben vom Anfang, oder das Programm kürzt ältere Teile.

Ein neues Gespräch beginnt normalerweise ohne Erinnerung an frühere Chats. Manche Programme bieten eine Merkfunktion, die ausgewählte Angaben speichert. Aus Ihren Gesprächen lernt das Modell selbst aber nicht dazu. Es verändert sich erst, wenn der Anbieter eine neue Version trainiert.

Wie kommt Ihr Firmenwissen in die KI?

Ein Sprachmodell kennt Ihre Preisliste, Ihre internen Abläufe oder die Satzungen Ihrer Gemeinde nicht. Sie können diese Unterlagen aber anbinden. Fachleute sprechen von RAG, kurz für Retrieval-Augmented Generation, also einer Texterzeugung, die vorher nachschlägt. Das läuft in zwei Schritten ab.

1. Auf eine Frage hin durchsucht das System zuerst Ihre eigenen Dokumente nach passenden Stellen.
2. Diese Stellen erhält das Sprachmodell zusammen mit der Frage und formuliert daraus die Antwort.

So stützt sich die Antwort auf Ihre eigenen, geprüften Informationen. Ändert sich eine Preisliste, tauschen Sie einfach das Dokument aus. Ein neues Training ist dafür nicht nötig.

Genauso wichtig sind Quellenangaben. Ein gutes System zeigt zu jeder Antwort, aus welchem Dokument sie stammt. So können Sie die Aussage selbst nachprüfen. Auch mit RAG kann eine KI noch danebenliegen, etwa wenn ein Dokument veraltet ist. Mit Quellenangabe fällt so ein Fehler aber schnell auf.

Wie das in Ihrem Betrieb aussehen kann, zeigt unsere Leistung KI-Wissen.

Worin unterscheiden sich kostenlose Versionen und Geschäftsversionen?

Die bekannten Anbieter haben meist eine kostenlose Version für Privatleute und eigene Angebote für Unternehmen. Für Betriebe ist dabei vor allem der Umgang mit Daten entscheidend.

Bei kostenlosen Versionen können Ihre Eingaben je nach Einstellung genutzt werden, um künftige Modelle zu trainieren. Einen Vertrag zur Auftragsverarbeitung gibt es dort in der Regel nicht. Die Datenschutz-Grundverordnung (DSGVO) verlangt ihn aber, wenn ein Dienstleister personenbezogene Daten in Ihrem Auftrag verarbeitet. Geschäftsversionen schließen das Training mit Ihren Daten meist vertraglich aus und bieten einen solchen Vertrag. Manche Anbieter speichern Daten auf Wunsch in Rechenzentren in der EU.

Ein kostenpflichtiges Abo für Privatpersonen ist übrigens nicht automatisch eine Geschäftsversion. Entscheidend sind die Vertragsbedingungen. Praxen und Kanzleien müssen zusätzlich ihre Schweigepflicht beachten. Daten von Patientinnen und Patienten oder Unterlagen der Mandantschaft gehören deshalb nie in eine Version für Privatleute. Mehr dazu lesen Sie im Artikel KI und Datenschutz.

Fazit

Sprachmodelle wie ChatGPT berechnen, welcher Text am wahrscheinlichsten passt. Das macht sie zu guten Schreibhelfern, deren Angaben Sie trotzdem prüfen sollten. Mit Ihren eigenen Unterlagen, Quellenangaben und einer Geschäftsversion wird daraus ein Werkzeug, auf das sich Ihr Team im Alltag stützen kann. Welche Lösung zu Ihrem Betrieb passt, besprechen wir gern im kostenlosen Erstgespräch.