Ein Large Language Model – kurz LLM – ist ein AI-Modell, das speziell auf Sprache trainiert wurde. «Large» bezieht sich auf die enorme Menge an Daten (praktisch das gesamte Internet) und die Milliarden von Parametern.

LLMs können Texte verstehen, zusammenfassen, übersetzen, beantworten und generieren. ChatGPT, Claude, Gemini und viele andere Produkte basieren auf LLMs. Sie sind die Grundlage für nahezu alle modernen AI-Anwendungen, die mit Text arbeiten.

GPT steht für «Generative Pre-trained Transformer». Jedes Wort beschreibt eine Eigenschaft:

• Generative: Das Modell erzeugt (generiert) neue Inhalte.
• Pre-trained: Es wurde auf riesigen Datenmengen vortrainiert, bevor es für spezifische Aufgaben angepasst wird.
• Transformer: Die zugrunde liegende Architektur – eine bestimmte Art neuronales Netz, die 2017 von Google entwickelt wurde.

GPT ist ein Produktname von OpenAI. Andere Unternehmen nutzen ähnliche Architekturen unter eigenen Namen.

Der Transformer ist eine Architektur für neuronale Netze, die 2017 in einem berühmten Google-Paper mit dem Titel «Attention Is All You Need» vorgestellt wurde. Er revolutionierte die Sprachverarbeitung, weil er Texte nicht mehr Wort für Wort liest, sondern Beziehungen zwischen allen Wörtern gleichzeitig erfassen kann.

Praktisch alle modernen Sprachmodelle – GPT, Claude, Gemini, Llama – basieren auf der Transformer-Architektur. Es ist die wichtigste technische Innovation hinter dem aktuellen AI-Boom.

Ein Token ist die Einheit, in der ein Sprachmodell Text verarbeitet. Ein Token ist dabei nicht immer ein ganzes Wort – häufig sind es Wortteile, Silben oder einzelne Zeichen.

Als Faustregel gilt: 1 Token ≈ ¾ eines englischen Wortes. Ein deutscher Satz mit 10 Wörtern hat typischerweise 15–20 Tokens. Tokens sind relevant, weil AI-Dienste nach Tokens abgerechnet werden und jedes Modell ein maximales Token-Limit hat.

Das Kontextfenster ist die maximale Menge an Text, die ein Modell gleichzeitig «sehen» und verarbeiten kann – gemessen in Tokens. Alles, was Sie dem Modell schreiben, und alles, was es antwortet, muss in dieses Fenster passen.

Aktuelle Modelle haben Kontextfenster von 128′000 bis über 1 mio. Tokens. Ein Fenster von 128k Tokens entspricht grob einem Buch mit 300 Seiten. Grössere Fenster erlauben es, ganze Dokumente, Verträge oder Codebases auf einmal zu analysieren.

Eine Halluzination liegt vor, wenn eine AI etwas behauptet, das falsch ist – aber so tut, als wäre es eine Tatsache. Das passiert, weil Sprachmodelle nicht «wissen», was wahr ist. Sie generieren statistisch plausible Texte. Und manchmal ist das Plausible schlicht falsch.

Beispiel: Sie fragen nach einem Gerichtsurteil und die AI erfindet eine Aktenzeichen-Nummer, die es nicht gibt. Das ist kein Bug – es ist ein Grundproblem der Technologie. Deshalb ist menschliche Kontrolle bei AI-Outputs unverzichtbar.

Ein Prompt ist die Eingabe, die Sie an ein AI-Modell senden – also Ihre Frage, Ihr Auftrag oder Ihre Anweisung. Es ist im Grunde das, was Sie in das Textfeld von ChatGPT oder Claude tippen.

Die Qualität der Antwort hängt stark vom Prompt ab. Ein vager Prompt liefert eine vage Antwort. Je klarer Sie beschreiben, was Sie wollen – Kontext, Zielgruppe, Format, Tonalität – desto besser das Ergebnis.

Prompt Engineering ist die Kunst, AI-Eingaben so zu formulieren, dass sie möglichst gute Ergebnisse liefern. Es geht nicht um Programmieren, sondern um präzise Kommunikation.

Typische Techniken sind: klare Rollenangaben («Du bist ein erfahrener Jurist»), Schritt-für-Schritt-Anweisungen, Beispiele für das gewünschte Format, oder das Aufteilen komplexer Aufgaben in Teilschritte. Gutes Prompt Engineering kann den Unterschied zwischen einer brauchbaren und einer herausragenden AI-Antwort ausmachen.

Ein System Prompt ist eine versteckte Anweisung, die vor der eigentlichen Unterhaltung an das Modell gesendet wird. Er definiert das Verhalten, die Rolle und die Regeln für die gesamte Konversation.

Beispiel: «Du bist ein Kundendienst-Assistent der Firma X. Antworte immer auf Deutsch, duze den Kunden und halte dich an die folgenden Produktinformationen: …». Der Benutzer sieht diesen Prompt nicht, aber er steuert, wie die AI sich verhält. System Prompts sind das Fundament jeder professionellen AI-Anwendung.

Die Temperatur ist ein Parameter, der steuert, wie «kreativ» oder «zufällig» eine AI antwortet. Der Wert liegt typischerweise zwischen 0 und 1.

• Temperatur 0: Die AI wählt immer das wahrscheinlichste nächste Wort. Sehr konsistent, aber repetitiv.
• Temperatur 1: Die AI wählt häufiger auch weniger wahrscheinliche Wörter. Kreativer, aber unvorhersehbarer.

Für geschäftliche Anwendungen wie Vertragsanalysen empfiehlt sich eine niedrige Temperatur. Für kreative Aufgaben wie Brainstorming kann eine höhere sinnvoll sein.