NLP – Natural Language Processing – bezeichnet den Bereich der AI, der sich mit dem Verstehen und Verarbeiten menschlicher Sprache beschäftigt. Dazu gehört alles von Spracherkennung über Textklassifizierung bis hin zur Übersetzung.

Jedes Mal, wenn Sie mit einem Sprachassistenten reden, eine automatische Zusammenfassung erhalten oder eine Sentimentanalyse Ihrer Kundenbewertungen laufen lassen, ist NLP im Spiel. LLMs sind die derzeit leistungsfähigste Form von NLP.

Ein Small Language Model ist ein kompakteres Sprachmodell mit weniger Parametern – typischerweise unter 10 Milliarden. Sie sind schneller, günstiger im Betrieb und können oft auf normaler Hardware laufen.

Beispiele: Phi-3 (Microsoft), Gemma (Google), Llama 3 8B (Meta). Für viele Unternehmensanwendungen reichen SLMs völlig aus – besonders wenn die Aufgabe klar definiert ist (z. B. Klassifizierung, Extraktion, einfache Zusammenfassungen). Nicht jedes Problem braucht den grössten Hammer.

AGI bezeichnet eine hypothetische AI, die jede intellektuelle Aufgabe auf menschlichem Niveau oder darüber beherrscht – also nicht nur Texte schreiben, sondern auch abstrakt denken, lernen, planen und sich an völlig neue Situationen anpassen.

Aktuelle AI-Systeme sind davon weit entfernt. Sie sind «narrow» – hervorragend in dem, wofür sie trainiert wurden, aber unfähig, echtes Verständnis zu zeigen. Ob und wann AGI erreicht wird, ist in der Forschungscommunity heftig umstritten. Schätzungen reichen von «in 5 Jahren» bis «nie».

GPU (Graphics Processing Unit): Ursprünglich für Grafiken und Spiele entwickelt, sind GPUs heute die wichtigste Hardware für AI-Training und -Betrieb. Ihre Stärke: Sie können Tausende Berechnungen gleichzeitig ausführen. Die dominierenden Hersteller sind NVIDIA (Marktführer) und AMD.

TPU (Tensor Processing Unit): Von Google entwickelte Spezialchips, die ausschliesslich für AI-Berechnungen optimiert sind. Sie werden in Google Cloud eingesetzt.

Der Mangel an leistungsfähigen GPUs ist einer der grössten Engpässe der AI-Industrie – und ein Grund, warum Cloud-AI-Dienste für KMUs oft sinnvoller sind als eigene Hardware.

RLHF steht für «Reinforcement Learning from Human Feedback» – zu Deutsch: Verstärkungslernen durch menschliches Feedback. Es ist ein Trainingsverfahren, bei dem menschliche Bewerter die Ausgaben eines Modells bewerten und das Modell auf Basis dieses Feedbacks verfeinert wird.

RLHF ist der Grund, warum ChatGPT sich so «natürlich» anfühlt. Ohne RLHF würden Sprachmodelle zwar korrekte, aber oft unbrauchbare, verwirrende oder unangemessene Antworten geben. Es ist der Schritt, der ein rohes Modell in einen nützlichen Assistenten verwandelt.

Inference (deutsch: Inferenz) ist der Vorgang, bei dem ein bereits trainiertes Modell eine Eingabe verarbeitet und eine Ausgabe erzeugt. Wenn Sie eine Frage an ChatGPT stellen und eine Antwort erhalten, ist das Inference.

Das ist wichtig zu unterscheiden: Training passiert einmal (und kostet Millionen). Inference passiert bei jeder einzelnen Nutzung. Die laufenden Kosten für AI-Anwendungen werden hauptsächlich durch Inference bestimmt – weshalb effizientere Modelle direkt günstiger im Betrieb sind.

Ein Benchmark ist ein standardisierter Test, mit dem die Leistung verschiedener AI-Modelle verglichen wird. Ähnlich wie Crashtests für Autos gibt es verschiedene Benchmarks für verschiedene Fähigkeiten.

Bekannte Benchmarks sind: MMLU (allgemeines Wissen), HumanEval (Programmieren), GSM8K (Mathematik), Arena Elo (menschliche Bewertung im direkten Vergleich). Benchmarks sind nützlich als Orientierung, aber mit Vorsicht zu geniessen – ein Modell, das gut in Tests abschneidet, ist nicht automatisch das beste für Ihre spezifische Aufgabe.

Der Knowledge Cutoff (Wissens-Stichtag) ist das Datum, bis zu dem ein Modell während seines Trainings Informationen aufgenommen hat. Alles, was nach diesem Datum geschehen ist, «weiss» das Modell nicht – es sei denn, es wird mit einer Websuche oder aktuellen Datenquellen verbunden.

Beispiel: Ein Modell mit Cutoff März 2024 kennt keine Ereignisse ab April 2024. Deshalb ist es für Unternehmen wichtig, AI-Systeme mit aktuellen Datenquellen (via RAG oder Websuche) zu verbinden, wenn tagesaktuelle Informationen relevant sind.

Tokenisierung ist der Prozess, bei dem Text in Tokens zerlegt wird, bevor er vom Modell verarbeitet wird. Verschiedene Modelle verwenden unterschiedliche Tokenizer – deshalb kann derselbe Text je nach Modell eine andere Anzahl Tokens ergeben.

Interessantes Detail: Die meisten Tokenizer sind für Englisch optimiert. Deutsche Texte verbrauchen dadurch oft mehr Tokens als englische gleicher Länge. Das ist relevant für die Kostenberechnung – und ein Grund, warum mehrsprachige Optimierung bei AI-Projekten wichtig ist.