Embeddings: How machines measure meaning

Ein Wort ist ein Punkt in einem Raum. Oder: Wie die KI lernt, dass König und Queen am Hofe näher beieinander liegen als König und Hofnarr, oder?

Kennst Du Platons Höhlengleichnis?

Das ist Embedding. Und das Gleichnis aus der Antike beschreibt es perfekt. Vielleicht daher auch dieses Phänomen: Why big AI labs are hiring so many philosophers.

Embeddings sind das fundamentale Architekturprinzip, wie Sprachmodelle Bedeutung repräsentieren — nicht verstehen, wohlgemerkt. Nur repräsentieren. Ein Wort ist ein Vektor. Ein Vektor ist eine Liste von Zahlen. Und aus diesen Zahlen wird später alles andere gebaut: Sätze, Absätze, Zusammenhänge.

Und genau deshalb müssen wir auch immer die Frage nach Gegenöffentlichkeit stellen: Welche Stimmen übersehen mein Prompt und sein Ergebnis? Aber dazu später mehr.

Platons Höhle im Rechenzentrum

Stell dir das Höhlengleichnis vor, aber neu erzählt:

Die Gefangenen sitzen fixiert, starren auf eine Wand. Hinter ihnen brennt ein Feuer. Zwischen Feuer und Gefangenen bewegen sich Menschen und Dinge. Die Gefangenen sehen nur die Schatten. Sie halten die Schatten für die Wirklichkeit.

Embeddings sind die Schatten an der Wand.

Nicht die Dinge selbst. Nicht die Bedeutung. Nur die Projektionen von Bedeutungsbeziehungen auf die Wand großer Textmengen. Das Modell sieht nie, was ein Wort ist. Es sieht nur die Muster, in denen es auftaucht — die Kookkurrenzen, die Nachbarschaften, die geometrischen Relationen. Schatten auf der Höhlenwand aus Milliarden Tokens.

Die soziologische Zuspitzung: Wenn du nie aus der Höhle gehst, weißt du nicht, dass die Schatten nicht die Wirklichkeit sind. Ein Embedding-Modell ist der paradigmatische Höhlenbewohner — es hat nie etwas anderes gesehen als seine Trainingsdaten. Es kann nicht wissen, was außerhalb liegt.

Platon hatte eine Lösung: Der Philosoph muss aus der Höhle steigen, das Licht sehen, zurückkehren. Für Embeddings gibt es diesen Ausstieg nicht. Es gibt keine Sonne der wahren Bedeutung. Es gibt nur mehr Daten.

Der Trick mit dem Kontext (oder: der King-Man-Woman-Effekt)

Die berühmteste Demo ist eine Rechnung:

Vektor(König) — Vektor(Mann) + Vektor(Frau) ≈ Vektor(Queen)

Das ist kein Scherz. Es funktioniert. Wirklich. Ein Embedding-Modell, das nie gelernt hat, was „Queen" ist, kann diesen Punkt im Raum allein durch Vektorarithmetik finden.

Weil das Modell gelernt hat: „König" und „Queen" verhalten sich zueinander wie „Mann" zu „Frau." Das ist in den Textdaten codiert — in Millionen von Sätzen, in denen Männer und Frauen in parallelen Rollen erscheinen.

Die soziologische Pause: Genau hier wohnt der Zauber – und das Problem ist sein Nachbar. Wenn das Modell aus Textdaten lernt, dass „Arzt" näher an „Mann" liegt als an „Frau" — dann hat es kein Vorurteil. Es hat nur gelernt, was in den Daten steckt. Aber was in den Daten steckt, ist unsere Gesellschaft. Mit all ihren Schiefen. Das Embedding bildet sie ab. Punktgenau. Schmerzhaft genau.

Gegenöffentlichkeit, zweite Frage: Welche Assoziation fehlt in diesem Vektor? Wessen Kategorien sind nicht in der Rechnung enthalten? Zu den wichtigsten gegenöffentlichen, häufig übersehenen Stimmen zählen feministische, migrantische, global southern, inklusive, queere, klassen- und schichtspezifische …

Wie entstehen Embeddings?

Zwei große Familien:

1. Statische Embeddings (die Klassiker: Word2Vec, GloVe, FastText)

Bank (Geldinstitut) hat denselben Vektor wie Bank (Sitzgelegenheit).

Problem: Kontext wird ignoriert. Das Wort „Bank" in „Ich setze mich auf die Bank" und „Ich gehe zur Bank" ist derselbe Punkt im Raum.

1. Kontextuelle Embeddings (der heutige Standard: BERT, GPT, alle modernen LLMs)

Bank in „Ich setze mich auf die Bank" bekommt einen anderen Vektor als dasselbe Wort in „Ich gehe zur Bank."

Der Vektor verändert sich dynamisch, je nachdem, welche Wörter drumherum stehen.

Das ist der Quantensprung. Plötzlich versteht das Modell (algebraisch) den Unterschied zwischen Homonymen. Es „weiß", dass die Bank im Park und die Bank in der Stadt nicht dasselbe sind. Aber es ist immer noch Platonische Höhle — nur mit beweglichen Schatten.

Warum Rawls in den Embedding-Raum gehört

John Rawls hat ein berühmtes Gedankenexperiment entworfen: den Urzustand hinter dem Schleier des Nichtwissens.

Stell dir vor, du sollst eine Gesellschaft entwerfen. Du weißt nicht, ob du reich oder arm geboren wirst, ob du krank oder gesund bist, welches Geschlecht, welche Hautfarbe, welche Herkunft du haben wirst. Der Schleier des Nichtwissens verhindert, dass du deine eigene Position kennst. In dieser Ungewissheit — so Rawls — würdest du Prinzipien wählen, die allen gerecht werden, nicht nur den Privilegierten.

Was hat das mit Embeddings zu tun? Alles.

Embeddings operieren genau ohne Schleier des Nichtwissens. Sie kennen jede Position. Sie wissen genau, dass „Arzt" statistisch näher an „Mann" liegt. Dass „Krankenschwester" näher an „Frau." Dass europäische Namen näher an „erfolgreich" liegen als afrikanische. Sie haben den Schleier nie aufgesetzt. Sie sind radikal positioniert — im bestehenden Korpus, in den bestehenden Machtverhältnissen.

Rawls' Frage an die Embeddings: Welche Prinzipien würden Vektoren abbilden, wenn sie nicht wüssten, in welchem Korpus sie trainiert wurden?

Die Antwort: Sie würden eine Welt abbilden, die es so nicht gibt. Weil die Trainingsdaten selbst schon ungerecht sind. Der Schleier des Nichtwissens ist ein künstlicher Ausstieg aus der Höhle — aber Embeddings können ihn nicht leisten. Sie brauchen uns, die ihn für sie denken.

Der große blinde Fleck — und die Gegenöffentlichkeiten

Embeddings bilden die textexistierende Semantik ab. Nicht die mögliche. Nicht die emanzipatorische. Nicht die marginalisierte.

Wenn eine Gruppe von Menschen systematisch nicht in den Trainingsdaten vorkommt (weil sie nicht schreiben durfte, nicht publizieren konnte, nicht gehört wurde), dann existiert sie im semantischen Raum nicht.

Das ist der Punkt, an dem Nancy Frasers Theorie der Gegenöffentlichkeiten unverzichtbar wird. Fraser hat gezeigt, dass es in ungleichen Gesellschaften nie eine Öffentlichkeit gibt, sondern parallele Arenen, in denen marginalisierte Gruppen eigene Diskurse entwickeln — oft unsichtbar für die dominante Sphäre.

Embeddings kennen nur die dominante Sphäre. Sie messen Kookkurrenzen im Mainstream-Korpus. Die Gegenöffentlichkeiten — feministische Blogs, postkoloniale Essays, queere Selbstzeugnisse, migrantische Erzähltraditionen, indigene Wissenssysteme — sind im Vektorraum unterrepräsentiert, wenn sie überhaupt vorkommen.

Die immer wiederkehrende Frage, die jeder Prompt begleiten sollte:

Welche Stimme, welche Perspektive, welche Gegenöffentlichkeit wird von meinem Prompt und seinem Ergebnis übersehen?

Embeddings haben kein Apriori. Es gibt keinen Platonischen Himmel der Begriffe. Es gibt nur: Was oft genug zusammen auftaucht, ist „bedeutungsverwandt."

Fraser, nicht Platon: Die Frage ist nicht, ob Embeddings Bedeutung richtig oder falsch abbilden. Die Frage ist, wessen Bedeutungen sie abbilden. Und wie ungleiche diskursive Partizipation in die Geometrie eingeschrieben wird.

Poppers schwarzer Schwan wartet am Ende des Korpus

Es gibt eine zweite philosophische Warnung, die hier direkt eingebaut gehört: Karl Popper und das Induktionsproblem.

Egal wie viele weiße Schwäne du siehst — du kannst daraus nicht ableiten, dass alle Schwäne weiß sind. Ein einziger schwarzer Schwan reicht, um die Verallgemeinerung zu zerstören. Beobachtung ist nie ein Beweis, nur eine Annäherung.

Embeddings (und alle Maschinenlernverfahren) tun genau das, was Popper für unmöglich erklärte: Sie verallgemeinern aus beobachteten Daten. Sie induzieren. Und sie tun es mit mathematischer Eleganz. Aber der schwarze Schwan lauert immer.

Was bedeutet das konkret? Ein Embedding-Modell, das auf einem Korpus von 2020 trainiert wurde, hat keine Ahnung von ChatGPT. Das Wort existiert im Trainingskorpus vielleicht nicht. Der Vektor ist leer. Oder — schlimmer — das Modell assoziiert das unbekannte Wort mit dem nächstähnlichen, weil es irgendwo in den Embedding-Lücken raten muss.

Die soziologische Variante des schwarzen Schwans: Nicht nur zeitliche Veränderung, sondern systematische Abwesenheit. Wenn eine Perspektive im Trainingskorpus strukturell fehlt — weil sie nie publiziert, nie übersetzt, nie digitalisiert wurde —, dann wird das Modell nie einen schwarzen Schwan sehen, der sie repräsentiert. Es wird fröhlich generalisieren: „Alle Schwäne sind weiß." Und die Abwesenden sind einfach nicht im Raum.

Das ist das Problem, das Popper nicht kommen sah: Nicht nur, dass Induktion logisch unvollständig ist. Sondern dass die beobachteten Daten selbst sozial strukturiert sind. Der schwarze Schwan ist nicht selten. Er wird nur nicht gesehen. Weil er nicht im Korpus steht.

Try It Now (10 Minuten)
Visualisierung: Such bei Google Images nach „word embedding visualization" oder „BERT embedding space." Sieh dir die bunten Cluster an. Jeder Punkt ist ein Wort. Jede Farbe eine semantische Kategorie. Und dann frag dich: Welche Farben fehlen? Welche Wörter haben keinen Cluster?
Der Gegenöffentlichkeitstest: Nimm ein Begriffspaar aus deinem Alltag — z. B. „Sicherheit." Was assoziiert die dominante Öffentlichkeit? (Polizei, Überwachung, Kontrolle.) Was würde eine migrantische Gegenöffentlichkeit assoziieren? (Aufenthaltsstatus, Rassismuserfahrung, Schutzraum.) Welche dieser Assoziationen findet das Embedding? Welche nicht?
Der Gender-Bias-Test: Lade ein Embedding-Modell (z. B. über spaCy, das deutsche Modelle hat) und lass dir die nächsten Nachbarn von „Arzt" und „Krankenschwester" anzeigen. Dann die Rawls-Frage: Welche Assoziationen wären hier anders, wenn das Modell einen Schleier des Nichtwissens hätte?
Selbstversuch: Denk an ein Wort, das für dich eine bestimmte emotionale oder kulturelle Färbung hat. Wie viele Nuancen dieser Färbung kann ein Zahlenvektor einfangen? Null. Das ist die Antwort. Kann er nicht. Embeddings sind eine Dimension der Bedeutung — die distributionelle.
Was ich heute gelernt habe

Embeddings sind brilliant. Sie sind mathematisch elegant. Sie sagen uns viel über Sprache.

Aber sie sagen uns nichts über Bedeutung im menschlichen Sinne. Bedeutung ist nicht Algebra. Bedeutung ist Geschichte, Erfahrung, Kontext, Beziehung, Macht, Emotion, Körper. Embeddings messen Verteilungsmuster in Texten. Nicht mehr. Aber auch nicht weniger.

Platon hatte recht: Die Höhle ist kein schlechter Ort. Aber die Schatten sind nicht die Dinge.
Rawls hatte recht: Der Schleier des Nichtwissens ist das ethische Minimum. Embeddings kennen ihn nicht — wir müssen ihn für sie denken.
Fraser hat recht: Es gibt nie eine Öffentlichkeit. Es gibt viele. Und die meisten sind im Vektorraum unsichtbar.
Popper hatte auch recht: Kein noch so großer Korpus schützt vor dem schwarzen Schwan.

Und alle hatten recht, weil sie etwas gesehen haben, das Embeddings nicht sehen können: dass Bedeutung immer politisch ist.

Man kann auf einer Landkarte nicht spazieren gehen. Und man kann mit Vektoren nicht verstehen.

Die letzte Frage, die bleiben sollte: Welche Stimme wird von meinem Prompt übersehen?

Weiterlesen
Platon — Politeia (Höhlengleichnis, 514a–520a). Der Urtext zur Frage, ob das, was wir sehen, die Wirklichkeit ist.
John Rawls — Eine Theorie der Gerechtigkeit. Der Urzustand und der Schleier des Nichtwissens — das normative Gegengift zur radikalen Positioniertheit von Embeddings.
Nancy Fraser — Die halbierte Gerechtigkeit. Gegenöffentlichkeiten als parallele Arenen des Diskurses. Pflichtlektüre für alle, die KI auf Machtverhältnisse befragen.
Oskar Negt & Alexander Kluge — Öffentlichkeit und Erfahrung. Der Klassiker, der zeigt: Öffentlichkeit ist keine Sphäre, sondern ein Kräfteverhältnis. Embeddings bilden nur eine Seite ab.
Karl Popper — Logik der Forschung. Das Induktionsproblem in Reinform. Popper zeigt: Wissenschaft ist nicht, was sich bestätigt, sondern was scheitern kann.
George Lakoff — Women, Fire, and Dangerous Things. Kognitive Linguistik, die zeigt, wie Kategorienbildung immer schon sozial und körperlich ist.
Felicitas Macgilchrist (Hrsg.) — Kritische Digital Humanities. Wer konstruiert Wissensinfrastrukturen? Und wessen Wissen zählt?
Donna Haraway — Situated Knowledges. Der Urtext, um zu verstehen, warum „Bedeutung aus Daten" ein Mythos ist. Jeder Blick ist situiert. Auch der einer Maschine.

Nächster Halt: Tag 13 — Tokenisierung: Wie Maschinen Wörter sehen

Tags: #embeddings #bedeutung #semantik #vektor #bias #distributionelleSemantik #platon #popper #rawls #fraser #gegenöffentlichkeit #schleierDesNichtwissens #urzustand

Diskutiere diesen Text, seine Begriffe oder Denker:innen mit Sociologica. Dialektisch (Lesart + Gegen-Lesart), mit Leitfrage zurück an dich.

Diskussion starten
Day 11
Day 13