Vom 3D-Beschleuniger zum KI-Prozessor: Die Geschichte der GPU

1996 saßen Millionen PC-Spieler vor klobigen Röhrenmonitoren und staunten über eine Technik, die heute selbstverständlich erscheint: dreidimensionale Spielwelten mit flüssigen Bewegungen, gefilterten Texturen und immer aufwendigeren Lichteffekten. Damit solche Bilder entstanden, reichte der Hauptprozessor eines typischen PCs oft nicht mehr aus. Zusätzliche Steckkarten übernahmen einen Teil der Grafikberechnung. Die bekannteste von ihnen trug einen Namen, der für viele zum Synonym für 3D-Beschleunigung wurde: Voodoo.

Drei Jahrzehnte später werden Nachfahren dieser Grafikchips nicht nur für Computerspiele eingesetzt, sondern auch für Wettermodelle, Molekülsimulationen und das Training künstlicher neuronaler Netze. Sie stehen in Rechenzentren, verbrauchen teilweise Hunderte Watt pro Beschleuniger und werden über extrem schnelle Verbindungen zu großen Rechensystemen zusammengeschaltet. Wie wurde aus einer Spezialschaltung zur Darstellung von Dreiecken ein Prozessor, der große Sprachmodelle berechnen kann? Die Antwort liegt in einer ungewöhnlichen Abfolge aus Spieleentwicklung, Chiparchitektur, wissenschaftlicher Neugier und neuen Programmierwerkzeugen.

Vor der GPU: Grafik als Aufgabe der CPU

Die frühen PCs benötigten zunächst vor allem Elektronik, um Schriftzeichen und später einzelne Bildpunkte an einen Bildschirm auszugeben. Grafikkarten stellten dafür Speicher und Schaltungen zur Signalerzeugung bereit. Die eigentliche Geometrie dreidimensionaler Objekte, ihre Drehung im Raum und die Berechnung sichtbarer Flächen erledigte überwiegend die CPU. Solange die dargestellten Szenen einfach waren, funktionierte dieser Ansatz. Mit steigenden Auflösungen und komplexeren Spielen wurde er jedoch zum Engpass.

Spezialisierte 3D-Hardware war keineswegs eine Erfindung der späten 1990er-Jahre. In professionellen Grafik-Workstations von Silicon Graphics kamen schon in den 1980er-Jahren besondere Prozessoren für geometrische Transformationen zum Einsatz. Der von James Clark und Marc Hannah entwickelte Geometry Engine zeigte früh, dass sich wiederkehrende Grafikoperationen in maßgeschneiderten Schaltkreisen sehr viel schneller ausführen ließen. Die entsprechenden Workstations waren allerdings teuer und vor allem für Konstruktion, Forschung und Filmproduktion bestimmt. Der entscheidende Wandel kam, als ähnliche Ideen den Massenmarkt erreichten.

1996: Die Voodoo macht 3D-Grafik populär

Der 1994 gegründete Hersteller 3dfx Interactive setzte auf eine kompromisslose Spezialisierung. Sein 1996 verbreiteter Voodoo-Graphics-Chipsatz beschleunigte die Darstellung dreidimensionaler Szenen, konnte aber die gewöhnliche zweidimensionale Bildausgabe nicht übernehmen. Ein typischer PC benötigte deshalb weiterhin eine separate 2D-Grafikkarte. Deren Videosignal wurde über ein kurzes Kabel durch die Voodoo-Karte geschleift – ein heute beinahe kurios wirkender Aufbau.

Die Voodoo bestand nicht einfach aus einem kleinen Universalprozessor. Sie setzte auf spezialisierte Einheiten für die Verarbeitung von Pixeln und Texturen. Der Hauptprozessor berechnete weiterhin einen Teil der Geometrie, während die Zusatzkarte unter anderem Dreiecke rasterisierte, Texturen auf Oberflächen abbildete und Bildpunkte mit Tiefeninformationen verarbeitete. Spiele wie Quake und Tomb Raider profitierten von dieser Arbeitsteilung. Eine schnellere und zugleich sichtbar schönere Darstellung machte aus der Grafikkarte ein begehrtes Aufrüstteil.

Auch andere Unternehmen, darunter S3, ATI, Matrox, PowerVR und NVIDIA, arbeiteten an 3D-Beschleunigung. 3dfx konnte den technischen Vorsprung nicht dauerhaft halten. Veränderungen im Vertrieb, die Übernahme des Kartenherstellers STB und neue Konkurrenz verschärften die Lage. Ende 2000 kündigte NVIDIA die Übernahme wesentlicher Vermögenswerte von 3dfx an. Ausgerechnet der Hersteller, der den PC-Markt für 3D-Grafik begeistert hatte, verschwand damit als eigenständiger Konkurrent.

1999: Der Grafikchip bekommt einen neuen Namen

NVIDIA war 1993 gegründet worden und hatte mit frühen Produkten wie dem NV1 zunächst selbst Erfahrungen mit wenig erfolgreichen Grafikansätzen gesammelt. Der Durchbruch gelang mit der RIVA-Serie und schließlich mit der im Oktober 1999 vorgestellten GeForce 256. NVIDIA bezeichnete den Chip als erste Graphics Processing Unit, kurz GPU. Das war vor allem eine neue Produktdefinition: Grafikprozessoren hatte es bereits gegeben, aber die GeForce 256 vereinte eine größere Zahl wichtiger 3D-Funktionen auf einem Chip.

Zu diesen Funktionen gehörte Transform & Lighting (T&L). Bei der Transformation werden die Koordinaten dreidimensionaler Objekte aus ihrem Modellraum in die Perspektive des Betrachters umgerechnet. Die Beleuchtungsberechnung bestimmt unter anderem, wie hell einzelne Punkte eines Objekts in Abhängigkeit von Lichtquellen und Oberflächenausrichtung erscheinen. Zuvor musste die CPU diese Schritte in vielen PC-Spielen selbst erledigen. Mit einer entsprechenden Hardwareeinheit konnte die Grafikkarte auch diesen Teil der 3D-Pipeline übernehmen.

Der Name GPU setzte sich durch und markierte einen Wandel: Die Grafikkarte war nicht mehr nur eine Sammlung fest verdrahteter Bildausgabefunktionen, sondern ein immer komplexerer Spezialprozessor. Das bedeutete jedoch noch nicht, dass Entwickler beliebige Programme darauf ausführen konnten. Die meisten Verarbeitungsstufen folgten weiterhin weitgehend festen Regeln.

2001: Programmierbare Shader verändern die Architektur

Ein weiterer Wendepunkt folgte 2001 mit der GeForce 3 und der Unterstützung für DirectX 8. Entwickler konnten nun Teile der Grafikpipeline durch eigene kleine Programme beeinflussen. Vertex-Shader veränderten beispielsweise die Position oder Eigenschaften geometrischer Punkte. Pixel-Shader bestimmten, wie Oberflächen im Bild erscheinen sollten. Wasser, Reflexionen, Materialeffekte und Beleuchtung ließen sich damit flexibler gestalten als mit einem rein fest verdrahteten Funktionsumfang.

In den folgenden Jahren entwickelten NVIDIA und ATI die Shader-Technik in rascher Folge weiter. Die 2002 vorgestellte Radeon 9700 Pro unterstützte beispielsweise DirectX 9 und präzisere Shader-Berechnungen. Der Wettbewerb verlagerte sich zunehmend von einzelnen Grafikfunktionen zur Frage, wie viele programmierbare Rechenschritte ein Chip pro Sekunde bewältigen konnte. Auf den Siliziumchips entstanden immer größere Gruppen ähnlicher Recheneinheiten.

Diese Entwicklung hatte eine Nebenwirkung, deren Tragweite anfangs kaum jemand abschätzen konnte: Wenn eine Grafikkarte auf tausenden Bildpunkten ähnliche Berechnungen gleichzeitig durchführen konnte, müsste sie sich doch auch für andere Daten nutzen lassen. Ein Bildpunkt war mathematisch betrachtet schließlich nur ein Datensatz.

Eine andere Art zu rechnen: Tausende Aufgaben gleichzeitig

Eine CPU ist darauf ausgelegt, sehr unterschiedliche Befehle mit geringer Verzögerung auszuführen. Moderne CPUs besitzen mehrere leistungsfähige Kerne, große Caches und aufwendige Steuerlogik. Eine GPU verfolgt einen anderen Schwerpunkt. Sie investiert viel Chipfläche in zahlreiche Recheneinheiten, die ähnliche Operationen an großen Datenmengen parallel bearbeiten können. Beim Zeichnen eines Bildes lässt sich die Farbe vieler Pixel weitgehend unabhängig voneinander berechnen. Bei wissenschaftlichen Simulationen und neuronalen Netzen gibt es häufig ebenso gut parallelisierbare Rechenschritte.

Entscheidend ist nicht nur die Zahl der Recheneinheiten, sondern auch die Versorgung mit Daten. Grafikkarten erhielten deshalb breite Speicheranbindungen und eigenen, vergleichsweise schnellen Grafikspeicher. Eine GPU ist bei geeignetem Programm deutlich leistungsfähiger als eine CPU, wenn sehr viele ähnliche Rechenoperationen anfallen. Für verzweigte Abläufe, kleine Datenmengen oder Aufgaben mit zahlreichen Abhängigkeiten kann dagegen die CPU geeigneter sein. Aus der unterschiedlichen Architektur ergibt sich ihre spätere Zusammenarbeit in Rechenzentren.

2003–2006: Forscher entdecken den Universalrechner

Anfang der 2000er-Jahre begannen Forscher, programmierbare Grafikhardware für Berechnungen zu verwenden, die mit Bildschirmgrafik überhaupt nichts zu tun hatten. Die Bezeichnung General-Purpose Computing on Graphics Processing Units (GPGPU) etablierte sich. Zunächst waren diese Verfahren umständlich: Daten mussten teilweise wie Texturen behandelt und Berechnungen in die Sprache der Shader übersetzt werden. Statt ein Bild darzustellen, las man die Ergebnisse rechnerischer Operationen aus dem Grafikspeicher zurück.

An der Stanford University entwickelten unter anderem Ian Buck und Pat Hanrahan Konzepte für datenparalleles Rechnen. Das Forschungsprojekt Brook und die 2004 vorgestellte GPU-Implementierung machten sichtbar, dass Grafikhardware auch bei wissenschaftlichen Aufgaben erheblich beschleunigen konnte. Noch fehlten aber Werkzeuge, die solche Anwendungen für gewöhnliche Programmierer gut zugänglich machten.

NVIDIA reagierte auf diese Chance mit einem grundlegenden Architektur- und Softwarewechsel. 2006 erschien die GeForce-8800-Generation mit einer vereinheitlichten Shader-Architektur: Statt für unterschiedliche Shader-Aufgaben getrennte spezialisierte Einheiten vorzuhalten, konnten programmierbare Rechenwerke flexibler eingesetzt werden. Gleichzeitig stellte NVIDIA CUDA vor, eine Plattform zur Nutzung von GPUs für allgemeine parallele Berechnungen. Entwickler konnten Rechenfunktionen in einer an C angelehnten Programmierumgebung formulieren, ohne sie als Grafikoperationen tarnen zu müssen.

2006–2010: Vom Spielerechner ins Forschungslabor

Mit CUDA begann ein neues Kapitel, doch NVIDIA war nicht der einzige Anbieter von GPU-Rechenplattformen. AMD übernahm 2006 den Grafikspezialisten ATI und entwickelte ebenfalls Werkzeuge für Berechnungen auf Radeon- und späteren Beschleunigerarchitekturen. Offene Schnittstellen wie OpenCL ermöglichten außerdem herstellerübergreifende Ansätze. Der Kampf verlagerte sich damit zunehmend auch auf Treiber, Compiler, Bibliotheken und die Unterstützung durch Entwickler.

2007 brachte NVIDIA unter dem Namen Tesla Produkte auf den Markt, die ausdrücklich für Rechenanwendungen statt für die Bildausgabe gedacht waren. Wissenschaftler nutzten GPUs beispielsweise für Strömungsberechnungen, numerische Simulationen, Bildverarbeitung und die Untersuchung von Molekülen. Grafikkarten wurden zu Beschleunigern, die im Verbund mit CPUs Teile umfangreicher Rechenprogramme übernahmen. Nicht jede Anwendung profitierte davon, doch manche Berechnungen ließen sich erheblich schneller oder mit weniger Hardware durchführen.

Die technische Entwicklung stellte neue Anforderungen an die Halbleiterfertigung. Immer mehr Transistoren mussten wirtschaftlich auf einem Die untergebracht werden. Leistung und Energiebedarf hingen neben der Mikroarchitektur auch von Fertigungsstrukturgrößen, Verdrahtung, Speichersystem und Kühlung ab. Der Übergang zum Rechenbeschleuniger war deshalb nicht allein eine Frage der Software: Er veränderte auch das physische Design des Chips.

2012: Zwei Gaming-Grafikkarten beschleunigen die KI-Forschung

2012 trat die GPU in einer Disziplin in den Vordergrund, die zunächst wenig mit Computerspielen zu tun hatte: der automatischen Bilderkennung. Alex Krizhevsky, Ilya Sutskever und Geoffrey Hinton entwickelten an der University of Toronto das neuronale Netzwerk AlexNet. Es gewann die ImageNet-Bilderkennungsaufgabe mit einem außergewöhnlich deutlichen Abstand zur Konkurrenz. Beim entscheidenden Wettbewerb lag die Top-5-Fehlerrate bei ungefähr 15,3 Prozent, während der zweitplatzierte Ansatz etwa 26,2 Prozent erreichte.

Für das Training verwendete das Team zwei NVIDIA GeForce GTX 580 – Grafikkarten, die ursprünglich für anspruchsvolle PC-Spiele gedacht waren. Neuronale Netze führen gewaltige Mengen an Multiplikationen und Additionen aus, etwa wenn Bildfilter über Millionen von Bildpunkten laufen. Gerade solche gleichförmigen Operationen lassen sich auf einer GPU gut parallelisieren. Die Forscher verbanden geeignete Lernverfahren, große Datenbestände und leistungsfähige Grafikhardware zu einem überzeugenden Gesamtergebnis.

AlexNet erfand weder neuronale Netze noch das GPU-Computing. Die Arbeit zeigte jedoch eindrucksvoll, dass diese Kombination bei anspruchsvollen praktischen Aufgaben einen qualitativen Sprung ermöglichen konnte. Unternehmen und Forschungsgruppen investierten nun verstärkt in Deep Learning. GPU-Rechenleistung wurde zu einer Schlüsselressource für die Entwicklung leistungsfähiger KI-Modelle.

2017: Tensor Cores werden für neuronale Netze entwickelt

Anfangs liefen KI-Berechnungen im Wesentlichen auf den allgemeinen Recheneinheiten der GPU. Das funktionierte, nutzte aber nicht jede Eigenschaft neuronaler Netze optimal aus. Einen entscheidenden Schritt machte NVIDIA 2017 mit der Volta-Architektur und dem Beschleuniger Tesla V100. Er enthielt erstmals sogenannte Tensor Cores: spezielle Recheneinheiten für Matrixmultiplikationen und anschließende Additionen, also eine der wichtigsten Grundoperationen moderner neuronaler Netze.

Bei solchen Operationen werden kleine Zahlenmatrizen miteinander multipliziert und die Ergebnisse aufsummiert. Tensor Cores erledigen mehrere dieser Rechenschritte in einer auf hohe Parallelität und Datenwiederverwendung ausgelegten Schaltung. Dabei kommen abgestufte Zahlenformate zum Einsatz. Oft müssen nicht sämtliche Zwischenwerte mit der Genauigkeit einer klassischen wissenschaftlichen 64-Bit-Gleitkommarechnung verarbeitet werden. Eine geeignete Mischung aus geringerer und höherer Präzision erlaubt deutlich mehr Berechnungen bei begrenztem Energie- und Flächenbedarf.

Damit begann eine neue Spezialisierung. Die GPU bestand weiterhin aus universell programmierbaren Recheneinheiten, erhielt daneben aber Hardware, die ausdrücklich für KI-typische mathematische Operationen optimiert war. Die ursprüngliche Idee eines Grafikbeschleunigers kehrte in veränderter Form zurück: Häufig verwendete Rechenmuster wurden erneut in besonders effiziente Schaltungen gegossen.

2020–2022: Die GPU wird zum Rechenzentrumsprozessor

Mit immer größeren KI-Modellen verschob sich der Schwerpunkt der Entwicklung vom einzelnen Grafikchip zum Gesamtsystem. Die Ampere-Generation mit dem A100 brachte 2020 neue Tensor-Core-Funktionen und hochbandbreitigen HBM-Speicher für datenintensive Anwendungen. HPC-Berechnungen und KI-Training verlangten außerdem schnelle Verbindungen zwischen vielen Beschleunigern. Eine einzelne GPU konnte das Rechenvolumen und den Speicherbedarf der größten Modelle nicht mehr allein bewältigen.

2022 stellte NVIDIA die Hopper-Architektur mit dem H100 vor. Eine besondere Funktion war die Transformer Engine, die auf die rechenintensiven Matrixoperationen von Transformer-Modellen zugeschnitten wurde. Solche Modelle bilden die Grundlage zahlreicher Sprach- und Bild-KI-Systeme. Die Hardware verwendete unter anderem 8-Bit-Gleitkommaformate und Verfahren zur Anpassung der Zahlenbereiche, um den Durchsatz bei geeigneten Berechnungen zu erhöhen.

Nicht mehr allein Taktfrequenz und die Zahl der Recheneinheiten entschieden über die praktische Leistung. Ebenso wichtig wurden der HBM-Speicher, die Datenübertragung zwischen Beschleunigern, die Größe gemeinsamer Modelle, die Kühlung ganzer Serverracks und die Effizienz der Software. Aus der Grafikkarte war ein Baustein spezialisierter Hochleistungsrechenanlagen geworden.

2024 und danach: Ein Grafikprozessor aus mehreren Dies

Die weitere Vergrößerung monolithischer Grafikchips stößt auf physikalische und wirtschaftliche Grenzen. Eine Lithografieanlage kann nicht beliebig große Strukturen in einem einzigen Belichtungsfeld herstellen. Große Dies sind zudem anfälliger für Defekte und werden entsprechend teuer. NVIDIA wählte für die 2024 vorgestellte Blackwell-Architektur deshalb einen anderen Weg: Zwei große Logik-Dies werden mit einer sehr schnellen Chip-zu-Chip-Verbindung zu einem logisch zusammenhängenden GPU-Beschleuniger gekoppelt.

Für solche Bausteine ist das Packaging fast ebenso bedeutsam wie die Schaltung selbst. Die beiden Logik-Dies und mehrere HBM-Speicherstapel werden mithilfe fortschrittlicher Verbindungstechniken auf einem gemeinsamen Substrat beziehungsweise Interposer integriert. Tausende kurze Verbindungen ermöglichen eine hohe Datenrate bei vergleichsweise geringer Energie pro übertragenem Bit. Die Grenzen zwischen Chipdesign, Speichertechnologie und Aufbau- und Verbindungstechnik verschwimmen damit zunehmend.

Auch AMD entwickelt GPU-Beschleuniger für Rechenzentren und setzt bei entsprechenden Produkten auf fortschrittliches Chiplet-Packaging und HBM. Daneben existieren spezielle KI-Prozessoren wie Googles TPUs, die für bestimmte Aufgaben eine Alternative zur GPU darstellen. Die Entwicklung ist also kein ausschließliches Rennen um eine einzige Architektur: Unterschiedliche Rechenlasten begünstigen unterschiedliche Kombinationen aus frei programmierbaren Kernen, Matrixeinheiten, Speicher und Interconnects.

Warum ausgerechnet die Grafikkarte zur KI-Maschine wurde

Rückblickend erscheint der Weg von der Voodoo zur KI-GPU beinahe zwangsläufig. Tatsächlich war er das nicht. Spieleentwickler verlangten zunächst nur flüssigere Bilder. Dafür entstanden Chips, die sehr viele ähnliche Operationen gleichzeitig ausführten. Programmierbare Shader machten diese Einheiten flexibel nutzbar. Forscher entdeckten ihre Eignung für andere Rechenaufgaben. CUDA, OpenCL und weitere Softwarewerkzeuge erschlossen die Hardware für ein breiteres Publikum. Der Durchbruch tief lernender neuronaler Netze schuf schließlich einen enormen Bedarf an genau dieser Art von Rechenleistung.

Die Geschichte der GPU zeigt damit auch, wie schwer technische Folgen vorauszusehen sind. Aus einer Steckkarte, die dreidimensionale Spielwelten schöner zeichnen sollte, entstand eine Plattform für wissenschaftliche Simulationen und maschinelles Lernen. Die technischen Herausforderungen haben sich dabei stark verschoben: von Dreiecken und Texturen über Shader und parallele Programme bis zu Matrixeinheiten, HBM-Speicher, Chiplets und der Stromversorgung ganzer Rechenzentren. Das Grundprinzip blieb jedoch erhalten: Möglichst viele ähnliche Rechenschritte werden gleichzeitig und effizient verarbeitet.

Ob künftige KI-Systeme überwiegend auf GPUs, spezialisierten Beschleunigern oder neuen Kombinationen aus CPU, GPU und Speicherarchitekturen laufen werden, ist offen. Sicher ist nur, dass der Weg dorthin in erheblichem Maß von einer Technologie geprägt wurde, deren wichtigste Aufgabe einst darin bestand, Computerspiele flüssiger darzustellen.