Bei KIArtificial IntelligenceKI bezeichnet Verfahren, die Aufgaben durch datengetriebene Modelle automatisieren.-Inferenz verschiebt sich der Fokus weg von maximaler Rechenleistung im Zentrum des Systems hin zu einer Architektur, die Daten und Rechenlogik enger koppelt. Statt Daten immer wieder zwischen Prozessor, Cache und Speicher hin- und herzubewegen, rückt die Verarbeitung näher an den Speicher oder sogar in den Speicher selbst. Das soll weniger Energie verbrauchen, die Latenz senken und die verfügbare Leistung besser innerhalb enger Energiebudgets nutzbar machen.
Der Druck steigt vor allem dort, wo Modelle nicht mehr nur in Rechenzentren laufen, sondern in Edge-Systemen, Fahrzeugen, Drohnen oder anderen physischen KIArtificial IntelligenceKI bezeichnet Verfahren, die Aufgaben durch datengetriebene Modelle automatisieren.-Anwendungen. Dort ist die Datenmenge groß, die verfügbare Leistung begrenzt, und jeder vermiedene Transfer zwischen Rechenwerk und Speicher zählt. Besonders bei live gestreamten Sensordaten wird entscheidend, welche Informationen behalten, verworfen oder sofort verarbeitet werden müssen.
Als technische Ansätze werden processing-near-memory (PNMProcessing-Near-MemoryEine Architektur, die Speicher nahe der Recheneinheit platziert, um Datenwege zu verkürzen), processing-in-memory (PIM1. Processing-In-MemoryEin Ansatz, um einige Rechenaufgaben nahe am oder direkt im Speicher durchzuführen2. processor-in-memoryPIM beschreibt Rechenoperationen direkt im Speicher, um Datenbewegungen zu reduzieren.) sowie compute-in-memory (CIM1. computer-integrated manufacturing2. compute-in-memoryCiM beschreibt Architekturen, die Datenbewegung durch Rechnen im Speicher reduzieren.) genannt. PIM1. Processing-In-MemoryEin Ansatz, um einige Rechenaufgaben nahe am oder direkt im Speicher durchzuführen2. processor-in-memoryPIM beschreibt Rechenoperationen direkt im Speicher, um Datenbewegungen zu reduzieren. platziert Logik auf demselben DRAM1. dynamic random access memorySpeichertechnologie beziehungsweise System zur dauerhaften oder temporären Ablage digitaler Informationen.2. dynamic random-access memoryDRAM ist ein flüchtiger Arbeitsspeicher-Die, PNMProcessing-Near-MemoryEine Architektur, die Speicher nahe der Recheneinheit platziert, um Datenwege zu verkürzen nutzt Logik im gleichen Speichermodul auf einem separaten Die. Zusätzlich wird auf Ansätze wie LPDDR6-PIM1. Processing-In-MemoryEin Ansatz, um einige Rechenaufgaben nahe am oder direkt im Speicher durchzuführen2. processor-in-memoryPIM beschreibt Rechenoperationen direkt im Speicher, um Datenbewegungen zu reduzieren. und kundenspezifisches HBM1. human body modelESD-Prüfmodell, das die elektrostatische Entladung einer Person in ein Bauelement nachbildet.2. High Bandwidth MemoryHBM ist ein gestapelter DRAM-Speicher mit sehr hoher Bandbreite für Rechenbeschleuniger. verwiesen. Für bestimmte Inferenzschritte, etwa Decode-Phasen mit kleiner Batchgröße, können solche Modelle besonders interessant sein; bei großem Batch oder Prefill verschieben sich die Engpässe jedoch stärker hin zur Aktivierungs- und Bandbreitenkommunikation.
Die möglichen Vorteile sind klar umrissen: weniger Datenverkehr, geringere Leistungsaufnahme und eine bessere Auslastung von CPUcentral processing unitZentrale Recheneinheit, die Programmbefehle verarbeitet und Datenoperationen ausführt. oder GPUgraphics processing unitEin Grafikprozessor, der auch als Beschleuniger für KI-Workloads eingesetzt wird., weil einfache Operationen ausgelagert werden können. Genannt werden insbesondere einfache MACmultiply-accumulateMAC ist die Grundoperation für KI-Inferenz und -Training.-Operationen, die in einem Speicher- oder Basiskontext abgearbeitet werden können, während komplexere Aufgaben auf dem Hauptprozessor oder der GPUgraphics processing unitEin Grafikprozessor, der auch als Beschleuniger für KI-Workloads eingesetzt wird. verbleiben. Damit verändert sich auch die Systemarchitektur vom reinen Speicherhunger hin zu einer Frage der Datenorganisation und des Datenpfads.
Gleichzeitig bleibt der Weg in die Praxis schwierig. Für diese Architekturen müssen Compiler, Betriebssysteme, Speichercontroller und Programmiermodelle angepasst werden. Hinzu kommen Fragen der Standardisierung, der Kohärenz und des Zusammenspiels mit Fabric, Cache- und Chiplet-Strukturen. Ohne einheitliche Transaktionen und abgestimmte Softwarestacks drohen hochgradig kundenspezifische Systeme, die schwer portierbar und aufwendig zu betreiben sind.
Auch die Fertigung und das Packaging werden komplexer, weil Logik- und DRAM1. dynamic random access memorySpeichertechnologie beziehungsweise System zur dauerhaften oder temporären Ablage digitaler Informationen.2. dynamic random-access memoryDRAM ist ein flüchtiger Arbeitsspeicher-Prozess aufeinander treffen. Die thermischen Randbedingungen und die Synchronisation zwischen Speicherzugriff und Rechenoperationen verschärfen die Anforderungen zusätzlich. Die Technologie gilt damit als vielversprechend, ist aber noch nicht in breitem Umfang im Markt angekommen. Erste Ansätze wie LPDDR6-PIM1. Processing-In-MemoryEin Ansatz, um einige Rechenaufgaben nahe am oder direkt im Speicher durchzuführen2. processor-in-memoryPIM beschreibt Rechenoperationen direkt im Speicher, um Datenbewegungen zu reduzieren. markieren eher einen beginnenden Übergang von Forschung und Spezialanwendungen zu ersten kommerziell relevanten Einsatzfeldern.
Für die nächste Phase steht damit weniger die Frage im Vordergrund, ob nahe am Speicher gerechnet werden kann, sondern wie sich diese Rechenmodelle in skalierbare Systeme integrieren lassen. Entscheidend werden die Aufteilung von Aufgaben zwischen Speicher und Rechenwerk, die Unterstützung durch Software und die Fähigkeit, Datenbewegung im gesamten System so weit wie möglich zu vermeiden.