Mit wachsender Modellgröße bei Large Language Models verschiebt sich der Flaschenhals zunehmend von der reinen Rechenleistung hin zur Datenbewegung zwischen Speicher und Logik. SK Hynix reagiert darauf mit einem Custom-HBM-Ansatz, bei dem nicht mehr nur Speicherbänke gestapelt werden, sondern der sogenannte Base-Die – die unterste logische Schicht im HBM-Stack, die normalerweise vor allem für I/O und Steuerlogik zuständig ist – um dedizierte Rechenfunktionen erweitert wird. Dieses Prinzip, oft als Processing-in-Memory oder Near-Memory-Computing bezeichnet, reduziert den Datentransfer über das begrenzte Interface zwischen HBM-Stack und Beschleuniger-Die erheblich, da bestimmte Operationen bereits im Speicherstapel selbst ausgeführt werden.

Laut SK Hynix lassen sich durch diese Architektur bei Inferenz-Workloads von großen Sprachmodellen Leistungssteigerungen von bis zu 5,15x gegenüber Standard-HBM erzielen. Der Ansatz ist Teil einer breiteren Strategie großer Speicherhersteller, HBM nicht mehr nur als passiven Kapazitäts- und Bandbreitenlieferanten zu betrachten, sondern als kundenspezifisch anpassbare Plattform, die enger mit den Anforderungen einzelner KI-Beschleuniger-Architekturen verzahnt wird. Damit rückt die Zusammenarbeit zwischen Speicherherstellern und Chipdesignern noch stärker in den Bereich des Co-Designs, bei dem Logik- und Speicherschichten von Beginn an gemeinsam entwickelt werden.

Bedeutung für die Advanced-Packaging-Roadmap

Technisch setzt eine solche Compute-in-Base-Die-Lösung auf fortgeschrittene 2.5D/3D-Integrationstechniken, wie sie bereits für HBM-Stacks mit Through-Silicon-Vias (TSVs) etabliert sind. Die zusätzliche Logikintegration im Base-Die erhöht jedoch die Komplexität des Packagings, da hier nicht mehr nur einfache Speicherzellen, sondern vollwertige Rechenschaltungen mit entsprechenden Anforderungen an Wärmeabfuhr und Signalintegrität untergebracht werden müssen. Für die Halbleiterindustrie ist dies ein weiteres Signal, dass die Grenze zwischen Speicher- und Logikfertigung im Kontext von KI-Hardware zunehmend verschwimmt.