Die Speicherstrategie für KI-Beschleuniger hat sich in den vergangenen Jahren fast ausschließlich um High Bandwidth Memory (HBM) gedreht. Durch das Stapeln immer weiterer DRAM-Dies via Through-Silicon-Vias (TSVs) ließ sich die Bandbreite pro Speicherstack kontinuierlich steigern. Mit wachsenden Modellgrößen, längeren Kontextfenstern und zunehmend inferenzlastigen Workloads verschiebt sich der Flaschenhals jedoch zunehmend von der reinen Speicherkapazität hin zur effizienten Datenbewegung zwischen Speicher und Recheneinheit.

Qualcomm positioniert mit High Bandwidth Cache (HBC) einen alternativen Ansatz, der nicht primär auf maximale Stapelhöhe und Rohbandbreite zielt, sondern auf eine engere Kopplung von Cache-Hierarchie und Speicherzugriff näher am Compute-Die. Damit rückt die Frage in den Vordergrund, wie Latenz und effektive Bandbreite im realen Inferenzbetrieb optimiert werden können, statt nur theoretische Spitzenwerte auf dem Datenblatt zu erhöhen. Für Speicherhersteller wie Samsung und SK hynix bedeutet das, dass sich das Wettbewerbsfeld über die reine HBM-Generation hinaus erweitert.

Bedeutung für die Fertigungsökosysteme

Ein solcher Architekturwandel hat unmittelbare Konsequenzen für Advanced Packaging und Interconnect-Technologien, da engere Integration von Logik und Speicher neue Anforderungen an 2.5D/3D-Integration, Hybrid Bonding und thermisches Management stellt. Sollte sich HBC oder vergleichbare Cache-nahe Speicherkonzepte als relevanter Standard etablieren, müssten sowohl Foundries als auch Speicherhersteller ihre Roadmaps für Packaging und Chiplet-Interconnects anpassen.

Für die Branche insgesamt zeigt die Entwicklung, dass der Wettbewerb um KI-Speicherarchitekturen nicht mehr allein über Kapazität und Stapelzahl entschieden wird, sondern zunehmend über System-Level-Design-Entscheidungen, die Compute- und Speicherhersteller enger aneinander binden.