Bei der Inferenz großer Sprachmodelle stößt zunehmend nicht die Rechenleistung, sondern die verfügbare Speicherkapazität der Beschleuniger an ihre Grenzen. Besonders bei Systemen mit nur einem Accelerator oder kleinen Knotenkonfigurationen begrenzt die On-Package-Speicherkapazität die Modellgröße und Batch-Verarbeitung erheblich. Ein gemeinsames Forschungsteam von Huawei, ETH Zürich und HUST schlägt mit FLINT einen Ansatz vor, der High Bandwidth Flash (HBF) als zusätzliche Speicherebene einbindet, um diese Kapazitätsgrenzen zu verschieben, ohne auf die hohen Bandbreiten klassischer HBM-Lösungen komplett verzichten zu müssen.
Substrat-Design nach Workload-Anforderungen
Der Kern der Arbeit liegt in einem workload-getriebenen Substratdesign, das die Speicherhierarchie gezielt auf die typischen Zugriffsmuster von LLM-Inferenz zuschneidet. Statt Flash-Speicher lediglich als langsamen Massenspeicher zu behandeln, wird er so in die Systemarchitektur integriert, dass häufig genutzte Modellparameter weiterhin schnell erreichbar bleiben, während seltener benötigte Gewichte kosteneffizient in HBF vorgehalten werden können. Dies ermöglicht eine deutlich größere effektive Speicherkapazität pro Beschleuniger-Package, was insbesondere für Edge- und Single-Accelerator-Szenarien attraktiv ist.
Für die Halbleiterfertigung ist dieser Ansatz relevant, weil er neue Anforderungen an Packaging und Interposer-Technologien stellt: Flash- und Logikchips müssen mit ausreichend hoher Bandbreite verbunden werden, um die Latenznachteile von NAND-basiertem Speicher gegenüber DRAM zu kompensieren. Damit rückt die Kombination aus heterogener Integration und speicherzentriertem Systemdesign stärker in den Fokus, da klassische HBM-Stacks allein die wachsenden Kapazitätsanforderungen aktueller LLMs nicht mehr wirtschaftlich decken können.
Die Arbeit reiht sich in einen breiteren Trend ein, bei dem Speicherarchitektur und Packaging zunehmend gemeinsam mit den Anforderungen von KI-Workloads gedacht werden, anstatt Speicherbausteine als austauschbare Commodity-Komponenten zu behandeln.