Bei der Inferenz großer Sprachmodelle stößt zunehmend nicht die Rechenleistung, sondern die verfügbare Speicherkapazität der Beschleuniger an ihre Grenzen. Besonders bei Systemen mit nur einem Accelerator oder kleinen Knotenkonfigurationen begrenzt die On-Package-Speicherkapazität die Modellgröße und Batch-Verarbeitung erheblich. Ein gemeinsames Forschungsteam von Huawei, ETH Zürich und HUST schlägt mit FLINT einen Ansatz vor, der High Bandwidth Flash (HBF1. High Bandwidth FlashHBF ist ein Flash-Konzept, das hohe Kapazität mit höherer Bandbreite verbinden soll.2. High-Bandwidth FlashHBF bezeichnet eine Speichertechnik mit hoher Bandbreite für künftige KI-Systeme.) als zusätzliche Speicherebene einbindet, um diese Kapazitätsgrenzen zu verschieben, ohne auf die hohen Bandbreiten klassischer HBM1. human body modelESD-Prüfmodell, das die elektrostatische Entladung einer Person in ein Bauelement nachbildet.2. High Bandwidth MemoryHBM ist ein gestapelter DRAM-Speicher mit sehr hoher Bandbreite für Rechenbeschleuniger.-Lösungen komplett verzichten zu müssen.
Substrat-Design nach Workload-Anforderungen
Der Kern der Arbeit liegt in einem workload-getriebenen Substratdesign, das die Speicherhierarchie gezielt auf die typischen Zugriffsmuster von LLM1. local linear models2. Large Language ModelLLM bezeichnet ein großes Sprachmodell für generative KI-Anwendungen.-Inferenz zuschneidet. Statt Flash-Speicher lediglich als langsamen Massenspeicher zu behandeln, wird er so in die Systemarchitektur integriert, dass häufig genutzte Modellparameter weiterhin schnell erreichbar bleiben, während seltener benötigte Gewichte kosteneffizient in HBF1. High Bandwidth FlashHBF ist ein Flash-Konzept, das hohe Kapazität mit höherer Bandbreite verbinden soll.2. High-Bandwidth FlashHBF bezeichnet eine Speichertechnik mit hoher Bandbreite für künftige KI-Systeme. vorgehalten werden können. Dies ermöglicht eine deutlich größere effektive Speicherkapazität pro Beschleuniger-Package, was insbesondere für Edge- und Single-Accelerator-Szenarien attraktiv ist.
Für die Halbleiterfertigung ist dieser Ansatz relevant, weil er neue Anforderungen an Packaging und Interposer-Technologien stellt: Flash- und Logikchips müssen mit ausreichend hoher Bandbreite verbunden werden, um die Latenznachteile von NANDNot ANDEin Logikgatter, das am Ausgang 0 ausgibt, wenn alle Eingänge 1 sind. In allen anderen Fällen wird eine 1 ausgegeben-basiertem Speicher gegenüber DRAM1. dynamic random access memorySpeichertechnologie beziehungsweise System zur dauerhaften oder temporären Ablage digitaler Informationen.2. dynamic random-access memoryDRAM ist ein flüchtiger Arbeitsspeicher zu kompensieren. Damit rückt die Kombination aus heterogener Integration und speicherzentriertem Systemdesign stärker in den Fokus, da klassische HBM1. human body modelESD-Prüfmodell, das die elektrostatische Entladung einer Person in ein Bauelement nachbildet.2. High Bandwidth MemoryHBM ist ein gestapelter DRAM-Speicher mit sehr hoher Bandbreite für Rechenbeschleuniger.-Stacks allein die wachsenden Kapazitätsanforderungen aktueller LLM1. local linear models2. Large Language ModelLLM bezeichnet ein großes Sprachmodell für generative KI-Anwendungen.s nicht mehr wirtschaftlich decken können.
Die Arbeit reiht sich in einen breiteren Trend ein, bei dem Speicherarchitektur und Packaging zunehmend gemeinsam mit den Anforderungen von KIArtificial IntelligenceKI bezeichnet Verfahren, die Aufgaben durch datengetriebene Modelle automatisieren.-Workloads gedacht werden, anstatt Speicherbausteine als austauschbare Commodity-Komponenten zu behandeln.