Mit wachsender Modellgröße bei Large Language Models verschiebt sich der Flaschenhals zunehmend von der reinen Rechenleistung hin zur Datenbewegung zwischen Speicher und Logik. SK Hynix reagiert darauf mit einem Custom-HBM1. human body modelESD-Prüfmodell, das die elektrostatische Entladung einer Person in ein Bauelement nachbildet.2. High Bandwidth MemoryHBM ist ein gestapelter DRAM-Speicher mit sehr hoher Bandbreite für Rechenbeschleuniger.-Ansatz, bei dem nicht mehr nur Speicherbänke gestapelt werden, sondern der sogenannte Base-Die – die unterste logische Schicht im HBM1. human body modelESD-Prüfmodell, das die elektrostatische Entladung einer Person in ein Bauelement nachbildet.2. High Bandwidth MemoryHBM ist ein gestapelter DRAM-Speicher mit sehr hoher Bandbreite für Rechenbeschleuniger.-Stack, die normalerweise vor allem für I/O und Steuerlogik zuständig ist – um dedizierte Rechenfunktionen erweitert wird. Dieses Prinzip, oft als Processing-in-Memory oder Near-Memory-Computing bezeichnet, reduziert den Datentransfer über das begrenzte Interface zwischen HBM1. human body modelESD-Prüfmodell, das die elektrostatische Entladung einer Person in ein Bauelement nachbildet.2. High Bandwidth MemoryHBM ist ein gestapelter DRAM-Speicher mit sehr hoher Bandbreite für Rechenbeschleuniger.-Stack und Beschleuniger-Die erheblich, da bestimmte Operationen bereits im Speicherstapel selbst ausgeführt werden.
Laut SK Hynix lassen sich durch diese Architektur bei Inferenz-Workloads von großen Sprachmodellen Leistungssteigerungen von bis zu 5,15x gegenüber Standard-HBM1. human body modelESD-Prüfmodell, das die elektrostatische Entladung einer Person in ein Bauelement nachbildet.2. High Bandwidth MemoryHBM ist ein gestapelter DRAM-Speicher mit sehr hoher Bandbreite für Rechenbeschleuniger. erzielen. Der Ansatz ist Teil einer breiteren Strategie großer Speicherhersteller, HBM1. human body modelESD-Prüfmodell, das die elektrostatische Entladung einer Person in ein Bauelement nachbildet.2. High Bandwidth MemoryHBM ist ein gestapelter DRAM-Speicher mit sehr hoher Bandbreite für Rechenbeschleuniger. nicht mehr nur als passiven Kapazitäts- und Bandbreitenlieferanten zu betrachten, sondern als kundenspezifisch anpassbare Plattform, die enger mit den Anforderungen einzelner KIArtificial IntelligenceKI bezeichnet Verfahren, die Aufgaben durch datengetriebene Modelle automatisieren.-Beschleuniger-Architekturen verzahnt wird. Damit rückt die Zusammenarbeit zwischen Speicherherstellern und Chipdesignern noch stärker in den Bereich des Co-Designs, bei dem Logik- und Speicherschichten von Beginn an gemeinsam entwickelt werden.
Bedeutung für die Advanced-Packaging-Roadmap
Technisch setzt eine solche Compute-in-Base-Die-Lösung auf fortgeschrittene 2.5D/3D-Integrationstechniken, wie sie bereits für HBM1. human body modelESD-Prüfmodell, das die elektrostatische Entladung einer Person in ein Bauelement nachbildet.2. High Bandwidth MemoryHBM ist ein gestapelter DRAM-Speicher mit sehr hoher Bandbreite für Rechenbeschleuniger.-Stacks mit Through-Silicon-Vias (TSV1. through silicon viaSenkrechte, leitfähige Durchkontaktierung durch Silizium zur elektrischen Verbindung gestapelter Chips.2. through-silicon viaEin TSV ist eine vertikale Verbindung durch das Silizium und dient der elektrischen Durchkontaktierung in 3D- und Packaging-Strukturen.s) etabliert sind. Die zusätzliche Logikintegration im Base-Die erhöht jedoch die Komplexität des Packagings, da hier nicht mehr nur einfache Speicherzellen, sondern vollwertige Rechenschaltungen mit entsprechenden Anforderungen an Wärmeabfuhr und Signalintegrität untergebracht werden müssen. Für die Halbleiterindustrie ist dies ein weiteres Signal, dass die Grenze zwischen Speicher- und Logikfertigung im Kontext von KIArtificial IntelligenceKI bezeichnet Verfahren, die Aufgaben durch datengetriebene Modelle automatisieren.-Hardware zunehmend verschwimmt.