SlipStream senkt die Latenz von High-Bandwidth Flash in GPU-Systemen

17. November 2026

SlipStream senkt die Latenz von High-Bandwidth Flash in GPU-Systemen

Bild: ChatGPT

Für GPUgraphics processing unitEin Grafikprozessor, der auch als Beschleuniger für KI-Workloads eingesetzt wird.-Systeme mit High-Bandwidth Flash (HBF1. High Bandwidth FlashHBF ist ein Flash-Konzept, das hohe Kapazität mit höherer Bandbreite verbinden soll.2. High-Bandwidth FlashHBF bezeichnet eine Speichertechnik mit hoher Bandbreite für künftige KI-Systeme.) wird die Latenz zum zentralen Engpass: HBF1. High Bandwidth FlashHBF ist ein Flash-Konzept, das hohe Kapazität mit höherer Bandbreite verbinden soll.2. High-Bandwidth FlashHBF bezeichnet eine Speichertechnik mit hoher Bandbreite für künftige KI-Systeme. ersetzt die DRAM1. dynamic random access memorySpeichertechnologie beziehungsweise System zur dauerhaften oder temporären Ablage digitaler Informationen.2. dynamic random-access memoryDRAM ist ein flüchtiger Arbeitsspeicher-Die in HBM1. human body modelESD-Prüfmodell, das die elektrostatische Entladung einer Person in ein Bauelement nachbildet.2. High Bandwidth MemoryHBM ist ein gestapelter DRAM-Speicher mit sehr hoher Bandbreite für Rechenbeschleuniger. durch NAND1. Not ANDEin Logikgatter, das am Ausgang 0 ausgibt, wenn alle Eingänge 1 sind. In allen anderen Fällen wird eine 1 ausgegeben2. negative-ANDNAND bezeichnet eine logische Verknüpfungsart und ist zugleich die Bezeichnung für einen weit verbreiteten Flash-Speichertyp.-Flash und erreicht bis zu 16-mal mehr Kapazität bei vergleichbarer Lese-Bandbreite. Gleichzeitig liegt die Lesezugriffszeit bei fast 20 μs und damit rund 20-mal höher als bei HBM1. human body modelESD-Prüfmodell, das die elektrostatische Entladung einer Person in ein Bauelement nachbildet.2. High Bandwidth MemoryHBM ist ein gestapelter DRAM-Speicher mit sehr hoher Bandbreite für Rechenbeschleuniger.. Bei direktem Zugriff kann das die Inferenz um bis zu 12,8-mal verlangsamen.

SlipStream adressiert dieses Problem mit einem gemeinsam von Software und Hardware ausgeführten Prefetching-Ansatz. Statt die Zugriffe auf Cache-Line-Ebene zu verfolgen, arbeitet das Verfahren auf 4-KB-Seiten und formt das Prefetching als demand-paced producer-consumer pipeline. In der Software analysiert SlipStream das wiederholbare Seitenzugriffsmuster datenunabhängiger LLM1. local linear models2. Large Language ModelLLM bezeichnet ein großes Sprachmodell für generative KI-Anwendungen.-Kernel und fügt einen Staging-Warp ein, der diese Reihenfolge mit nicht blockierenden STAGE1. staging instructionEine staging instruction löst das vorgezogene Bereitstellen von Daten in einer Speicherhierarchie aus.2. non-blocking staging instructionEine non-blocking staging instruction stößt das Vorladen von Daten an, ohne den Ausführungspfad unmittelbar zu blockieren.-Instruktionen nachbildet.

Auf der Hardwareseite übernimmt der Staging-Warp die Produzentenrolle, während die Work-Warps als Konsumenten arbeiten. Der entscheidende Mechanismus besteht darin, einen STAGE1. staging instructionEine staging instruction löst das vorgezogene Bereitstellen von Daten in einer Speicherhierarchie aus.2. non-blocking staging instructionEine non-blocking staging instruction stößt das Vorladen von Daten an, ohne den Ausführungspfad unmittelbar zu blockieren.-Tracking-Eintrag erst dann freizugeben, wenn der Bedarf die Seite erstmals adressiert, und nicht erst, wenn die Seite aus HBF1. High Bandwidth FlashHBF ist ein Flash-Konzept, das hohe Kapazität mit höherer Bandbreite verbinden soll.2. High-Bandwidth FlashHBF bezeichnet eine Speichertechnik mit hoher Bandbreite für künftige KI-Systeme. zurückkehrt. Dadurch bestimmt der Bedarf den Takt des Stagings, und der Abstand zwischen Produktion und Verbrauch bleibt begrenzt.

Ein weiterer Punkt ist die Speicherverwaltung: SlipStream vergibt Pufferplätze erst, wenn Seiten tatsächlich zurückkehren. So wird die Puffergröße von der ausstehenden Last entkoppelt. Konventionelle Cache-Line-Prefetcher bräuchten für die hohe HBF1. High Bandwidth FlashHBF ist ein Flash-Konzept, das hohe Kapazität mit höherer Bandbreite verbinden soll.2. High-Bandwidth FlashHBF bezeichnet eine Speichertechnik mit hoher Bandbreite für künftige KI-Systeme.-Latenz rund 20-mal mehr in-flight tracking state, während tensor-streaming-orientierte Ansätze wie H3tensor-streaming architectureEine tensor-streaming-Architektur organisiert Datenströme für die Verarbeitung von Tensoren und benötigt dafür Pufferung entlang der Zugriffsreihenfolge. Hunderte Megabyte an Puffer benötigen.

In Messungen über sieben dichte Modelle mit 16 bis 800 GB erreichte SlipStream mit einem 40-MBmachine batch-Staging-Puffer 92,4 % der Leistung eines idealen HBF1. High Bandwidth FlashHBF ist ein Flash-Konzept, das hohe Kapazität mit höherer Bandbreite verbinden soll.2. High-Bandwidth FlashHBF bezeichnet eine Speichertechnik mit hoher Bandbreite für künftige KI-Systeme.-Systems mit HBM1. human body modelESD-Prüfmodell, das die elektrostatische Entladung einer Person in ein Bauelement nachbildet.2. High Bandwidth MemoryHBM ist ein gestapelter DRAM-Speicher mit sehr hoher Bandbreite für Rechenbeschleuniger.-ähnlicher Latenz. H3tensor-streaming architectureEine tensor-streaming-Architektur organisiert Datenströme für die Verarbeitung von Tensoren und benötigt dafür Pufferung entlang der Zugriffsreihenfolge. kam selbst mit einem 320-MBmachine batch-Puffer nur auf 43,1 %. Mit 16 MBmachine batch Puffer, also 20-mal weniger als bei H3tensor-streaming architectureEine tensor-streaming-Architektur organisiert Datenströme für die Verarbeitung von Tensoren und benötigt dafür Pufferung entlang der Zugriffsreihenfolge., blieb SlipStream innerhalb von 4 % der Leistung der 40-MBmachine batch-Variante.

Das Verfahren unterstützt außerdem Mixture-of-Experts-Modelle und erreicht dort 91,2 % der idealen Leistung bei einem 40-MBmachine batch-Puffer. Die Puffergröße bleibt dabei unabhängig von HBF1. High Bandwidth FlashHBF ist ein Flash-Konzept, das hohe Kapazität mit höherer Bandbreite verbinden soll.2. High-Bandwidth FlashHBF bezeichnet eine Speichertechnik mit hoher Bandbreite für künftige KI-Systeme.-Latenz und Arbeitslast, was SlipStream von herkömmlichen Ansätzen mit stark wachsendem SRAM1. static random access memorySpeichertechnologie beziehungsweise System zur dauerhaften oder temporären Ablage digitaler Informationen.2. static random-access memoryStatischer Speicher, der ohne periodisches Refresh arbeitet.-Bedarf abgrenzt.

Quelle: Semiconductor Engineering

Hintergrund dazu: Digitaltechnik

← Alle Beiträge