Die Halbleiter- und KIArtificial IntelligenceKI bezeichnet Verfahren, die Aufgaben durch datengetriebene Modelle automatisieren.-Toolchain bewegt sich bei Inferenz und Training von ML-Modellen deutlich in Richtung FP8. Der Hauptgrund ist der bessere Kompromiss aus Rechenleistung, Speicherbedarf und Datenbewegung: In Rechenzentren lässt sich pro Takt mehr Rechenarbeit auf derselben Plattform unterbringen, während auf Edge- und Mobilgeräten kleinere Formate die Modellgröße, den Speicherfootprint und die Bandbreite senken. Das wirkt sich direkt auf Leistungsaufnahme und Latenz aus.
Eine gemeinsame OCPOpen Compute Projecteine Initiative zur Standardisierung und zum offenen Design von Rechenzentrums-Hardware-Spezifikation für 8-Bit-Floating-Point wurde von Arm, Intel und NVIDIA veröffentlicht. Sie dient als Austauschformat, damit Softwaresysteme Modelle einfacher untereinander teilen können. FP8 ist dabei kein Zukunftskonzept mehr, sondern bereits im Einsatz: NVIDIA unterstützt es auf der Hopper H100 GPUgraphics processing unitEin Grafikprozessor, der auch als Beschleuniger für KI-Workloads eingesetzt wird., und in großen ML-Frameworks tauchen passende Softwarepfade bereits auf.
Arm hat FP8 in die Arm v9 ISA1. Instrumentation Society of America2. instruction set architectureEine ISA definiert die Maschinenbefehle, die ein Prozessor unterstützt. integriert und untersucht, wie sich das Format über die ML-Plattformen hinweg am besten einbinden lässt. Dazu gehören auch ein neues Floating-Point Mode Register, kurz FPMR, sowie eine Instruktionsunterstützung, die FP8 auf Arm-CPUcentral processing unitZentrale Recheneinheit, die Programmbefehle verarbeitet und Datenoperationen ausführt.s praktikabel macht. Das Register ist getrennt vom FPCR und soll Format- und Skalierungswechsel effizienter handhabbar machen als ein klassischer, pipeline-serialisierender Kontrollwechsel.
Wichtig ist dabei, dass FP8 kein einzelnes Format, sondern eine Familie von Formaten ist. Die im Deep-Learning-Kontext verbreitete Aufteilung in E4M3 und E5M2 trennt zwischen höherer Präzision und größerem Dynamikbereich. E4M3 nutzt 1 Vorzeichenbit, 4 Exponentenbits und 3 Mantissenbits sowie einen Bias von 7. E5M2 setzt auf 1 Vorzeichenbit, 5 Exponentenbits, 2 Mantissenbits und einen Bias von 15.
Der technische Hintergrund dieser Aufteilung ist die unterschiedliche Verteilung von Tensoren. Aktivierungen und Gewichte weisen nach Training oder Kalibrierung meist stabilere Wertebereiche auf und profitieren eher von mehr Mantissenbits, also besserer Nachbarschaftsauflösung. Gradienten schwanken dagegen stärker und benötigen mehr Exponentenbits, um Über- oder Unterlauf besser zu vermeiden. E4M3 priorisiert daher Präzision, E5M2 den Dynamikbereich.
Arm bildet dieses Prinzip im FPMR ab. Für erste und zweite FP8-Quelle sowie für das Zielformat bei Konvertierungen können unterschiedliche Kodierungen gewählt werden. Zusätzlich enthält das Register Overflow-Saturation-Flags und Skalierungsfelder wie LSCALE, NSCALE und LSCALE2, mit denen Ergebnisse herunterskaliert oder Eingaben hochskaliert werden. Dadurch lassen sich per Tensor unterschiedliche FP8-Modi steuern, ohne den Rechenpfad unnötig stark zu stören.
Auf Architekturseite umfassen die Erweiterungen FP8-Konvertierungen, Widening-Multiply-Accumulate, Dot-Product-Operationen sowie Matrix- und Outer-Product-Instruktionen in Advanced SIMD, SVE und SME1. subject matter expert2. software maintenance engineerSoftwarebezogenes Verfahren oder Werkzeug zur Entwicklung, Steuerung oder Verarbeitung von Daten.3. semiconductor manufacturing equipment. Für die Akkumulation werden dabei breitere Formate wie FP16 oder FP32 genutzt. So bleibt der Bandbreitenvorteil der 8-Bit-Eingaben erhalten, während die numerische Stabilität im Akkumulator gewahrt wird.
Die Architekturunterstützung reicht damit von einfachen Konvertierungen bis zu komplexeren Rechenpfaden wie FP8-zu-FP32-Dot-Products oder FP8-Matrix-Multiply-Accumulate. Für Entwickler steht damit eine wachsende Hardwarebasis bereit, auf der FP8 nicht nur als Austauschformat, sondern als produktionsfähiger Rechentyp eingesetzt werden kann.