Das südkoreanische Edge-AIartificial intelligenceAI ist englisch für KI: künstliche Intelligenz-Startup DeepX hat seinen zweiten KIArtificial IntelligenceKI bezeichnet Verfahren, die Aufgaben durch datengetriebene Modelle automatisieren.-Beschleuniger DX-M2 per Tape-out abgeschlossen. Der Chip ist für generative KIArtificial IntelligenceKI bezeichnet Verfahren, die Aufgaben durch datengetriebene Modelle automatisieren. in Robotern, Drohnen und anderen Edge-Geräten ausgelegt und soll Inference mit Modellen bis zu 100 Milliarden Parametern bei unter 5 W ermöglichen.
Der DX-M2 ist als Nachfolger des in der Massenproduktion befindlichen DX-M1 positioniert, der vor allem Vision-Anwendungen adressiert. Für den neuen Chip nennt DeepX einen Zielbereich von 20 Milliarden bis 100 Milliarden Parametern beziehungsweise rund 3 Milliarden bis 20 Milliarden aktiven Parametern. Die Leistung soll je nach Modell bei 10 bis 30 Tokens pro Sekunde liegen, ebenfalls innerhalb des 5-W-Budgets.
Nach Angaben des Unternehmens ist die Speicherbandbreite der wichtigste Unterschied zwischen beiden Generationen. Sie steigt von 50 auf 150 GB/s. Zusätzlich habe die NPUNeural Processing UnitEine NPU ist ein spezialisierter Prozessor für neuronale Netzwerke und KI-Inferenz. durch Designänderungen ihre Energieeffizienz verdoppelt; der Wechsel auf einen 2-nm-Prozess habe diese Effizienz noch einmal verdoppelt. Insgesamt nennt DeepX für den DX-M2 eine Rechenleistung von 80 TOPS1. Tera Operations Per SecondDie Kennzahl beschreibt die Rechenleistung von KI-Beschleunigern in Billionen Operationen pro Sekunde.2. trillion operations per secondTOPS gibt an, wie viele Billionen Operationen pro Sekunde ein Chip ausführen kann..
Der Chip unterstützt größere Mixture-of-Experts-LLM1. local linear models2. Large Language ModelLLM bezeichnet ein großes Sprachmodell für generative KI-Anwendungen.s sowie neue Verfahren wie speculative decoding und TurboQuant. DeepX zielt damit auf Szenarien, in denen lokale KIArtificial IntelligenceKI bezeichnet Verfahren, die Aufgaben durch datengetriebene Modelle automatisieren. wegen enger Strom- und Thermikbudgets auf Geräten laufen muss, die nicht dauerhaft an das Netz angebunden sind.
Ein zentraler Baustein ist Processor-in-Memory. DeepX arbeitet mit Samsung an der Integration von DX-M2 und Samsungs LPDDR5x-PIM1. Processing-In-MemoryEin Ansatz, um einige Rechenaufgaben nahe am oder direkt im Speicher durchzuführen2. processor-in-memoryPIM beschreibt Rechenoperationen direkt im Speicher, um Datenbewegungen zu reduzieren.. Das Unternehmen hat bereits LPDDR5x-PIM1. Processing-In-MemoryEin Ansatz, um einige Rechenaufgaben nahe am oder direkt im Speicher durchzuführen2. processor-in-memoryPIM beschreibt Rechenoperationen direkt im Speicher, um Datenbewegungen zu reduzieren.-Samples erhalten und testet deren Funktion und Leistung intern. Die Entwickler sehen darin besonders bei GEMVgeneral matrix-vector multiplicationGEMV bezeichnet die Multiplikation einer Matrix mit einem Vektor und ist bei Inference oft speichergebunden.-Operationen Vorteile, weil diese Arbeitslasten direkt im Speicherchip ausgeführt werden können und dadurch weniger Daten zwischen Speicher und Recheneinheit bewegt werden müssen.
Simulationen von DeepX zufolge würde das Auslagern von GEMVgeneral matrix-vector multiplicationGEMV bezeichnet die Multiplikation einer Matrix mit einem Vektor und ist bei Inference oft speichergebunden. in LPDDR5x-PIM1. Processing-In-MemoryEin Ansatz, um einige Rechenaufgaben nahe am oder direkt im Speicher durchzuführen2. processor-in-memoryPIM beschreibt Rechenoperationen direkt im Speicher, um Datenbewegungen zu reduzieren. beim Modell Llama3.1-8B einen 6,7-fach höheren Token-Durchsatz gegenüber dem DX-M2 allein ermöglichen. Der zusätzliche Rechenschritt kostet allerdings Energie: Für den 6,7-fachen Durchsatz steigt der Gesamtverbrauch auf das 2,7-Fache. Gleichzeitig hält DeepX eine Verdopplung der Leistung innerhalb desselben Leistungsbudgets wie bei einer Nicht-PIM1. Processing-In-MemoryEin Ansatz, um einige Rechenaufgaben nahe am oder direkt im Speicher durchzuführen2. processor-in-memoryPIM beschreibt Rechenoperationen direkt im Speicher, um Datenbewegungen zu reduzieren.-Operation für realistisch.
Für den PIM1. Processing-In-MemoryEin Ansatz, um einige Rechenaufgaben nahe am oder direkt im Speicher durchzuführen2. processor-in-memoryPIM beschreibt Rechenoperationen direkt im Speicher, um Datenbewegungen zu reduzieren.-Betrieb ist zudem erheblicher Aufwand im Compiler nötig. DeepX betreibt bereits einen Prototyp-Compiler auf Basis einer PIM1. Processing-In-MemoryEin Ansatz, um einige Rechenaufgaben nahe am oder direkt im Speicher durchzuführen2. processor-in-memoryPIM beschreibt Rechenoperationen direkt im Speicher, um Datenbewegungen zu reduzieren.-Simulation und arbeitet an Hardwaremodulen, um die Softwareumgebung anschließend in einer physischen Testumgebung zu validieren. Parallel plant das Unternehmen mit dem DX-M3 eine nächste Generation für 2028 auf Basis von Chiplets und LPDDR6-PIM1. Processing-In-MemoryEin Ansatz, um einige Rechenaufgaben nahe am oder direkt im Speicher durchzuführen2. processor-in-memoryPIM beschreibt Rechenoperationen direkt im Speicher, um Datenbewegungen zu reduzieren..
Der DX-M2 soll in mehreren Märkten eingesetzt werden, darunter AIartificial intelligenceAI ist englisch für KI: künstliche Intelligenz-PC1. personal computer2. programmable controller3. process controlÜberwachung und gezielte Regelung der Fertigungsbedingungen zur Einhaltung der Produktspezifikationen.4. photoconductivityElektrische Leitfähigkeit, die durch Lichteinfall beeinflusst wird.s, Robotik, Automotive und IoTinternet of thingsIoT steht für vernetzte Geräte und Systeme mit Datenanbindung.. Erste Muster werden für März 2027 erwartet, die Massenproduktion ist für Herbst 2027 geplant.