ChipAgents hat gemeinsam mit NVIDIA einen Benchmark entwickelt, der KIArtificial IntelligenceKI bezeichnet Verfahren, die Aufgaben durch datengetriebene Modelle automatisieren.-Agenten über den gesamten digitalen IC1. integrated circuitIC ist die gängige Bezeichnung für einen integrierten Schaltkreis.2. ion chromatographyAnalysenverfahren, bei dem die Bestandteile eines Stoffgemischs getrennt und untersucht werden.-Designfluss hinweg bewertet. Build-A-Chip-Bench reicht von der Workload-Spezifikation über RTL1. resistor-transistor logicHalbleiterbauelement beziehungsweise Transistortechnik zur elektrischen Steuerung von Strömen und Signalen.2. register transfer levelRTL bezeichnet die Register-Transfer-Ebene eines digitalen Designs.3. Register-Transfer LevelDie Beschreibungsebene legt das Verhalten einer digitalen Schaltung auf Register- und Datenpfad-Ebene fest., Verifikation und Synthesis bis zur physischen Implementierung und einem verifizierten GDS1. graphical design systemSoftwaresystem zur grafischen Erstellung technischer Entwürfe und Layouts.2. graphical design softwareSoftwarebezogenes Verfahren oder Werkzeug zur Entwicklung, Steuerung oder Verarbeitung von Daten.3. Graphic Data SystemGDS ist ein Datenformat für Layoutdaten in der Halbleiterentwicklung.4. Graphic Design SystemDas Format beschreibt das Layout einer integrierten Schaltung für die Fertigung.-Layout. Damit soll nicht nur geprüft werden, ob ein Modell funktional korrekten Code erzeugen kann, sondern ob es einen vollständigen Designpfad unter realistischen Randbedingungen durchhält.
Der Ansatz grenzt sich von früheren Benchmarks wie CVDP und ChipBench ab, die einzelne Aufgaben isoliert messen. Build-A-Chip-Bench kombiniert dagegen Task-Schwierigkeit und End-to-End-Umfang. Erfolgreich ist ein Agent nur, wenn er funktionale Korrektheit bewahrt, Power-, Performance- und Flächenziele einhält und Probleme löst, die erst in Synthesis und Physical Design sichtbar werden.
Die Aufgaben decken einen repräsentativen Specification-to-GDS1. graphical design systemSoftwaresystem zur grafischen Erstellung technischer Entwürfe und Layouts.2. graphical design softwareSoftwarebezogenes Verfahren oder Werkzeug zur Entwicklung, Steuerung oder Verarbeitung von Daten.3. Graphic Data SystemGDS ist ein Datenformat für Layoutdaten in der Halbleiterentwicklung.4. Graphic Design SystemDas Format beschreibt das Layout einer integrierten Schaltung für die Fertigung.-Flow ab und adressieren Abhängigkeiten zwischen Architektur, RTL1. resistor-transistor logicHalbleiterbauelement beziehungsweise Transistortechnik zur elektrischen Steuerung von Strömen und Signalen.2. register transfer levelRTL bezeichnet die Register-Transfer-Ebene eines digitalen Designs.3. Register-Transfer LevelDie Beschreibungsebene legt das Verhalten einer digitalen Schaltung auf Register- und Datenpfad-Ebene fest., Verifikation und physischer Implementierung in einer Größenordnung von 100K bis 5M Standardzellen. Jede Aufgabe stellt eine Workload-Spezifikation, eine feste Schnittstelle und eine Open-Source-EDA1. electronic design automationSoftwarewerkzeuge zur Entwicklung, Simulation, Verifikation und Layout-Erstellung elektronischer Schaltungen.2. equipment data acquisitionSystem beziehungsweise Verfahren zum Erfassen, Speichern, Austauschen oder Auswerten von Daten.-Umgebung bereit. Der Agent verantwortet Architektur, Mikroarchitektur, RTL1. resistor-transistor logicHalbleiterbauelement beziehungsweise Transistortechnik zur elektrischen Steuerung von Strömen und Signalen.2. register transfer levelRTL bezeichnet die Register-Transfer-Ebene eines digitalen Designs.3. Register-Transfer LevelDie Beschreibungsebene legt das Verhalten einer digitalen Schaltung auf Register- und Datenpfad-Ebene fest., Verifikation und Physical Implementation; Referenzdesigns definieren erreichbare Randbedingungen.
Ein Beispiel ist ein INT4-Inference-Accelerator für Qwen3-0.6B mit Verilator, OpenSTA, OpenROAD und Nangate45 PDKprocess design kitEin PDK stellt die für das Chipdesign nötigen Prozessdaten, Modelle und Regeln bereit.. Das Design muss 400 MHzmegahertzFrequenzeinheit; 1 MHz entspricht einer Million Schwingungen pro Sekunde. erreichen, in 6 mm² passen, mindestens 15 Decode-Tokens pro Sekunde bei unter 10 W liefern und eine Speicherbandbreite von 12,8 GB/s einhalten. Zusätzlich wählt der Agent Datapath-Architektur, Pufferung und Scheduling und erstellt Testbenches, EDA1. electronic design automationSoftwarewerkzeuge zur Entwicklung, Simulation, Verifikation und Layout-Erstellung elektronischer Schaltungen.2. equipment data acquisitionSystem beziehungsweise Verfahren zum Erfassen, Speichern, Austauschen oder Auswerten von Daten.-Flow-Skripte sowie bei Bedarf Floorplanning und Placement.
Die Bewertung erfolgt mit festen Open-Weight-Harnesses. Ein Design muss die Funktionsprüfung gegen ein verborgenes VIP bestehen und zusätzlich ein physisches Gate mit geroutetem GDS1. graphical design systemSoftwaresystem zur grafischen Erstellung technischer Entwürfe und Layouts.2. graphical design softwareSoftwarebezogenes Verfahren oder Werkzeug zur Entwicklung, Steuerung oder Verarbeitung von Daten.3. Graphic Data SystemGDS ist ein Datenformat für Layoutdaten in der Halbleiterentwicklung.4. Graphic Design SystemDas Format beschreibt das Layout einer integrierten Schaltung für die Fertigung. ohne Hold-Time- oder Design-Rule-Verletzungen passieren. Nur dann zählt die PPA1. power, performance, and area2. power, performance, areaKennzahl für Leistungsaufnahme, Geschwindigkeit und Flächenbedarf.-Bewertung relativ zu den Aufgabenanforderungen; bei Fehlern gibt es null Punkte. Der Gesamtscore ist der Mittelwert über alle Aufgaben.
Unter den getesteten Modellen erzielte Claude Fable 5.1 mit 16,6 Prozent den höchsten Gesamtscore. Es kam auf Funktions- und GDS1. graphical design systemSoftwaresystem zur grafischen Erstellung technischer Entwürfe und Layouts.2. graphical design softwareSoftwarebezogenes Verfahren oder Werkzeug zur Entwicklung, Steuerung oder Verarbeitung von Daten.3. Graphic Data SystemGDS ist ein Datenformat für Layoutdaten in der Halbleiterentwicklung.4. Graphic Design SystemDas Format beschreibt das Layout einer integrierten Schaltung für die Fertigung.-Passraten von 65 beziehungsweise 75 Prozent. GPT-6 Astra führte beide Passraten mit 85 Prozent an, erreichte wegen der niedrigeren PPA1. power, performance, and area2. power, performance, areaKennzahl für Leistungsaufnahme, Geschwindigkeit und Flächenbedarf.-Wertung aber nur 8,7 Prozent insgesamt. Diese Ergebnisse gelten ausdrücklich nicht als Produktions-Freigabe oder Siliziumvalidierung.
Die Auswertung zeigt zugleich typische Schwachstellen: Einige Agenten verbessern PPA1. power, performance, and area2. power, performance, areaKennzahl für Leistungsaufnahme, Geschwindigkeit und Flächenbedarf. erst spät und riskieren dabei funktionale Regressionen, andere verschieben architektonische Korrekturen zugunsten von Parametertuning im Physical Design. Zudem können einzelne Place-and-Route-Läufe mehr als vier Stunden dauern. Der Benchmark zielt deshalb auf die Frage, ob KIArtificial IntelligenceKI bezeichnet Verfahren, die Aufgaben durch datengetriebene Modelle automatisieren. nicht nur Teilaufgaben löst, sondern verifiziertes Verhalten über alle Stufen eines Chip-Design-Flows hinweg erhält.