Beim Training großer Sprachmodelle mit Mixture-of-Experts-Architekturen (MoE) müssen Rechenknoten während der Kommunikationsphasen große Datenmengen zwischen Experten-Teilnetzen austauschen. Eine aktuelle technische Arbeit des Georgia Institute of Technology untersucht, wie wafer-skalige optische Interconnects in solchen Trainingsclustern durch thermisches Tuning ausgebremst werden. Photonische Schaltelemente benötigen typischerweise eine thermo-optische Regelung, um Resonanzwellenlängen stabil zu halten – ein Prozess, der bei häufigen Lastwechseln zu wiederkehrenden Verzögerungen führt.
Die Autoren identifizieren diese sogenannten Tuning-Stalls als signifikanten Engpass, der die Effizienz verteilter LLM1. local linear models2. Large Language ModelLLM bezeichnet ein großes Sprachmodell für generative KI-Anwendungen.-Trainingsläufe deutlich mindert, da die optische Kommunikation immer wieder auf die thermische Nachregelung der Schaltkreise warten muss. Über eine schichtübergreifende Analyse von Hardware- und Systemebene zeigen sie, dass klassische thermo-optische Tuning-Mechanismen mit der Dynamik moderner MoE-Trainingslasten nicht Schritt halten können.
Ferroelektrische Bauelemente als Lösungsansatz
Als Abhilfe schlägt das Team den Einsatz ferroelektrischer Materialien zur Abstimmung der photonischen Komponenten vor. Im Gegensatz zur thermischen Regelung reagieren ferroelektrische Tuning-Mechanismen deutlich schneller auf Spannungsänderungen und benötigen keine kontinuierliche Wärmezufuhr, wodurch sich die Latenz beim Umschalten optischer Pfade reduzieren lässt. In Simulationen berichten die Forscher von einer Beschleunigung um den Faktor 2,7 gegenüber konventionellen thermisch abgestimmten Systemen.
Die Ergebnisse verdeutlichen, dass mit dem Wachstum von LLM1. local linear models2. Large Language ModelLLM bezeichnet ein großes Sprachmodell für generative KI-Anwendungen.-Trainingsclustern nicht nur reine Rechenleistung, sondern auch die Materialbasis der photonischen Interconnect-Technologie zum limitierenden Faktor werden kann. Ferroelektrische Tuning-Ansätze könnten damit einen Weg aufzeigen, wie sich wafer-skalige optische Netzwerke besser an die unregelmäßigen Kommunikationsmuster moderner KIArtificial IntelligenceKI bezeichnet Verfahren, die Aufgaben durch datengetriebene Modelle automatisieren.-Trainingsworkloads anpassen lassen.