18. 03. 2025
Verfasst von: Timo Kaiser, Patrick Glandorf, Bodo Rosenhahn

Kann KI auch effizient sein?

Das Bild zeigt einen stilisierten Computer-Chip mit Kontakten. — Bevor KI-Modelle im Alltag massentauglich eingesetzt werden können, sollte ihre Effizienz gesteigert und der Energieverbrauch verringert werden. Ziele sind zum Beispiel vereinfachte Modelle und kleinere Mikrochips.

Viele KI-Anwendungen begeistern mit ihrer Leistung, verbrauchen dafür aber extrem viel Energie. Wissenschaftler der Leibniz Universität Hannover und der Viscoda GmbH arbeiten an ressourceneffizienten KI-Methoden für das autonome Fahren, die zum Beispiel den Raum erfassen oder Objekte erkennen. Große neuronale KI-Netzwerke sollen dabei durch kleine KI-Netzwerke ersetzt werden, ohne dass die Genauigkeit sinkt.

Überflüssige Rechenoperationen entfernen

Leistungen von KI-Algorithmen sorgen seit einigen Jahren regelmäßig für Sensationen. Was wenige Laien wissen: Viele KI-Modelle benötigen enorme Rechenressourcen, was unter anderem durch das Nutzen von mehreren Millionen Parametern begründet ist, den so genannten Gewichten. Die Gewichtungen bilden den Kern des KI Modells. Die Anzahl der Gewichte korreliert in etwa mit der benötigten Energie. „Viele KI-Systeme sind daher noch nicht für die Nutzung auf Millionen von autonomen Fahrzeugen anwendbar. Deshalb wollen wir die Rechenoperationen in neuronalen Netzwerken vereinfachen“, sagt Prof. Dr.-Ing. Bodo Rosenhahn von der Leibniz Universität Hannover. Zusammen mit Patrick Glandorf und Timo Kaiser verfolgt er das Ziel, solche KI-Netzwerke in weniger Gewichte zu komprimieren.

Die Grafik veranschaulicht das Ziel, aus einem eng vernetzten Graphmodell einzelne Verbindungen zu entfernen. — Eine neue Methode ermöglicht es, die hochkomplexen neuronalen Netzwerke zu vereinfachen und überflüssige Rechenoperationen zu entfernen.

Neuronale Netzwerke beschleunigen

Auf der „International Conference on Computer Vision“ stellte das Institut für Informationsverarbeitung die Publikation „Hypersparse Neural Networks“ vor. Das Forschungsteam zeigt hierin eine neue Methode auf, mit der regulär genutzte Gewichte sukzessiv aus dem neuronalen Netzwerk entfernt werden. Nach dem Training mit großen Datenmengen lassen sich die überflüssigen Gewichte physisch von der Hardware entfernen, da sie praktisch nicht mehr benötigt werden. Der Erstautor Patrick Glandorf stellt fest, „dass sich je nach Anwendung problemlos bis zu 98 Prozent der Gewichte entfernen lassen, ohne dass die Genauigkeit kritisch sinkt.“ Damit ließen sich auch KI-Modelle beschleunigen sowie Computer-Chips verkleinern.

Der Kurvenverlauf zeigt das Verhältnis Klassifizierungsgenauigkeit zur Anzahl der Gewichte. Die sehr steile Kurve erreicht den effizientesten Bereich des Netzwerks oberhalb von 94 % Genauigkeit bei 5 bis 15 % Gewichte. — Die Anzahl der Rechenoperationen beziehungsweise Gewichte lässt sich in KI-Netzwerken auf zirka 5 bis 15 Prozent reduzieren – mit nur minimalem Verlust in der Genauigkeit. So können die Netzwerke effizienter und nachhaltiger arbeiten.

Synergieeffekte durch AutoML

Ein weiteres Ziel des Projektes „GreenAutoML4FAS“ ist es, Synergien zu einem anderen Teilbereich der KI-Forschung zu schaffen. Mithilfe des automatisierten maschinellen Lernens, kurz AutoML, soll die Genauigkeit und Effizienz der erzeugten kleinen KI-Netzwerke weiter verbessert werden. „Damit KI nachhaltig massentauglich wird, muss die Effizienz mehr in den Fokus rücken“, prognostiziert Bodo Rosenhahn. „Unser Projekt ist dabei auf dem richtigen Weg!“

Glossar: Gewichtung

Ein neuronales Netzwerk im Auto soll zum Beispiel ein Hindernis erkennen und bremsen. Die Eingabewerte, etwas Sensordaten, werden durch Multiplikation und Addition mit sogenannten Gewichten auf einen sinnvollen Ausgabewert projiziert. Im Trainingsprozess des KI-Modells werden die Gewichte angepasst. So kann das Modell aus den Daten lernen sowie Entscheidungen oder Prognosen treffen.