GPU-Auslastung: 79 Prozent der Betreiber melden höchstens 50 Prozent Nutzung

Viele Unternehmen nutzen ihre KI-Rechenleistung offenbar nur teilweise. Laut einer VentureBeat-Erhebung melden 79 Prozent der Befragten mit Angaben zur GPU-Auslastung, dass ihre Grafikprozessoren höchstens die Hälfte der Zeit beschäftigt sind. Gleichzeitig planen zahlreiche Teilnehmer neue KI-Plattformen.

Für IT-Verantwortliche stellt sich damit eine wirtschaftliche Frage: Reicht die vorhandene Infrastruktur aus, oder sind weitere Investitionen erforderlich? Die Umfrage liefert Hinweise auf mögliche Optimierungspotenziale. Sie beweist jedoch keine systematische Verschwendung von GPU-Kapazitäten.

Was zeigt die VentureBeat-Studie zur GPU-Auslastung?

VentureBeat Intelligence hat drei Befragungen zur KI-Infrastruktur aus Juli, August und September 2026 zusammengeführt. Insgesamt nahmen 385 qualifizierte Personen aus Organisationen mit mindestens 100 Beschäftigten teil.

218 Befragte machten verwertbare Angaben zur Auslastung ihrer GPUs im produktiven KI-Betrieb. Davon berichteten 172, ihre Grafikprozessoren seien höchstens 50 Prozent der Zeit beschäftigt. Das entspricht rund 79 Prozent.

Der Wert erwies sich über die drei Monate hinweg als stabil und lag zwischen 77 und 81 Prozent. Die Unterschiede zwischen den Monaten waren statistisch nicht bedeutsam.

Wichtig für die Einordnung ist, wer nicht in diese Zahl eingeht: Wer angab, die GPU-Nutzung gar nicht zu messen oder keine GPUs zu betreiben, blieb außen vor. Die 79 Prozent beziehen sich also auf Organisationen, die ihre Auslastung überhaupt erfassen.

Die Aussagekraft ist zusätzlich begrenzt. Die Teilnehmer wurden nicht zufällig ausgewählt, sondern stammten aus selbstselektierten Befragungsgruppen. Außerdem beruhen die Auslastungswerte auf Selbstauskünften, nicht auf überprüften Messdaten.

Die Ergebnisse beschreiben deshalb die befragten Organisationen. Sie lassen sich nicht ohne Weiteres auf sämtliche Unternehmen übertragen.

Warum bleiben GPU-Kapazitäten teilweise ungenutzt?

Eine niedrige GPU-Auslastung kann unterschiedliche Ursachen haben. Nicht jeder ungenutzte Rechenzyklus weist auf eine Fehlplanung hin.

Unternehmen reservieren beispielsweise Kapazitäten, um Lastspitzen abzufangen. Bei Anwendungen mit strengen Antwortzeitvorgaben ist eine gewisse Reserve technisch sinnvoll.

Auch ungleichmäßig anfallende Aufgaben können die durchschnittliche Auslastung senken. Trainingsläufe, Datenverarbeitung und KI-Inferenz benötigen häufig zu unterschiedlichen Zeiten Rechenleistung.

Weitere mögliche Ursachen sind ungeeignete Ressourcenzuteilung, Wartezeiten beim Datenzugriff oder eine unzureichende Bündelung kleiner Aufträge.

Die VentureBeat-Befragung untersucht diese Faktoren nicht im Einzelnen. Sie kann daher nicht feststellen, welcher Anteil der gemeldeten freien Kapazitäten tatsächlich vermeidbar wäre.

Warum planen Unternehmen trotzdem neue KI-Plattformen?

Besonders auffällig ist die Investitionsplanung der Befragten. Von den 172 Personen mit geringer GPU-Auslastung planen 120 innerhalb der nächsten zwölf Monate eine neue, zusätzliche oder ersetzende KI-Plattform. Das entspricht rund 70 Prozent dieser Teilgruppe.

Entscheidend ist jedoch der Vergleich mit der Gegengruppe. Unter den Befragten mit höherer Auslastung planen 34 von 46 ebenfalls eine neue Plattform, also 74 Prozent. Der Unterschied ist statistisch nicht bedeutsam. Eine geringe Auslastung treibt die Investitionspläne also offenbar nicht an, sie geht lediglich mit ihnen einher.

Die Zahl bedeutet außerdem nicht, dass diese Unternehmen zusätzliche GPUs kaufen wollen. Ein Plattformwechsel kann auch bestehende Infrastruktur ersetzen oder einen anderen Betriebsansatz ermöglichen.

Das zeigt die Richtung der Pläne deutlich: Unter den 120 Befragten nannten 108 Cloud-Plattformen oder externe Modellanbieter als mögliche Optionen, rund 90 Prozent. Nur neun erwogen eigene oder in Colocation betriebene GPU-Cluster beziehungsweise selbst verwaltete Open-Source-Plattformen, etwa 8 Prozent.

Zur Auswahl standen dabei die Cloud-Angebote von AWS, Microsoft Azure, Google Cloud und Oracle sowie die Modellanbieter OpenAI, Anthropic und Google Gemini. Mehrfachnennungen waren möglich.

Mit den wirtschaftlichen Auswirkungen steigender Hardwareanforderungen beschäftigt sich auch der IT-Dock-Beitrag KI-Boom wird zum Kostenfaktor.

Welche Rolle spielen Cloud-APIs und eigene GPU-Cluster?

Unternehmen können KI-Rechenleistung auf unterschiedliche Weise beziehen. Manche betreiben eigene GPU-Server, andere mieten Cloud-Kapazitäten oder nutzen fertige Modelle über Programmierschnittstellen.

Diese Betriebsmodelle sind nicht beliebig austauschbar.

Wer beispielsweise einen externen Sprachmodell-Dienst verwendet, verarbeitet Anfragen auf der Infrastruktur des Anbieters. Eigene ungenutzte GPUs übernehmen diese Aufgaben nicht automatisch.

Hinzu kommen Unterschiede bei Datenhaltung, Modellunterstützung, Wartung und Skalierbarkeit.

Die VentureBeat-Auswertung liefert einen interessanten Vergleich: Unter 32 Befragten mit eigenen oder selbst verwalteten KI-Plattformen meldeten 18 eine GPU-Auslastung von höchstens 50 Prozent, also 56 Prozent. Bei den übrigen 186 Befragten waren es 154 und damit 83 Prozent.

Die kleinen Teilgruppen begrenzen jedoch die Interpretation. Für diesen Vergleich nennt VentureBeat zudem keinen Signifikanztest, und die Ursachen bleiben unerforscht.

Die Unterschiede zwischen externer KI-Nutzung und eigenen Systemen erläutert IT-Dock im Beitrag Cloud AI im Unternehmenseinsatz.

Wie können IT-Verantwortliche GPU-Auslastung und Kosten verbessern?

Vor weiteren Investitionen sollten Unternehmen zunächst ihre tatsächliche Infrastrukturbelastung erfassen.

Dazu gehören Nutzungszeiten, Speicherauslastung, Wartezeiten und die Verteilung einzelner Aufgaben auf verfügbare GPUs.

Anschließend lassen sich konkrete Maßnahmen prüfen:

1. Lastprofile messen: Durchschnittliche Auslastung und kurzfristige Spitzen getrennt betrachten.
2. Aufträge besser verteilen: Geeignete Workloads bündeln und Warteschlangen sowie GPU-Scheduling optimieren.
3. Betriebsmodelle vergleichen: Eigene Hardware, gemietete Kapazitäten und externe KI-APIs wirtschaftlich gegenüberstellen.
4. Kosten pro Aufgabe ermitteln: Infrastrukturkosten auf abgeschlossene Geschäftsprozesse beziehen.
5. Investitionen begründen: Vor neuen Plattformverträgen Nutzen, Betriebskosten und Auslastungsziele dokumentieren.

Dass diese Prüfung nicht selbstverständlich ist, zeigt ein weiterer Befund: In der September-Teilstichprobe verfügten 58 von 64 Befragten mit neuen Plattformplänen über keine von der Finanzabteilung geprüfte ROI-Berechnung. Das sind 91 Prozent.

Die Zahl gilt ausschließlich für diese Teilgruppe, nicht für sämtliche Befragten.

Auch die Entscheidung zwischen eigenen und externen Ressourcen beeinflusst die Kosten. Eine Einordnung bietet der IT-Dock-Artikel Drittanbieter überholen eigene Rechenzentren.

Entscheidet die GPU-Auslastung über die Wirtschaftlichkeit?

Eine geringe durchschnittliche GPU-Auslastung ist ein Anlass zur Prüfung, aber kein Beweis für verschwendete Investitionen. Verfügbarkeit, Leistungsreserven und Antwortzeiten können freie Kapazitäten rechtfertigen.

Unternehmen sollten deshalb nicht allein die Auslastungsquote optimieren. Entscheidend sind die Kosten pro erfolgreich abgeschlossener Aufgabe und der damit erzielte Geschäftsnutzen.

Quellen:
VentureBeat, AI bubble update: 79% of companies say their GPUs sit idle at least half the time, 23.10.2026
VentureBeat, Infrastructure and Compute Report