OpenAI Jalapeño übertrifft Nvidia-Systeme in Inferenztests

OpenAI Jalapeño zeigt in ersten Inferenztests einen deutlichen Effizienzvorsprung gegenüber mehreren Nvidia-Systemen. Der eigene KI-Chip soll mehr Anfragen pro Watt verarbeiten und gleichzeitig schneller antworten. Die Ergebnisse sind bemerkenswert, benötigen aber eine genaue Einordnung.

OpenAI hatte Jalapeño bereits im Juni gemeinsam mit Broadcom vorgestellt. Celestica unterstützt bei Platinen, Racks und der Systemintegration. Der Chip konzentriert sich ausschließlich auf Inferenz, also den produktiven Betrieb bereits trainierter KI-Modelle. Wie sich Training und Inferenz unterscheiden, zeigt unser Überblick zu Cloud AI. Cloud AI im Unternehmenseinsatz

Was zeigen die ersten OpenAI-Jalapeño-Benchmarks?

OpenAI veröffentlichte am 25. August erstmals detaillierte Messergebnisse. Getestet wurden GPT-OSS 120B, DeepSeek R1 670B und Kimi K2.5 1T mit der InferenceX-Suite von SemiAnalysis.

Dabei erreichte Jalapeño laut OpenAI beim maximalen Durchsatz 1,5- bis 1,9-mal mehr KI-Arbeit pro Watt. Die Ende-zu-Ende-Latenz fiel je nach Modell 1,7- bis 3,6-mal geringer aus. OpenAI verglich das System mit Nvidia GB200 und GB300.

Der Chip besitzt eine Nennleistung von 700 Watt. Bei den getesteten Workloads maß OpenAI jedoch höchstens 550 Watt. Gerade für große KI-Rechenzentren ist diese Kennzahl relevant. Dort begrenzt verfügbare elektrische Leistung zunehmend den Ausbau zusätzlicher Rechenkapazität.

Warum ist der Nvidia-Vergleich nur eingeschränkt aussagekräftig?

Aus den Ergebnissen folgt nicht, dass OpenAI Nvidia grundsätzlich überholt hat. SemiAnalysis nennt mehrere Einschränkungen beim Vergleich.

Die Analysten überprüften InferenceX-Läufe im OpenAI-Labor, erhielten die zugrunde liegenden Zahlen jedoch von OpenAI. Die umfangreichere AgentX-Suite kam nicht zum Einsatz. Sie bildet unter anderem längere Kontexte und komplexere agentische Abläufe ab.

Hinzu kommt der Zeitpunkt. Jalapeño steht noch vor seinem größeren produktiven Einsatz. Nvidia fährt dagegen bereits seine nächste Vera-Rubin-Generation hoch. SemiAnalysis hält Rubin deshalb für den relevanteren Konkurrenten als Blackwell. Nvidia meldete den Produktionshochlauf seiner Vera-Rubin-Systeme Ende Mai.

Der Markt entwickelt sich zudem schnell. Microsoft verbreitert beispielsweise seine Hardwarebasis für KI-Inferenz ebenfalls. Neben Nvidia setzt Azure künftig stärker auf AMD-Systeme. Unser Beitrag zur AMD-Helios-Integration in Azure ordnet diese Entwicklung ein.

Warum entwickelt OpenAI eigene KI-Chips?

Bei Jalapeño geht es nicht nur um maximale Rechenleistung. OpenAI optimiert Chip, Speicher, Netzwerk und Software gemeinsam für Sprachmodelle.

Das Unternehmen kann seine Hardware dadurch eng an typische Inferenzlasten anpassen. Besonders wichtig sind dabei Datenbewegungen zwischen Speicher und Recheneinheiten. Sie kosten Zeit und Energie, obwohl in diesem Moment keine neuen Tokens entstehen.

Für OpenAI ergeben sich daraus zwei strategische Ziele. Das Unternehmen kann die verfügbare elektrische Leistung besser nutzen und gleichzeitig mehr Kontrolle über die eigene Kostenstruktur gewinnen. Trotzdem plant OpenAI keinen vollständigen Abschied von Nvidia. Das Unternehmen kündigt ausdrücklich an, weiterhin Nvidia-Beschleuniger für Training und Inferenz einzusetzen.

Was bedeutet Jalapeño für Unternehmen?

Mittelständische Unternehmen werden Jalapeño zunächst kaum als Hardwarekomponente im eigenen Rechenzentrum einsetzen. OpenAI plant den ersten Einsatz in seiner eigenen Compute-Infrastruktur bis Ende 2026.

Die größere Bedeutung liegt deshalb in der Veränderung des KI-Marktes. Anbieter entwickeln zunehmend komplette Stacks aus Modellen, Software, Netzwerken und spezialisierten Beschleunigern. Dadurch können sie ihre Dienste stärker auf bestimmte Workloads optimieren.

Für Unternehmenskunden kann das niedrigere Latenzen oder günstigere Inferenz ermöglichen. Ob OpenAI mögliche Effizienzgewinne tatsächlich über Preise weitergibt, ist derzeit allerdings offen.

Gleichzeitig wächst eine andere Form der Abhängigkeit. Wer eine KI-Plattform nutzt, greift zunehmend auf einen proprietären technischen Stack des jeweiligen Anbieters zurück. Portabilität zwischen Anbietern sollte deshalb neben Modellqualität und API-Preis Teil der Architekturentscheidung bleiben.

Auch europäische Anbieter verfolgen inzwischen umfassendere Infrastrukturstrategien. Der geplante Ausbau von Mistrals KI-Infrastruktur zeigt, wie stark Compute-Kapazität inzwischen zur strategischen Plattformfrage wird.

Was sollten IT-Entscheider jetzt mitnehmen?

OpenAI Jalapeño liefert einen ernst zu nehmenden Hinweis auf stärkeren Wettbewerb bei KI-Beschleunigern. Die ersten Messwerte zeigen hohe Effizienz und niedrige Latenzen bei mehreren großen Sprachmodellen.

Für eine grundsätzliche Aussage gegen Nvidia reichen diese Benchmarks noch nicht. Vor allem Vergleiche mit Vera Rubin und Tests unter realistischen, langen Agenten-Workloads fehlen.

Für Unternehmen zählt daher weniger der Sieger eines einzelnen Benchmarks. Entscheidend sind langfristig Kosten pro produktivem Workload, Latenz, Verfügbarkeit und die Möglichkeit zum Anbieterwechsel.

Sie wollen Entwicklungen bei KI-Chips und Infrastruktur weiter verfolgen? Der IT-Dock Newsletter fasst die wichtigsten IT-News und ihre Folgen für Unternehmen wöchentlich zusammen.