Google TPU vs NVIDIA GPU: Ein Entscheidungsrahmen für die Infrastruktur 2025

Aktualisiert am 8. Dezember 2025

Update Dezember 2025: TPU v6e liefert 4-fach besseres Preis-Leistungs-Verhältnis als H100 für bestimmte Workloads. Anthropic unterzeichnete den größten TPU-Deal in Googles Geschichte – Hunderttausende von Trillium-Chips, die bis 2027 auf 1 Million skaliert werden. Midjourney reduzierte die Inferenzkosten um 65% durch Migration von GPUs. vLLM vereinheitlichtes TPU-Backend erreicht 2-5-fache Leistungsverbesserungen. Ironwood (TPU v7) startet 2025 mit 4-facher Geschwindigkeitssteigerung bei der Inferenz. Bis 2030 wird Inferenz 75% der KI-Rechenleistung verbrauchen und einen 255-Milliarden-Dollar-Markt schaffen, in dem TPU-Wirtschaftlichkeit glänzt.

Anthropic schloss im November 2025 den größten TPU-Deal in Googles Geschichte ab – mit der Verpflichtung zu Hunderttausenden von Trillium TPUs im Jahr 2026, die bis 2027 auf eine Million skaliert werden sollen.¹ Das Unternehmen, das Claude entwickelte und hauptsächlich auf NVIDIA-Hardware trainierte, kam zu dem Schluss, dass TPUs eine überlegene Wirtschaftlichkeit für ihre inferenzdominierten Zukunft bieten. Midjourney reduzierte die monatlichen Inferenzausgaben von 2,1 Millionen Dollar auf 700.000 Dollar nach der Migration von NVIDIA-Clustern zu TPU v6e.² Die Mathematik, die NVIDIA einst zur offensichtlichen Wahl machte, hat sich verschoben. Organisationen, die KI-Infrastruktur planen, müssen nun einen echten Zwei-Plattformen-Markt evaluieren, anstatt standardmäßig auf GPUs zu setzen. Dieser Rahmen hilft bei der Navigation der TPU-versus-NVIDIA-Entscheidung basierend auf Workload-Charakteristiken, Skalierung und strategischen Prioritäten.

Die Beschleunigerlandschaft 2025

Der KI-Beschleunigermarkt entwickelte sich vom NVIDIA-Monopol zu echtem Wettbewerb. Das Verständnis der aktuellen Fähigkeiten bildet die Grundlage für Infrastrukturentscheidungen.

TPU v6e repräsentiert Googles aktuelles Produktionsangebot und liefert 7.344 TFLOPS mit 256GB HBM in einer 8-Chip-Konfiguration – damit ein Quad-H100-NVL-System mit 6.682 TFLOPS und 376GB nahezu erreichend.³ Google behauptet eine 4,7-fache Leistungssteigerung gegenüber TPU v5e durch größere Matrixmultiplikationseinheiten und erhöhte Taktgeschwindigkeiten. Die Energieeffizienz liegt bei 300W TDP gegenüber 700W beim H100, was erhebliche Vorteile bei den Energiekosten schafft.

TPU v5p zielt auf Trainings-Workloads ab und bietet 3.672 TFLOPS und 760GB Speicher in 8-Chip-Konfigurationen – mit massiver Speicherkapazität der Leistung von zwei H100 NVL entsprechend.⁴ Der v5p liefert 2,8-fach schnelleres LLM-Training als TPU v4 mit 2,1-fach besserem Preis-Leistungs-Verhältnis. Trainingsorientierte Organisationen ziehen v5p zunehmend zur Kostenoptimierung in Betracht.

NVIDIA H100 und H200 bleiben der Industriestandard mit der breitesten Ökosystem-Unterstützung und Multi-Cloud-Verfügbarkeit. Der H100 liefert 1.979 TFLOPS pro Chip mit 80GB HBM, während der H200 auf 141GB erweitert. NVIDIAs CUDA-Ökosystem, etablierte Tools und universelle Cloud-Unterstützung erhalten Vorteile für Organisationen, die Flexibilität priorisieren.

Ironwood (TPU v7) startet 2025 und optimiert speziell für Inferenz mit behaupteten 4-fachen Geschwindigkeitsverbesserungen gegenüber früheren Generationen.⁵ Das inferenzfokussierte Design spiegelt wider, wo sich die KI-Rechennachfrage konzentriert – bis 2030 wird Inferenz 75% der KI-Rechenleistung verbrauchen und einen 255-Milliarden-Dollar-Markt schaffen, der jährlich um 19,2% wächst.⁶

Preis-Leistungs-Wirtschaftlichkeit, die Entscheidungen antreibt

Der wirtschaftliche Fall für TPUs verstärkte sich 2025 dramatisch und veränderte Infrastrukturberechnungen grundlegend.

Rohes Preis-Leistungs-Verhältnis favorisiert TPUs für qualifizierende Workloads. TPU v6e bietet bis zu 4-fach bessere Leistung pro Dollar im Vergleich zu NVIDIA H100 für Training großer Sprachmodelle, Empfehlungssysteme und Large-Batch-Inferenz.⁷ Google Cloud Committed-Use-Rabatte drücken die TPU v6e-Preise auf nur 0,39 Dollar pro Chip-Stunde und schaffen überzeugende Einheitsökonomie in großem Maßstab.

Migrations-Fallstudien demonstrieren reale Einsparungen:

• Midjourney: Monatliche Inferenzausgaben sanken von 2,1 Millionen Dollar auf unter 700.000 Dollar – 16,8 Millionen Dollar jährliche Einsparungen – bei Beibehaltung des Ausgabevolumens⁸
• Waymark: 4-fach niedrigere Kosten als H100 für Videogenerierungs-Workloads
• Character.AI: 3,8-fache Kostenverbesserung bei konversationeller KI-Inferenz
• Stability AI: Verschob 40% der Bildgenerierungs-Inferenz zu TPU v6 im Q3 2025
• Cohere: 3-fache Durchsatzverbesserungen nach GPU-Migration

Ein Computer-Vision-Startup verkaufte 128 H100 GPUs und setzte auf TPU v6e um, wodurch die monatlichen Inferenzrechnungen von 340.000 Dollar auf 89.000 Dollar sanken.⁹

Energieeffizienz verstärkt Kostenvorteile. TPUs verbrauchen 60-65% weniger Energie als vergleichbare GPU-Konfigurationen für ähnliche Workloads.¹⁰ Für Organisationen mit Nachhaltigkeitszielen oder Rechenzentrums-Leistungsbeschränkungen beeinflusst der Effizienzunterschied sowohl die Betriebskosten als auch die Machbarkeit der Einrichtungen erheblich.

Das Konzept der „NVIDIA-Steuer" beschreibt den Aufpreis, den Organisationen für NVIDIA-Hardware im Vergleich zu Alternativen zahlen. Googles vertikale Integration – Besitz von Chipdesign, Cloud-Infrastruktur und Software-Frameworks – eliminiert Drittanbieter-Margen, die GPU-Kosten erhöhen.¹¹ Dieser strukturelle Vorteil ermöglicht aggressive TPU-Preise, die reine Chip-Anbieter nicht erreichen können.

Workload-spezifische Leistungsmerkmale

TPU- und GPU-Architekturen optimieren für unterschiedliche Workload-Muster und schaffen klare Richtlinien für spezifische Anwendungsfälle.

Wo TPUs glänzen:

• Großflächiges LLM-Training: TPU-Pods, die auf 4.096 Chips skalieren, liefern kosteneffektives Training für Foundation Models. Google trainiert Gemini auf TPUs; Anthropics Deal signalisiert eine ähnliche Richtung.
• Hochvolumige Inferenz: Batch-Inferenz und Bereitstellung für Millionen von Nutzern profitiert von der TPU-Wirtschaftlichkeit. Der 4-fache Preis-Leistungs-Vorteil maximiert sich bei Skalierung.
• Empfehlungssysteme: Google entwarf TPUs für seine eigene Empfehlungsinfrastruktur; diese Workloads passen perfekt zur TPU-Architektur.
• Bildgenerierung: Midjourney- und Stability-AI-Migrationen demonstrieren die Effektivität für Diffusionsmodell-Inferenz.
• JAX/TensorFlow-Workloads: Native Framework-Unterstützung liefert optimale Leistung ohne Übersetzungsoverhead.

Wo NVIDIA GPUs glänzen:

• Forschung und Experimente: Breite Bibliotheksunterstützung und CUDA-Flexibilität ermöglichen schnelles Prototyping und neuartige Architekturen.
• Benutzerdefinierte Modellarchitekturen: Wenn Workloads CUDA-spezifische Bibliotheken, benutzerdefinierte Kernel oder nicht standardmäßige Operationen erfordern, ist GPU-Flexibilität unerlässlich.
• PyTorch-native Workflows: Trotz PyTorch/XLA-Verbesserungen bleibt die native CUDA-Unterstützung ausgereifter.
• Multimodale Modelle: Komplexe Architekturen, die Vision, Sprache und andere Modalitäten kombinieren, erfordern oft GPU-Flexibilität.
• Multi-Cloud-Bereitstellungen: Organisationen, die Hardware-Portabilität über AWS, Azure und On-Premise benötigen, können sich nicht auf GCP-exklusive TPUs verlassen.
• Kleinmaßstäbliche Projekte: Niedrigere anfängliche GPU-Kosten favorisieren kleinere Bereitstellungen, bei denen TPU-Skalenökonomie nicht greift.

Inferenz-Durchsatzvergleich zeigt nuancierte Unterschiede. TPU v6e liefert ungefähr 120 Tokens/Sekunde bei niedriger Parallelität für LLaMA 70B, während H100/H200 ungefähr 150 Tokens/Sekunde erreicht.¹² TPUs optimieren für Durchsatz pro Dollar statt für rohe Geschwindigkeit – die richtige Metrik hängt davon ab, ob Latenz oder Kosten die Entscheidungen treiben.

Framework- und Ökosystem-Überlegungen

Die Software-Ökosystem-Unterstützung bestimmt oft die Plattformtauglichkeit mehr als Hardware-Spezifikationen.

JAX und TensorFlow erhalten erstklassige TPU-Unterstützung. Google entwickelt beide Frameworks neben der TPU-Hardware und gewährleistet enge Integration und fortlaufende Optimierung. Organisationen, die auf JAX standardisieren, finden, dass TPUs optimale Leistung mit minimaler Konfiguration bieten.¹³ MaxText bietet Open-Source-, Hochleistungs-LLM-Pre-Training und Post-Training in reinem Python und JAX und demonstriert optimiertes Training für Modelle wie DeepSeek, Qwen und Gemma.

PyTorch/XLA ermöglicht die TPU-Nutzung von PyTorch aus, jedoch mit Vorbehalten. Das Community-Feedback vom Oktober 2025 führte dazu, dass das PyTorch/XLA-Team eine nativere Richtung für PyTorch auf TPU vorschlug.¹⁴ Die 2.7-Version (Juli 2025) lieferte verbesserte Benutzerfreundlichkeit, vLLM-Boosts und JAX-Bridging. Allerdings bleibt JAX im Allgemeinen ein ausgereifterer Stack, der überlegene Abdeckung und Leistung für seine Primitiven auf TPU bietet.¹⁵

vLLM TPU-Unterstützung repräsentiert signifikanten Fortschritt. Das vereinheitlichte Backend-Redesign unterstützt sowohl PyTorch (via Torchax) als auch JAX innerhalb eines einzigen JAX→XLA-Absenkungspfads.¹⁶ Das SPMD (Single Program, Multi-Data) Programmiermodell, nativ zu XLA, vereinfacht die Entwicklung – Entwickler schreiben Code für ein einzelnes massives Gerät, während der Compiler die Partitionierung übernimmt. Die Leistung verbesserte sich 2-5-fach im Vergleich zu den Prototypen vom Februar 2025.

Einschränkungen bei benutzerdefinierten Kernels betreffen Spitzenforschung. Während XLA breite Optimierung bietet, können neuartige Algorithmen – neue Aufmerksamkeitsmechanismen, benutzerdefiniertes Padding für dynamische Tensoren – die Compiler-Fähigkeiten übersteigen.¹⁷ Der Pallas- und Mosaic-Stack ermöglicht handoptimierte Kernel-Entwicklung, aber das Ökosystem bleibt weniger ausgereift als CUDAs umfangreiche Bibliothekssammlung.

Migrationskomplexität variiert je nach Ausgangspunkt. TensorFlow-Workloads portieren sich natürlich. PyTorch-Migrationen erfordern die Anpassung an XLA-Semantik – Graph-Kompilierung, verzögerte Ausführung und unterschiedliche Optimierungsmuster. Organisationen mit substanziellem CUDA-abhängigem Code stehen vor erheblichem Portierungsaufwand.

Verfügbarkeit und Infrastruktur-Realitäten

Zugangsbeschränkungen sind manchmal wichtiger als Leistungsvergleiche.

TPU-Verfügbarkeit bleibt GCP-exklusiv für Cloud-Bereitstellungen. Organisationen, die sich auf AWS, Azure oder Multi-Cloud-Strategien festgelegt haben, können TPUs nicht einfach integrieren.¹⁸ Google-Cloud-Regionen bestimmen, wo TPUs bereitgestellt werden können, wobei Kontingente den sofortigen Zugang einschränken. Alle Anfragen für TPU v4-Kontingent in us-central2-b erfordern manuelle Google-Genehmigung; es wird kein Standardkontingent gewährt.¹⁹

On-Premise-TPU-Bereitstellung steckt noch in den Kinderschuhen. Google begann, On-Premise-Verkäufe zu erkunden, aber das Programm hat nicht die Reife von NVIDIAs etablierter Rechenzentrumspräsenz. Organisationen, die luftdichte oder vollständig kontrollierte Infrastruktur benötigen, haben derzeit begrenzte TPU-Optionen.

TPU-Pod-Skalierung ermöglicht massive Konfigurationen – bis zu 4.096 Chips in koordinierten Systemen. Allerdings erfordert der Pod-Zugang eine signifikante Google-Cloud-Verpflichtung, möglicherweise mehrjährige Vereinbarungen mit Mindestausgabeniveaus.²⁰ Die Wirtschaftlichkeit favorisiert Skalierung, schafft aber Bedenken hinsichtlich Vendor Lock-in.

NVIDIA-Verfügbarkeit erstreckt sich über jede große Cloud und On-Premise-Bereitstellung. AWS, Azure, Google Cloud, Oracle, CoreWeave, Lambda und Dutzende kleinerer Anbieter bieten H100- und H200-Zugang. On-Premise-Beschaffung, obwohl teuer und mit Vorlaufzeitbeschränkungen, folgt etablierten Beschaffungsmustern.

Preismodelle unterscheiden sich strukturell. TPU-Abrechnung berechnet zugewiesene Ressourcen, unabhängig davon, ob sie aktiv genutzt werden oder nicht.²¹ Einzelgeräte-Preise passen zu variablen Workloads; Pod-Preise erfordern 1-3-jährige Verpflichtungen. GKE bietet Flex-start (Best-Effort-Zuweisung für bis zu sieben Tage) und Spot-VMs (signifikante Rabatte, aber 30-Sekunden-Vorwarnungen bei Preemption) zur Kostenoptimierung.

Der Entscheidungsrahmen

Bewerten Sie TPU-versus-GPU-Entscheidungen über fünf Dimensionen:

1. Skalierung und Auslastung - Bei kleinen Teamgrößen haben GPU-Bereitstellungen niedrigere Anfangskosten - Bei großer Unternehmensskalierung werden TPUs kosteneffektiver - Hohe Auslastung (>70%) maximiert TPU-Vorteile; variable Auslastung favorisiert Pay-per-Use-GPU-Optionen

2. Workload-Charakteristiken - Trainingsdominierende Workloads profitieren von TPU v5p-Wirtschaftlichkeit - Inferenzdominierende Workloads sehen maximale TPU-Vorteile mit v6e - Forschung und Experimente favorisieren GPU-Flexibilität - Produktionsstabilität favorisiert die Plattform mit bewährter Erfolgsbilanz für spezifische Modellarchitekturen

3. Framework-Ausrichtung - JAX oder TensorFlow nativ: Starke TPU-Passung - PyTorch mit Standardoperationen: Auf beiden lebensfähig; GPUs ausgereifter - PyTorch mit umfangreichen CUDA-Abhängigkeiten: GPU erforderlich - Benutzerdefinierte Kernel oder neuartige Architekturen: GPU-Flexibilität unerlässlich

4. Strategische Einschränkungen - GCP-exklusiv akzeptabel: TPUs verfügbar - Multi-Cloud obligatorisch: GPUs einzige realistische Option - On-Premise erforderlich: GPUs derzeit; TPU On-Prem im Entstehen - Vendor-Lock-in-Bedenken: GPUs bewahren Optionalität

5. Zeitplan und Risikotoleranz - Bewährte Workloads mit klarer Wirtschaftlichkeit: TPU-Migration bei

[Inhalt für Übersetzung gekürzt]