Eigene GPU oder API — die Rechnung hat sich gedreht

/01Begriff und Abgrenzung: eigene GPU oder API

Die Frage klingt einfach, ist aber zwei verschiedene Fragen in einem Satz. Wer über eigene LLM-Inferenz im Haus nachdenkt, vergleicht meistens einen Anschaffungspreis mit einer Rechnung, die er noch nie bekommen hat. Die ehrliche Rechnung lautet: Gesamtkosten über die Nutzungsdauer der Hardware — Anschaffung, Strom, Wartung, tatsächliche Auslastung — gegen laufende Tokenkosten bei einem API-Anbieter, für ein vergleichbares Volumen und eine vergleichbare Modellklasse. Das ist Total Cost of Ownership, kurz TCO, und es ist die einzige Zahl, die zählt — nicht der Kaufpreis der Karte allein.

Was dieser Artikel nicht behandelt: das Training eigener Modelle. Wer ein Modell von Grund auf trainiert oder in großem Stil feinabstimmt, braucht andere Hardware-Klassen, andere Laufzeiten und eine andere Rechnung. Hier geht es um On-Premise-Inferenz mit fertigen, meist Open-Weight-Modellen — dem Fall, der im Mittelstand tatsächlich zur Debatte steht: ein interner Assistent, eine Dokumentenverarbeitung, eine Suche über den eigenen Datenbestand.

2026 hat sich diese Rechnung verschoben, und zwar in beide Richtungen zugleich. Die Referenzkarte für Inferenz im Mittelstandssegment ist innerhalb von eineinhalb Jahren erheblich teurer geworden. Gleichzeitig sind die Tokenpreise der großen Anbieter gefallen oder zumindest stabil geblieben. Wer die Entscheidung vor einem Jahr getroffen hat, sollte sie 2026 neu rechnen — nicht, weil die alte Entscheidung falsch war, sondern weil sich die Ausgangswerte geändert haben.

/02Die Referenzkarte: RTX PRO 6000 Blackwell vom Marktstart zum August-Preis

Die NVIDIA RTX PRO 6000 Blackwell mit 96 GB GDDR7 ist im deutschen Mittelstand die naheliegende Wahl für eigene Inferenz-Hardware: Eine einzelne Karte fasst Modelle bis in die 70-Milliarden-Parameter-Klasse und darüber, ohne dass Tensor-Parallelität über mehrere Karten nötig wird. Genau diese Karte hat 2026 die stärkste Preisbewegung im gesamten GPU-Markt hinter sich.

Nvidia begründet die Erhöhungen mit Knappheit bei schnellem GDDR7-Speicher — derselbe Speichertyp wird für KI-Beschleuniger und für Consumer-Grafikkarten gebraucht, und die Nachfrage nach beidem ist 2026 gleichzeitig gestiegen. Für die Einkaufsentscheidung ist die Ursache zweitrangig; entscheidend ist, dass eine Zahl, die vor einem Jahr in eine Kalkulation eingesetzt wurde, heute um rund 87 Prozent zu niedrig ist.

In Deutschland zeigt sich dieselbe Bewegung mit Verzögerung und geringerer Amplitude. Deutsche Preisvergleichsportale listen die Workstation Edition (600 Watt, volle Taktrate) Ende August 2026 ab 14.990 Euro als günstigstes Angebot, die auf 300 Watt gedrosselte Max-Q-Variante für dichtere Mehrkarten-Systeme ab 14.529 Euro (Stand 31.08.2026). Das liegt bei aktuellem Preisniveau klar unter der US-Preiserhöhung auf 16.000 US-Dollar — europäische Distributoren haben die jüngste Runde bislang nicht vollständig weitergegeben. Verlassen Sie sich bei einer Beschaffung nicht auf diese Zahl: Bei einer Karte mit dieser Preisdynamik ist ein tagesaktuelles Angebot Pflicht, keine Kür.

/03Alternativen mit Preis: L40S, gebrauchte A100/H100, AMD

Wer die 96-GB-Klasse nicht braucht oder sich vom Preis abschrecken lässt, hat mehrere Wege — mit sehr unterschiedlicher Beleglage.

Auffällig: Für zwei der vier Alternativen ließ sich kein verlässlicher, unabhängig geprüfter Neupreis finden — die AMD-Zeile zeigt nur, was die Karte in der Cloud kostet, nicht, was sie an der eigenen Wand kostet. Ehrlich: Wer heute kauft, sollte ein tagesaktuelles Angebot einholen statt eine dieser Zahlen fortzuschreiben. Für den reinen VRAM-pro-Euro-Vergleich bei kleineren Modellen bleibt der Zweitmarkt der wirtschaftlichste Weg, ausführlicher dokumentiert im Deep Dive zu Refurbished-Hardware. Wer ganz ohne GPU-Server auskommen will, kann kleinere quantisierte Modelle auch über llama.cpp im GGUF-Format auf einer einzelnen Consumer- oder Workstation-Karte betreiben — mit spürbaren Abstrichen bei Durchsatz und Mehrbenutzerbetrieb.

/04Die Gegenrechnung: was ein Token 2026 kostet

Während die Hardware teurer wurde, ist die andere Seite der Rechnung günstiger oder zumindest stabiler geworden. Die drei großen Anbieter im Volltext geprüft:

Zwei Effekte verschärfen den Abstand zusätzlich. Erstens der Cache: Bei Anthropic kostet ein Cache-Treffer nur 10 Prozent des Eingabepreises — bei wiederkehrenden Systemprompts oder Dokumenten im Kontext sinkt die reale Rechnung damit deutlich unter die Tabellenwerte. Zweitens die Batch-API: nicht zeitkritische Verarbeitung — Dokumentenklassifikation, Nachbearbeitung, Reporting — läuft bei allen drei Anbietern mit rund 50 Prozent Rabatt auf Ein- und Ausgabe. Wer die API-Seite der Rechnung mit dem Tabellenpreis ansetzt, rechnet damit tendenziell zu ihren Ungunsten, nicht zu ihren Gunsten.

/05Die Beispielrechnung: eigene Karte über vier Jahre

Damit die Rechnung nachvollziehbar bleibt, folgt eine vollständige Beispielrechnung mit offen gelegten Annahmen. Belegte Werte sind als solche gekennzeichnet, Annahmen ebenfalls — wer eigene Zahlen hat, ersetzt einfach die markierten Zeilen.

Zwei Annahmen tragen die Rechnung und verdienen eine eigene Zeile: die mittlere Auslastung von 40 Prozent der TDP und die vierjährige Laufzeit. Beide sind Erfahrungswerte aus Inferenz-Betrieb mit schwankender, überwiegend bürostundengebundener Last — nicht Dauervolllast, aber auch nicht Leerlauf. Eine Karte, die rund um die Uhr auf Volllast läuft, kostet in der Stromzeile mehr; eine Karte, die nur stundenweise läuft, entsprechend weniger. Die Rechnung ist ein Ausgangspunkt, keine Zusicherung für Ihre Umgebung.

/06Ab welchem Volumen sich Eigenbetrieb trägt

642 Euro im Monat sind die Zielgröße. Die Frage ist, wie viele Token bei welchem API-Preis denselben Betrag kosten — vereinfacht mit einem angenommenen Verhältnis von vier Eingabe- zu einem Ausgabe-Token, wie es bei Chat- und Dokumentenanwendungen typisch ist, und einer vereinfachenden Näherung von 1 US-Dollar ≈ 1 Euro (Annahme, Wechselkursschwankungen ausgeklammert).

Die Spreizung ist der eigentliche Befund. Gegen ein teures Modell wie GPT-5.5 trägt sich Eigenbetrieb schon bei einem Volumen, das ein automatisiertes Backoffice mit einigen tausend Vorgängen am Tag erreicht. Gegen ein günstiges Modell wie Gemini 2.5 Flash braucht es ein Volumen, das im Mittelstand selten vorkommt — 868 Millionen Token im Monat sind rund 29 Millionen Token am Tag, ein Betrieb, der eher zu einem Plattformanbieter passt als zu einem einzelnen Unternehmen. Die Karte selbst wäre davon technisch kaum beeindruckt: 178 Millionen Token im Monat verteilen sich auf im Schnitt rund 69 Token pro Sekunde — ein Bruchteil dessen, was ein 30B-Modell unter vLLM mit Batching auf einer 96-GB-Karte an Durchsatz liefert. Der Engpass ist nicht die Hardware, sondern die Nachfrage.

/07Wo es hakt: Grenzen der Rechnung

Jede Beispielrechnung hat blinde Flecken. Diese vier sollten Sie kennen, bevor Sie eine Zahl aus diesem Artikel in eine Beschaffungsentscheidung übernehmen.

Die Auslastung wird fast immer überschätzt. Vor der Anschaffung rechnet fast jeder mit deutlich mehr Last, als am Ende tatsächlich läuft. Statt der Annahme zu vertrauen, messen Sie nach der Inbetriebnahme:

nvidia-smi --query-gpu=power.draw --format=csv -l 60 >> gpu-power.log
# nach einer Woche Produktivbetrieb:
awk -F, 'NR>1{sum+=$1;n++} END{print sum/n" W Durchschnitt"}' gpu-power.log

Liegt der gemessene Wert unter den angenommenen 300 Watt, sinkt die Stromzeile — und mit ihr der monatliche TCO. Liegt er darüber, war die Annahme zu optimistisch.

Eine einzelne Karte kennt kein GPU-Pooling. Fällt sie aus, steht die gesamte Inferenz, nicht nur ein Teil davon. Wer Ausfallsicherheit braucht, rechnet nicht mit einer Karte, sondern mit zwei — was die Anschaffungssumme annähernd verdoppelt, ohne dass sich am Break-even-Volumen etwas ändert.

Der Speicherbedarf wächst mit der Anzahl gleichzeitiger Anfragen. Der KV-Cache wächst linear mit Kontextlänge und Parallelität und frisst genau den Speicher, den mehr gleichzeitige Nutzer brauchen würden. Die 96 GB der Referenzkarte sind für ein Modell plus wenige parallele Anfragen großzügig bemessen, für einen Callcenter-Betrieb mit hundert gleichzeitigen Sitzungen nicht mehr.

Wartung ist keine Fixgröße. Ein neues Modell, eine neue Version des Inferenz-Servers, ein Sicherheitsupdate — jede dieser Änderungen kostet Zeit, die in der Wartungszeile pauschal mit 1.500 Euro im Jahr angesetzt ist. Bei einem Team ohne Erfahrung im GPU-Betrieb ist dieser Posten in der Praxis oft die am stärksten unterschätzte Zeile der gesamten Rechnung.

/08Die Entscheidung: wann Eigenbetrieb sich lohnt — und wann nicht

Aus den Zahlen der Abschnitte 05 und 06 lässt sich eine Entscheidungsregel ableiten, keine Formel — dafür sind zu viele Annahmen im Spiel. Aber eine Richtung ist klar erkennbar.

Dafür spricht

• Konstante, planbare Grundlast: Ein Anwendungsfall, der rund um die Uhr oder zumindest verlässlich zu Bürozeiten läuft, nutzt die Karte, für die bereits bezahlt wurde. Schwankende oder unvorhersehbare Last passt schlechter zu einer festen Investition.
• Hoher Token-Verbrauch bei einem teuren Modell: Wer heute bereits mehrere zehn Millionen Token im Monat bei GPT-5.5 oder einem vergleichbar teuren Modell verbraucht, nähert sich dem Break-even schneller, als die Karte teuer wirkt.
• Vorhandenes Betriebs-Know-how: Ein Team, das bereits Proxmox- oder Linux-Server im eigenen Haus betreibt, trägt die Wartungszeile leichter als ein Team, das GPU-Betrieb komplett neu aufbaut.

Dagegen spricht

• Geringes oder unsicheres Volumen: Unter rund 50 bis 100 Millionen Token im Monat trägt sich Eigenbetrieb selbst gegen teure Modelle selten — gegen günstige Modelle praktisch nie.
• Kein Betriebsteam für Hardware: Ohne jemanden, der Treiber, Firmware und Inferenz-Server pflegt, wird aus der Kalkulation schnell ein Vorfall.
• Bedarf, der sich noch entwickelt: Wer den tatsächlichen Verbrauch noch nicht kennt, kauft mit der API zunächst Daten für die eigene Entscheidung — ohne sich für vier Jahre festzulegen.

Wer die Rechnung nicht selbst führen, aber trotzdem im eigenen Haus bleiben will, muss sich nicht zwischen beiden Wegen entscheiden: Ein Betrieb der Hardware durch einen Dienstleister verschiebt die Wartungszeile aus der eigenen Rechnung, ohne die Grundsatzentscheidung für Eigenbetrieb aufzugeben.

/09Datenschutz und Souveränität: der Grund ohne Preisschild

Alles bisher Gerechnete blendet einen Grund aus, der in vielen Fällen die eigentliche Entscheidung trifft: Manche Daten dürfen das Haus schlicht nicht verlassen — unabhängig davon, wie die Break-even-Tabelle ausfällt. Wer Patientendaten, Mandantenakten oder unveröffentlichte Konstruktionsdaten verarbeitet, prüft nicht zuerst den Preis pro Token, sondern die Frage, ob eine Übermittlung an einen amerikanischen API-Anbieter mit der eigenen DSGVO-Auftragsverarbeitung überhaupt vereinbar ist.

Das ist kein rein juristisches Detail. Ein Auftragsverarbeitungsvertrag mit einem US-Anbieter regelt die vertragliche Seite, ändert aber nichts daran, dass die Verarbeitung faktisch außerhalb der eigenen Kontrolle stattfindet. Für Unternehmen mit besonders sensiblen Daten oder mit vertraglichen Zusagen an eigene Kunden — etwa in der Rechtsberatung, im Gesundheitswesen oder in der industriellen Fertigung mit Geheimhaltungspflichten — ist Eigenbetrieb deshalb häufig gesetzt, bevor überhaupt eine TCO-Rechnung beginnt.

Hier zahlt sich zusätzlich aus, dass die Modelllandschaft 2026 nicht mehr nur aus geschlossenen API-Modellen besteht. Open-Weight-Modelle wie die Qwen3-Reihe lassen sich vollständig im eigenen Rechenzentrum betreiben, ohne dass ein einziges Token das Haus verlässt — ausführlich beschrieben im Deep Dive zu Qwen3.8 als Open Weight. Die Konsequenz für diesen Artikel: Wo Datenschutz die Entscheidung bereits getroffen hat, ist die TCO-Rechnung aus den Abschnitten 05 und 06 nicht überflüssig — sie beantwortet dann nur eine andere Frage, nämlich welche Karte und welches Budget, nicht ob überhaupt.

/10Häufige Fragen