Large Language Models auf eigenen Enterprise-GPU-Servern — im deutschen Rechenzentrum oder in Ihrem Serverraum. Kein Token-Zähler, kein Modellwechsel über Nacht, kein Byte außerhalb Ihres Netzes.
Jede Anfrage an einen Cloud-Dienst überträgt Inhalte an fremde Server, häufig außerhalb der EU. Bei Verträgen, Personalakten oder Konstruktionsdaten ist das eine Frage, die der Datenschutzbeauftragte stellt — nicht die IT.
Abgerechnet wird pro Token. Was im Pilotbetrieb mit fünf Anwendern unauffällig bleibt, wird zum dauerhaften Posten, sobald ein Assistent in Ticketsystem oder Dokumentenablage eingebunden ist — und wächst mit jedem neuen Anwendungsfall weiter.
Preise, Nutzungsbedingungen und Modellversionen ändert der Anbieter. Wird ein Modell abgekündigt, ändert sich das Verhalten Ihrer Anwendung, ohne dass Sie etwas getan haben.
Sie können Prompts formulieren, aber das Modell nicht auf Ihre Fachsprache, Ihre Dokumentstruktur oder Ihre internen Abkürzungen einstellen. Genau dort entsteht der Unterschied zwischen einer Demo und einem Werkzeug, das täglich benutzt wird.
Dedizierte Server mit NVIDIA-Karten für die Ausführung von KI-Modellen mit maximaler Performance — als Miete in unserem Rechenzentrum oder als Kauf in Ihrem Serverraum.
L40S · A100 · H100 · H200Offene Modelle wie Qwen3, GPT-OSS, Mistral oder DeepSeek laufen komplett lokal — ohne Cloud-Verbindung, betrieben mit vLLM.
Qwen3 · GPT-OSS · MistralREST-APIs im eigenen Netzwerk, kompatibel zum OpenAI-Format — bestehende Anwendungen lassen sich anbinden, ohne sie umzuschreiben.
OpenAI-kompatibelRetrieval Augmented Generation: Das Modell greift über eine Vektordatenbank auf Ihre Wissensbestände zu und antwortet mit Quellenangabe.
Vektor-DB · QuellenangabeSchneller Start ohne Beschaffung
Daten bleiben im Haus
Abgetrennte Umgebung beim Anbieter
Die meisten Unternehmen starten mit KI-Hosting, weil es ohne Beschaffung und ohne Platz im eigenen Serverraum funktioniert — und wechseln später auf eigene Hardware, wenn die Auslastung es rechtfertigt oder eine Zertifizierung es verlangt. Beide Wege betreiben wir; der Umzug dazwischen ist eingeplant und kein Neuaufbau, weil Modelle, RAG-Index und Schnittstellen dieselben bleiben. Wenn Sie den Betrieb ganz abgeben wollen, ist KI Managed Services die Ebene darüber.
Mitarbeiter fragen das Modell zu internen Prozessen, Dokumentationen oder Richtlinien — mit Zugriff auf Confluence, SharePoint oder Dateiserver.
KI-Assistent für das IT-Helpdesk: automatische Ticket-Analyse, Lösungsvorschläge und Wissensdatenbank-Abfragen für schnellere Problemlösung.
Automatische Analyse von Verträgen, AGB und rechtlichen Dokumenten: Klauseln extrahieren, Risiken identifizieren, Zusammenfassungen erstellen.
Unterstützung für HR: Bewerbungsanalyse, Mitarbeiter-FAQs zu Benefits und Richtlinien, Begleitung beim Onboarding.
Technische Dokumentation durchsuchen, CAD-Daten analysieren, Wartungsanleitungen generieren, Qualitätsdaten auswerten.
Internes Pendant zu GitHub Copilot: Code-Generierung, Review, Dokumentation und Refactoring — mit Zugriff auf interne Codebasen.
Die Frage, die am Anfang jedes Projekts steht — und die sonst niemand beantwortet, ohne vorher ein Angebot zu schicken. Rechnen Sie selbst. Die Formel steht darunter, die Durchsatzwerte stammen aus unserem eigenen Betrieb.
Parameter × Bytes je Parameter. FP16 = 2, FP8 = 1, Int4 = 0,5. Bei MoE-Modellen zählen die Gesamtparameter, weil alle Experten im Speicher liegen müssen — nur die Rechenlast sinkt, nicht der Speicherbedarf.
Kontextlänge × gleichzeitige Anfragen × modellspezifischer Faktor. Der Cache wächst linear mit beidem und wird regelmäßig unterschätzt: Bei 128k Kontext und 32 parallelen Anfragen übersteigt er die Gewichte.
Das ist eine Abschätzung, keine Zusage. Die Formel reproduziert unsere eigenen Messwerte auf 5–10 % genau — für die Kaufentscheidung reicht das, für die Beschaffung rechnen wir es an Ihrer konkreten Umgebung nach.
Bei sporadischer Nutzung durch eine Handvoll Fachanwender rechnet sich die Cloud fast immer. Sobald eine Grundlast über den Arbeitstag entsteht — etwa weil ein Assistent in Ticketsystem oder Dokumentenablage eingebunden ist — kippt die Rechnung Richtung eigener Hardware, und zwar umso deutlicher, je länger die verarbeiteten Dokumente sind.
Wer KI in regulierten Bereichen einsetzt, muss im Zweifel belegen können, wer wann welche Frage gestellt hat und welches Modell geantwortet hat. On-Premise heißt: Dieses Protokoll liegt bei Ihnen — nicht bei einem Anbieter, der es auf Anfrage herausgibt.
Die Schulungspflicht für Beschäftigte gilt unabhängig von der Risikoklasse — sie trifft praktisch jeden, der KI einsetzt.
Betrifft Sie nur, wenn Sie selbst Modelle trainieren oder bereitstellen. Beim Einsatz offener Modelle liegen diese Pflichten beim Modellanbieter.
Relevant, wenn Ihre KI Sicherheitsbauteil eines Produkts ist, das ohnehin CE-pflichtig ist.
Personalauswahl, Kreditvergabe, kritische Infrastruktur und vergleichbare Felder.
Die meisten betrieblichen Anwendungsfälle — interne Wissenssuche, Dokumentenanalyse, Support-Assistenz — fallen nicht unter Hochrisiko, sondern unter Transparenz- und Dokumentationspflichten. Der Aufwand bleibt überschaubar, wenn er von Anfang an mitläuft: Zweckbeschreibung je Anwendung, Modell- und Versionsstand, Protokollierung der Zugriffe, Kennzeichnung KI-erzeugter Ausgaben und eine benannte verantwortliche Person.
Die Fristen für Hochrisiko-Anwendungen wurden im Rahmen des Digital-Omnibus-Pakets nach hinten verschoben — Stände, die noch den 02.08.2026 nennen, sind überholt. Genau hier zahlt sich On-Premise aus: Modellstand, Protokolle und Trainingsdaten liegen bei Ihnen und lassen sich einem Prüfer zeigen, ohne dass ein Anbieter zuarbeiten muss.
Anforderungsanalyse, Use Cases definieren
Teststellung mit Ihren Daten
Sizing, Beschaffung, Installation
RAG-Setup, API-Anbindung
Schulung, Go-Live, Monitoring
Support, Updates, Optimierung
KI On-Premise bedeutet, dass Large Language Models (LLMs) und KI-Systeme auf eigener Infrastruktur im Unternehmen oder im deutschen Rechenzentrum betrieben werden - statt über Cloud-APIs wie ChatGPT oder Claude. Das ist relevant für Unternehmen, die sensible Daten verarbeiten, DSGVO-Konformität benötigen oder unabhängig von US-Anbietern sein möchten.
Ja. Modellgewichte liegen lokal, die Inferenz läuft auf Ihrer Hardware, es besteht keine Verbindung nach außen. Was Sie einplanen müssen: Modell-Updates sind ein bewusster Vorgang, und die Qualität offener Modelle liegt bei manchen Aufgaben unter der kommerzieller Spitzenmodelle — bei Dokumentenverarbeitung, Klassifikation und Recherche im eigenen Bestand ist der Abstand aber gering.
Der Bedarf richtet sich nach Modellgröße und Parallelnutzung, nicht nach dem Modellnamen. Für kleinere Modelle (7B–13B) mit einer Handvoll gleichzeitiger Nutzer reicht eine einzelne professionelle Karte mit 24–48 GB VRAM, etwa RTX 6000 Ada oder L40S. Für größere Modelle (70B+) oder viele parallele Nutzer werden H100/H200 oder mehrere Knoten nötig. Der Rechner weiter oben auf dieser Seite gibt Ihnen den VRAM-Bedarf für Ihren Fall.
Ja, KI On-Premise ist vollständig DSGVO-konform, da alle Daten in Ihrer eigenen Infrastruktur oder im deutschen Rechenzentrum verbleiben. Es erfolgt keine Datenübertragung an Dritte oder in Drittländer. Sie behalten die volle Kontrolle über Ihre Daten und können Löschfristen, Zugriffsrechte und Protokollierung selbst definieren.
Der Markt ist klein, weil die meisten Anbieter auf US-Modelle per API aufsetzen — damit ist weder Offline-Betrieb noch ein einfacher Drittlandnachweis möglich. Wir betreiben offene Modelle wie Qwen, GPT-OSS und MiniMax auf eigener oder Ihrer GPU-Hardware mit vLLM, vollständig ohne externen Modellzugriff, inklusive der nach EU-AI-Act geforderten Dokumentation.
Eine pauschale Zahl wäre nach wenigen Monaten falsch — Inferenzpreise in der Cloud fallen seit Jahren, GPU-Preise schwanken mit der Verfügbarkeit. Entscheidend sind fünf Größen: Anfragevolumen, Kontextlänge, Datenklasse, Auslastung und vorhandene Betriebskompetenz. Cloud rechnet sich bei sporadischer Nutzung durch wenige Fachanwender, On-Premise ab einer planbaren Grundlast über den Arbeitstag. Wo genau Ihr Kipppunkt liegt, rechnen wir im Workshop mit Ihren realen Volumina durch.
Wir betreiben offene Modelle wie Qwen3, GPT-OSS, MiniMax, Mistral und DeepSeek — je nach Aufgabe als dichtes Modell oder Mixture-of-Experts. Die Gewichte sind frei nutzbar und lassen sich auf Ihre Fachsprache und Dokumentstruktur fein-tunen. Für Code-Assistenz kommen spezialisierte Varianten derselben Familien zum Einsatz.
Eine Basis-Implementierung mit vorkonfiguriertem GPU-Server und Standard-LLM ist in 2-4 Wochen möglich. Komplexere Projekte mit RAG-Integration, Fine-Tuning und Anbindung an bestehende Systeme benötigen 2-3 Monate. Wir bieten auch Proof-of-Concept-Projekte zum Testen an.
Das hängt an der Risikoklasse Ihrer Anwendung. Für die meisten betrieblichen Anwendungsfälle greifen Transparenz- und Dokumentationspflichten, nicht die strengen Hochrisiko-Auflagen. Wir klassifizieren Ihre Anwendungen und erstellen die geforderte Dokumentation — das ist überschaubarer, als die Diskussion vermuten lässt.
Wir betreiben Ihre KI: 24/7-Monitoring, Modell-Updates, SLA und EU-AI-Act-Doku – ab 690 €/Monat.
mehrGPU-Passthrough und vGPU für KI-Workloads in virtualisierten Umgebungen.
mehrAbsicherung Ihrer KI-Infrastruktur mit SOC, SIEM und Security Monitoring.
mehrKI-Lösungen für regulierte Branchen mit höchsten Compliance-Anforderungen.
Wir melden uns in der Regel innerhalb eines Werktags. Wenn es eilt: 09571 873149.
