Dell PowerEdge XE9680 mit 8× NVIDIA HGX A100 80GB
Der Flaggschiff-AI-Server für Open Source LLMs, private KI-Workloads und DaaS-Cluster. 640 GB HBM2e GPU-Speicher, 1 TB DDR5, 104 Xeon-Cores und 100-GbE/InfiniBand-Networking in 6 HE. Refurbished mit 1 Jahr Gewährleistung.
Enterprise AI-Plattform im Detail
Identisch zur Dell-OEM-Konfiguration für KI-Training und Inferenz. Alle Komponenten sind vollständig geprüft, gereinigt und werksseitig neu initialisiert.
Prozessoren
- Cores / Threads52 / 104
- Base Clock2,00 GHz
- L3 Cache105 MB
- TDP350 W
- SocketLGA 4677
GPU-Beschleuniger
- HBM2e pro GPU80 GB
- Total GPU Memory640 GB
- NVLink600 GB/s
- NVSwitchVollvernetzt
- FP16 Tensor2.496 TFLOPS
Arbeitsspeicher
- Module16× 64 GB
- Takt4800 MT/s
- TypRDIMM Dual Rank
- Slots belegt16 / 32
- Erweiterbar auf4 TB
NVMe-Storage
- Gesamt-Kapazität19,2 TB
- KlasseMixed Use
- Form Factor2,5″ SFF
- InterfacePCIe Gen4
- Bays gesamt8 × SFF
Networking
- Broadcom 575082× · 100 GbE
- ConnectX-68× · HDR VPI
- InfiniBand200 Gb/s
- ManagementiDRAC9 Enterprise
- Out-of-Band1× RJ45
Netzteil & Chassis
- Redundanz3+3 Hot-Swap
- Gesamt-Power16,8 kW
- Formfaktor6U Rack
- KühlungFront-to-Rear
- Gewicht~75 kg
Wofür dieser Server ausgelegt ist
Drei Use-Cases, für die die XE9680-Plattform konzipiert wurde — und für die wir bei HostSpezial den kompletten Stack inklusive Betrieb anbieten.
Open Source Stack
Proxmox VE 8, Ceph, Kubernetes und Open-Source-Orchestrierung direkt auf der XE9680-Hardware. Keine Lizenzkosten, volle Kontrolle, DSGVO-konform.
KI On-Premise
Llama 3 70B, Mixtral 8×22B oder DeepSeek-Coder — vollständig im eigenen Rechenzentrum. 640 GB HBM2e reichen für 405B-Modelle mit vLLM oder TensorRT-LLM.
DaaS-Cluster
Hunderte GPU-beschleunigte virtuelle Desktops auf einer Plattform. MIG-Partitionierung der A100 liefert 56 Instanzen pro Server — ideal für CAD, Simulation, Creative.
Diese Modelle laufen auf 8× A100 80GB
640 GB HBM2e GPU-Memory mit vollständigem NVSwitch-Fabric. Alle aktuellen Open-Source-LLMs lassen sich ohne Tensor-Parallelism-Tricks direkt laden — inklusive 405B-Modelle via FP8-Quantisierung.
Llama 3.1 · 70B & 405B
Mixtral 8×22B
DeepSeek-Coder V2
Qwen 2.5 · 72B
Stable Diffusion 3 · Flux
LEO-LM · DiscoLM_German
Was läuft auf 8× A100 80GB?
Konkrete Modelle und Workloads, die auf dieser Plattform realistisch produktiv laufen — inkl. grober Durchsatzangaben unter typischen Bedingungen.
LLM-Inferenz (vLLM / TRT-LLM)
- Llama 3.1 8B · FP16~20.000 tok/s
- Llama 3.1 70B · FP16~3.500 tok/s
- Llama 3.1 405B · FP8~600 tok/s
- Mixtral 8×22B · FP16~5.200 tok/s
- DeepSeek-Coder 33B~7.800 tok/s
Training & Fine-Tuning
- Llama 3 8B · LoRAStunden
- Llama 3 70B · QLoRA1–2 Tage
- Llama 3 70B · Full FT~1 Woche
- Stable Diffusion XL~40 img/s
- Embedding-Retrain (BGE)Minuten
DaaS & Virtualisierung
- vGPU MIG 1g.10gb56 Instanzen
- vGPU MIG 2g.20gb28 Instanzen
- vGPU MIG 3g.40gb16 Instanzen
- CAD/Creative-Pools200+ Nutzer
- Omniverse · Isaac Sim8× parallel
HPC & Simulation
- HPL (Linpack · FP64)~156 TFLOPS
- CUDA · cuBLAS2.496 TFLOPS FP16
- CFD (OpenFOAM-GPU)Multi-Node
- Genom-Analyse (Parabricks)Whole-Genome 30 min
- Monte-Carlo / BLASNative NVLink
Bildergalerie
Originalfotos der tatsächlich verfügbaren Systeme aus dem Refurbishing-Lager. Weitere Fotos auf Anfrage.
Angebot anfragen oder technische Beratung?
Wir planen, liefern und betreiben die XE9680 auf Wunsch vollständig managed — inklusive Rechenzentrum, KI-Plattform-Setup, Monitoring und 24/7-Support. Sprechen Sie uns direkt an.