Praxisleistung
LLM Benchmarks
Vergleichen Sie die reale LLM-Leistung verfügbarer GPUs und beliebter Modellfamilien.
| NVIDIA GeForce RTX 3090 24GB | Unbekannt | Llama 2 7B (Llama 2) | 4-bit (Q4_0) | 158,2 | — | — | |
| NVIDIA Tesla P40 24GB | 24 GB | Llama 2 7B (Llama 2) | 4-bit (Q4_0) | 54,7 | — | — | |
| NVIDIA Tesla V100 PCIe 32GB | 32 GB | Noch nicht gemessen | — | — | — | — | |
| NVIDIA Tesla V100 SXM2 32GB | 32 GB | Noch nicht gemessen | — | — | — | — | |
| NVIDIA Tesla V100 16GB | 16 GB | Noch nicht gemessen | — | — | — | — |
Benchmark-Methodik
Tokens pro Sekunde ist der auf realer Hardware gemessene Generierungsdurchsatz. Jedes Ergebnis nennt Testaufbau, Quelle und Messdatum; klappen Sie eine Zeile auf, um sie zu sehen. Die Ergebnisse hängen von Modellversion, Quantisierungsmethode, Kontextlänge und Systemkonfiguration ab.
Brauchen Sie Hilfe bei der Wahl der richtigen GPU?
Erhalten Sie fachkundige Beratung zur passenden GPU für Ihren LLM-Workload und Ihr Budget.