FAQ & Support

Das hängt vom Modell ab, das Sie betreiben möchten. Zuerst zählt der Speicher: Die Gewichte des Modells müssen in den GPU-Speicher passen, mit Reserve für den Kontext und die ausführende Software. Bei 16-Bit-Genauigkeit braucht ein 7B-Modell etwa 14 GB für seine Gewichte und ein 13B-Modell etwa 26 GB; 4-Bit-Quantisierung senkt das auf etwa ein Viertel. Vergleichen Sie unter den Karten mit genug Speicher als Nächstes die Speicherbandbreite.

Das hängt von der Karte ab. Rechenzentrumskarten sind für Server gebaut: Manche sind passiv gekühlt und auf die Lüfter des Servers angewiesen, und viele brauchen mehr Strom, als ein typischer Desktop-PC liefert. Prüfen Sie vor dem Einbau in eine Workstation die Stromanschlüsse, die Kühlung und ob die Karte ins Gehäuse passt.

Unser Team bietet individuelle Konfigurationen, von einzelnen GPUs bis zu großen Clustern, und technische Beratung zu Ihrem Anwendungsfall, Ihrem Infrastrukturdesign und Ihren technischen Anforderungen. Senden Sie uns eine technische Anfrage mit Ihren Anforderungen.

Jede Spezifikation auf der Website zeigt ihre Quelle und das Prüfdatum, und ein Wert ohne Quelle ist als Unbekannt markiert. Benchmark-Ergebnisse sind ausschließlich gemessene Ergebnisse, jeweils mit Testaufbau, Quelle und Datum. Eine Schätzung zeigen wir nie als Ergebnis.

Die meisten LLM-Werkzeuge werden zuerst für NVIDIAs CUDA entwickelt, mit wachsender Unterstützung für AMDs ROCm. Ältere Karten können in neueren Treibern und Bibliotheken aus der Unterstützung fallen; prüfen Sie daher, ob die geplanten Werkzeuge die Karte noch unterstützen.

Ja. Senden Sie über die Kontaktseite eine Vertriebsanfrage, um Preise, Verfügbarkeit und individuelle Angebote für GPUs, Server und Komplettlösungen zu erhalten.