عملکرد واقعی
LLM بنچمارک‌ها
کارایی واقعی مدل‌های زبانی بزرگ را روی کارت‌های گرافیک موجود و خانواده‌های مدل پرطرفدار مقایسه کنید.
| NVIDIA GeForce RTX 3090 24GB | نامشخص | Llama 2 7B (Llama 2) | 4-bit (Q4_0) | ۱۵۸٫۲ | — | — | |
| NVIDIA Tesla P40 24GB | 24 GB | Llama 2 7B (Llama 2) | 4-bit (Q4_0) | ۵۴٫۷ | — | — | |
| NVIDIA Tesla V100 PCIe 32GB | 32 GB | هنوز اندازه‌گیری نشده | — | — | — | — | |
| NVIDIA Tesla V100 SXM2 32GB | 32 GB | هنوز اندازه‌گیری نشده | — | — | — | — | |
| NVIDIA Tesla V100 16GB | 16 GB | هنوز اندازه‌گیری نشده | — | — | — | — |
روش‌شناسی بنچمارک
توکن در ثانیه، سرعت تولید است که روی سخت‌افزار واقعی اندازه‌گیری می‌شود. هر نتیجه شرایط آزمون، منبع و تاریخ اندازه‌گیری خود را دارد؛ برای دیدن آن‌ها ردیف را باز کنید. نتایج با نسخه‌ی مدل، روش کوانتیزاسیون، طول کانتکست و پیکربندی سیستم تغییر می‌کنند.
برای انتخاب کارت گرافیک مناسب کمک می‌خواهید؟
درباره کارت گرافیک مناسب برای بار کاری LLM و بودجه خود از کارشناسان مشاوره بگیرید.