الأداء الفعلي
LLM اختبارات الأداء
قارن الأداء الفعلي للنماذج اللغوية الكبيرة عبر وحدات معالجة الرسومات المتاحة وعائلات النماذج الشائعة.
| NVIDIA GeForce RTX 3090 24GB | غير معروف | Llama 2 7B (Llama 2) | 4-bit (Q4_0) | 158.2 | — | — | |
| NVIDIA Tesla P40 24GB | 24 GB | Llama 2 7B (Llama 2) | 4-bit (Q4_0) | 54.7 | — | — | |
| NVIDIA Tesla V100 PCIe 32GB | 32 GB | لم يُقس بعد | — | — | — | — | |
| NVIDIA Tesla V100 SXM2 32GB | 32 GB | لم يُقس بعد | — | — | — | — | |
| NVIDIA Tesla V100 16GB | 16 GB | لم يُقس بعد | — | — | — | — |
منهجية الاختبارات المعيارية
عدد الرموز في الثانية هو معدل التوليد المقيس على عتاد حقيقي. تذكر كل نتيجة إعداد الاختبار ومصدرها وتاريخ القياس؛ افتح الصف لرؤيتها. وتختلف النتائج باختلاف إصدار النموذج وطريقة التكميم وطول السياق وإعدادات النظام.
هل تحتاج إلى مساعدة في اختيار وحدة معالجة الرسومات المناسبة؟
احصل على مشورة الخبراء بشأن وحدة GPU المناسبة لأحمال عمل LLM لديك وميزانيتك.