چگونه برای اجرای مدل‌های زبانی بزرگ (LLM) کارت گرافیک انتخاب کنیم

اجرای یک مدل زبانی بزرگ (LLM) روی سخت‌افزار خودتان پیش از هر چیز به یک پرسش برمی‌گردد: آیا مدل در کارت گرافیک جا می‌شود؟ سرعت، توان مصرفی و نرم‌افزار هم مهم‌اند، اما حافظه است که تعیین می‌کند مدل اصلاً اجرا شود یا نه. این راهنما مواردی را که باید بررسی کنید، به همان ترتیبی که معمولاً اهمیت دارند، مرور می‌کند.

۱. حافظه‌ی کارت گرافیک تعیین می‌کند چه مدلی جا می‌شود

وزن‌های مدل در طول اجرا باید در حافظه‌ی کارت گرافیک (VRAM) قرار بگیرند. اگر جا نشوند، مدل باید میان چند کارت گرافیک تقسیم شود یا بخشی از آن به حافظه‌ی کندتر سیستم منتقل شود، و هر دو راه از سرعت می‌کاهند.

حافظه‌ای را که وزن‌ها نیاز دارند می‌توانید با یک حساب ساده تخمین بزنید:

حافظه‌ی لازم برای وزن‌ها ≈ تعداد پارامترها × تعداد بایت هر پارامتر

تعداد بایت هر پارامتر به دقتی بستگی دارد که مدل با آن ذخیره شده است:

دقت پایین‌تر (کوانتیزه‌سازی) مدل را کوچک‌تر می‌کند، که معمولاً به قیمت کمی افت در کیفیت خروجی است.

۲. بالاتر از وزن‌ها جای خالی بگذارید

وزن‌ها تنها بخشی از ماجرا هستند. مدل هنگام تولید متن به حافظه برای زمینه‌ی کار خود — گفت‌وگو یا سندی که روی آن کار می‌کند — و برای نرم‌افزاری که آن را اجرا می‌کند نیز نیاز دارد. این حافظه‌ی اضافه با طولانی‌تر شدن زمینه و با افزایش تعداد کاربرانی که هم‌زمان پاسخ می‌گیرند بیشتر می‌شود؛ پس کارتی انتخاب کنید که بالاتر از تخمین وزن‌ها جای خالی داشته باشد.

۳. پهنای باند حافظه سرعت را شکل می‌دهد

وقتی مدل متن را توکن به توکن تولید می‌کند، برای هر توکن تازه وزن‌ها باید از حافظه خوانده شوند. به همین دلیل پهنای باند حافظه — سرعتی که کارت حافظه‌ی خود را می‌خواند — یکی از محدودیت‌های اصلی در سرعت نمایش پاسخ‌هاست. وقتی دو کارت با حافظه‌ی کافی را مقایسه می‌کنید، در قدم بعد پهنای باندشان را مقایسه کنید.

۴. قالب‌های عددی پشتیبانی‌شده را بررسی کنید

نسل‌های مختلف کارت گرافیک قالب‌های عددی متفاوتی را به‌صورت بومی اجرا می‌کنند، مانند قالب‌های ۱۶ بیتی یا ۸ بیتی. مدلی که در قالبی باشد که کارت به‌خوبی پشتیبانی نمی‌کند ممکن است کند اجرا شود یا ابتدا نیاز به تبدیل داشته باشد. پیش از خرید، قالب‌هایی را که مدل شما استفاده می‌کند با کارت مطابقت دهید.

۵. پشتیبانی نرم‌افزاری

بیشتر ابزارهای LLM ابتدا برای CUDA شرکت NVIDIA ساخته می‌شوند و پشتیبانی از ROCm شرکت AMD نیز رو به گسترش است. کارت‌های قدیمی‌تر ممکن است از پشتیبانی درایورها و کتابخانه‌های جدیدتر خارج شوند؛ پس بررسی کنید ابزارهایی که قصد استفاده از آن‌ها را دارید هنوز از کارت پشتیبانی می‌کنند.

۶. توان مصرفی، خنک‌کاری و ابعاد

کارت‌های مخصوص دیتاسنتر برای سرورها ساخته شده‌اند. برخی از آن‌ها خنک‌کاری غیرفعال دارند و به فن‌های سرور برای عبور هوا از میانشان متکی‌اند، و بسیاری بیش از توانی که یک کامپیوتر رومیزی معمولی فراهم می‌کند مصرف دارند. پیش از نصب چنین کارتی در یک ورک‌استیشن، اتصال‌های برق، خنک‌کاری و جا شدن آن در کیس را بررسی کنید.

از کجا شروع کنیم

در فهرست کارت‌های گرافیک حافظه و مشخصات کامل هر کارت را ببینید و با مقایسه‌ی کارت‌ها کارت‌ها را کنار هم قرار دهید. هر مشخصه در این سایت نشان می‌دهد از کجا آمده و چه زمانی بررسی شده است.