پرسش‌های متداول و پشتیبانی

به مدلی بستگی دارد که می‌خواهید اجرا کنید. اول حافظه: وزن‌های مدل باید در حافظه‌ی کارت گرافیک جا شوند و برای کانتکست و نرم‌افزار اجراکننده هم جای اضافه بماند. با دقت ۱۶ بیتی، یک مدل 7B حدود ۱۴ گیگابایت و یک مدل 13B حدود ۲۶ گیگابایت برای وزن‌هایش لازم دارد؛ کوانتیزه کردن ۴ بیتی این مقدار را به حدود یک‌چهارم می‌رساند. میان کارت‌هایی که حافظه‌ی کافی دارند، سپس پهنای باند حافظه را مقایسه کنید.

به کارت بستگی دارد. کارت‌های دیتاسنتر برای سرور ساخته شده‌اند: برخی خنک‌کاری غیرفعال دارند و به فن‌های سرور متکی‌اند، و بسیاری از آن‌ها بیش از توان یک کامپیوتر رومیزی معمولی برق مصرف می‌کنند. پیش از نصب در یک ورک‌استیشن، کانکتورهای برق، خنک‌کاری و جا شدن کارت در کیس را بررسی کنید.

تیم ما پیکربندی‌های سفارشی، از یک کارت گرافیک تا کلاسترهای بزرگ، و مشاوره‌ی فنی درباره‌ی کاربرد، طراحی زیرساخت و نیازهای فنی شما ارائه می‌دهد. نیاز خود را در یک درخواست فنی برای ما بفرستید.

هر مشخصه در سایت منبع و تاریخ بررسی خود را نشان می‌دهد و مقداری که منبع ندارد «نامعلوم» علامت می‌خورد. نتایج بنچمارک فقط نتایج اندازه‌گیری‌شده‌اند، هر کدام با شرایط آزمون، منبع و تاریخ. ما هرگز تخمین را به‌جای نتیجه نشان نمی‌دهیم.

بیشتر ابزارهای مدل‌های زبانی بزرگ ابتدا برای CUDA شرکت NVIDIA ساخته می‌شوند و پشتیبانی از ROCm شرکت AMD رو به افزایش است. کارت‌های قدیمی‌تر ممکن است در نسخه‌های جدیدتر درایورها و کتابخانه‌ها پشتیبانی نشوند، پس بررسی کنید ابزارهایی که می‌خواهید استفاده کنید هنوز از کارت پشتیبانی می‌کنند.

بله. برای قیمت، موجودی و پیش‌فاکتور سفارشی کارت گرافیک، سرور و راهکارهای کامل، از طریق صفحه تماس درخواست فروش بفرستید.