اجرای vLLM روی چند GPU؛ آموزش Tensor Parallel و رفع خطاهای NCCL بین سرورها
فرض کنید یک مدل زبانی بزرگ را روی سرور GPU اجرا میکنید، اما حافظه یک کارت گرافیک برای بارگذاری آن کافی نیست.…
مجموعه آموزشها و راهنماهای مرتبط با این موضوع را در این صفحه دنبال کنید.
فرض کنید یک مدل زبانی بزرگ را روی سرور GPU اجرا میکنید، اما حافظه یک کارت گرافیک برای بارگذاری آن کافی نیست.…
تا چند سال پیش، تصور اینکه یک ماشین بتواند تصویر ببیند، متن داخل آن را بخواند و دربارهاش استدلال کند، شبیه داستانهای…
اگر روی یک سرور GPU مدل زبانی بزرگ سرو میکنید، احتمالاً با این واقعیت روبهرو شدهاید که با وجود VRAM کافی، تعداد…
اگر قصد راهاندازی سرور هوش مصنوعی شخصی یا سرویس API مبتنی بر LLM دارید، احتمالاً با دو نام آشنا روبرو شدهاید: Ollama…