Speculative Decoding چیست؟ راهنمای عملی افزایش سرعت LLM روی سرور GPU

در این مقاله یک تکنیک بهینه‌سازی مهم به نام Speculative Decoding را بررسی می‌کنیم؛ روشی که بدون تغییر مدل اصلی، می‌تواند سرعت Inference را به‌طور محسوسی افزایش دهد. سپس یاد می‌گیرید چگونه آن را روی سرور GPU خود اجرا کنید و منابع مورد نیاز را درست تخمین بزنید.

Speculative Decoding دقیقاً چیست؟

در حالت معمول، یک LLM برای تولید هر Token باید یک Forward Pass کامل انجام دهد. چون هر Token به Token قبلی وابسته است، این فرآیند قابل موازی‌سازی نیست و Latency بالا می‌رود.

Speculative Decoding یک ایده ساده اما مؤثر دارد: یک مدل کوچک و سریع چند Token آینده را حدس می‌زند، سپس مدل بزرگ آن حدس‌ها را در یک مرحله موازی بررسی و تأیید می‌کند. اگر حدس‌ها درست باشند، چند Token با هزینه محاسباتی یک Token تولید می‌شوند[citation:6].

مهم‌ترین ویژگی این تکنیک این است که خروجی نهایی دقیقاً با توزیع مدل اصلی مطابقت دارد — یعنی کیفیت پایین نمی‌آید. این یک تضمین ریاضی است، نه یک تقریب[citation:6].

روش معمولی (Autoregressive):
Prompt → Target Model → Token 1 → Target Model → Token 2 → Target Model → Token 3

Speculative Decoding:
Prompt → Draft Model → [Token 1, 2, 3, 4] → Target Model → Verification → Accepted Tokens

Draft Model و Target Model: دو بازیگر اصلی

Draft Model چیست؟

Draft Model یک نسخه کوچک‌تر از مدل زبانی است که وظیفه‌اش تولید سریع چند Token پیشنهادی است. مثلاً اگر Target Model شما Qwen 32B باشد، می‌توانید از Qwen 1.5B به عنوان Draft استفاده کنید.

Draft Model قرار نیست پاسخ نهایی را بسازد. فقط باید رفتار Target را حدس بزند و این کار را سریع انجام دهد[citation:2].

Target Model چیست؟

Target Model همان مدل اصلی و بزرگ است که کیفیت نهایی خروجی به آن وابسته است. Target Model همچنان مرجع اصلی تأیید است و Speculative Decoding آن را حذف نمی‌کند؛ فقط تعداد دفعات اجرای آن را کاهش می‌دهد[citation:6].

Acceptance Rate: قلب سرعت Speculative Decoding

Acceptance Rate نشان می‌دهد چند درصد از Tokenهای پیشنهادی Draft Model توسط Target Model پذیرفته می‌شوند. هرچه این نرخ بالاتر باشد، سرعت بیشتر می‌شود.

فرمول تجربی سرعت تقریبی این است:

Speedup ≈ 1 / (1 - α)

که در آن α نرخ پذیرش است. مثلاً اگر α = 0.8 باشد، سرعت تقریباً ۵ برابر می‌شود. اگر α = 0.5 باشد، سرعت ۲ برابر خواهد بود[citation:6].

البته این یک تخمین ساده است. در عمل، هزینه اجرای Draft Model و سرباره‌های سیستم هم اثر می‌گذارند. Draft Model باید آنقدر سریع باشد که هزینه حدس زدن، از صرفه‌جویی تأیید بیشتر نباشد.

جدول مقایسه: Speculative Decoding با سایر روش‌های بهینه‌سازی

محاسبه VRAM مورد نیاز برای Speculative Decoding

یکی از اشتباهات رایج این است که تصور شود فقط باید VRAM مدل اصلی و Draft را جمع کرد. اما واقعیت این است که KV Cache و Runtime Overhead هم بخش قابل توجهی از حافظه را اشغال می‌کنند.

VRAM Total = Target Model Weights
           + Draft Model Weights
           + KV Cache (Context Length × Batch Size)
           + Runtime Overhead (CUDA, cuBLAS, etc.)
           + Temporary Buffers

به عنوان مثال، اگر Target Model حدود 40GB VRAM و Draft Model حدود 4GB مصرف کند:

بر اساس داده‌های عملی، Draft Model نباید بیش از 15 درصد از کل VRAM موجود را اشغال کند[citation:10]. اگر بیش از این باشد، احتمال Out of Memory یا کاهش سرعت به دلیل Spill شدن به CPU وجود دارد.

راه‌اندازی Speculative Decoding در vLLM

vLLM یکی از محبوب‌ترین Runtimeهای Inference است که از Speculative Decoding پشتیبانی می‌کند. تنظیمات از طریق –speculative-config انجام می‌شود[citation:2].

حالت آفلاین (Python API)

from vllm import LLM, SamplingParams

llm = LLM(
    model="Qwen/Qwen3-8B",
    speculative_config={
        "method": "draft_model",
        "model": "Qwen/Qwen2.5-0.5B-Instruct",
        "num_speculative_tokens": 5,
    },
    gpu_memory_utilization=0.85,
)

outputs = llm.generate(prompts, sampling_params)

حالت آنلاین (Server)

vllm serve Qwen/Qwen3-8B \
    --speculative-config '{"method": "draft_model", "model": "Qwen/Qwen2.5-0.5B-Instruct", "num_speculative_tokens": 5}' \
    --gpu-memory-utilization 0.85

پارامتر num_speculative_tokens تعداد Tokenهایی است که Draft Model در هر مرحله پیشنهاد می‌دهد. مقادیر بین 3 تا 8 معمولاً بهترین تعادل بین سرعت و نرخ پذیرش را می‌دهند[citation:3].

انتخاب Draft Model مناسب: چه معیارهایی مهم است؟

انتخاب Draft Model صرفاً به «کوچک بودن» خلاصه نمی‌شود. یک Draft Model خوب باید:

🔹 سریع باشد — اگر Draft Model کند باشد، مزیت کل روش از بین می‌رود

🔹 رفتار مشابه Target داشته باشد — هرچه توزیع احتمالاتی Draft به Target نزدیک‌تر باشد، Acceptance Rate بالاتر می‌رود

🔹 Tokenizer سازگار داشته باشد — مگر اینکه از قابلیت heterogeneous vocab استفاده کنید

🔹 کمترین مصرف VRAM را داشته باشد — حداکثر 15 درصد کل VRAM[citation:10]

آیا مدل خیلی کوچک همیشه بهتر است؟

خیر. یک Draft Model خیلی کوچک (مثل 0.5B) سریع است اما ممکن است Acceptance Rate پایینی داشته باشد. یک Draft Model بزرگ‌تر (مثل 3B) پیشنهادهای دقیق‌تری می‌دهد اما کندتر اجرا می‌شود. بهترین گزینه معمولاً Draft از همان خانواده Target با اندازه 1/20 تا 1/10 است[citation:2][citation:9].

مشکلات رایج و راه‌حل‌ها

آیا Speculative Decoding برای سرور شما ارزش دارد؟

این تکنیک در شرایط زیر بیشترین سود را دارد:

🔹 Target Model بزرگ (بالای 13B پارامتر) باشد

🔹 Latency برای شما اهمیت داشته باشد

🔹 پاسخ‌های تولیدی طولانی باشند (نه فقط چند Token)

🔹 GPU شما VRAM اضافی برای Draft Model داشته باشد

🔹 Draft Model سازگاری در دسترس باشد

در مقابل، اگر مدل شما کوچک است (مثل 7B)، پاسخ‌ها کوتاه هستند یا VRAM محدودی دارید، ممکن است سود چندانی از این تکنیک نبرید.