مجله ایرانیکاسرورآموزش سرور، هاست، وردپرس و شبکه
آموزشی

اگر API هوش مصنوعی قطع شد چه کنیم؟ آموزش LLM Failover

تصور کنید یک چت‌بات پشتیبانی یا AI Agent روی سرور راه‌اندازی کرده‌اید و همه درخواست‌های کاربران به یک مدل ابری ارسال می‌شوند. ناگهان API اصلی با خطای 503 یا Timeout مواجه می‌شود؛ پاسخ‌ها متوقف…

اگر API هوش مصنوعی قطع شد چه کنیم؟ آموزش LLM Failover
خلاصه سریع این آموزش

تصور کنید یک چت‌بات پشتیبانی یا AI Agent روی سرور راه‌اندازی کرده‌اید و همه درخواست‌های کاربران به یک مدل ابری ارسال می‌شوند. ناگهان API اصلی با خطای 503 یا Timeout…

۱۶ دقیقه مطالعه ۰ دیدگاه ۲۷ آبان ۱۴۰۵ آخرین به‌روزرسانی

تصور کنید یک چت‌بات پشتیبانی یا AI Agent روی سرور راه‌اندازی کرده‌اید و همه درخواست‌های کاربران به یک مدل ابری ارسال می‌شوند. ناگهان API اصلی با خطای 503 یا Timeout مواجه می‌شود؛ پاسخ‌ها متوقف می‌شوند، صف درخواست‌ها بزرگ می‌شود و کاربران تصور می‌کنند کل سامانه شما از کار افتاده است. درحالی‌که وب‌سرور و دیتابیس ممکن است کاملاً سالم باشند، وابستگی به یک ارائه‌دهنده مدل، نقطه شکست واحدی ایجاد کرده است.

LLM Failover روشی برای تغییر مسیر درخواست‌های هوش مصنوعی از مدل یا Provider اصلی به گزینه جایگزین هنگام اختلال است. این جایگزین ممکن است Provider ابری دوم، استقرار مستقل همان مدل یا یک مدل محلی با قابلیت‌های محدودتر باشد. اما Failover فقط عوض‌کردن آدرس API نیست؛ باید سازگاری مدل، امنیت داده، حداکثر هزینه و زمان، وضعیت ابزارهای Agent و کیفیت پاسخ بررسی شود.

در این آموزش، معماری Disaster Recovery سامانه هوش مصنوعی را بررسی می‌کنیم و با Python یک نمونه عملی برای Provider Failover، Model Capability Mapping، Circuit Breaker و Degraded Mode می‌سازیم. در ادامه، راه‌اندازی مسیر پشتیبان با LiteLLM، مدل محلی با Ollama، سیاست صف درخواست‌ها و سناریوهای آزمایش قطعی را توضیح می‌دهیم.

فهرست مطالب

LLM Failover چیست و چه تفاوتی با Disaster Recovery دارد؟

Failover یعنی در صورت ازکارافتادن مسیر اصلی، درخواست‌های واجد شرایط به مسیر سالم دیگری منتقل شوند. Disaster Recovery مفهوم گسترده‌تری دارد و علاوه بر مسیر مدل، بازیابی وضعیت مکالمه، صف Jobها، تنظیمات، ذخیره‌سازی و ابزارهای خارجی را نیز دربرمی‌گیرد.

مفهوم معنی نمونه در سامانه AI
LLM Failover تغییر مسیر پردازش انتقال از API اصلی به Provider دوم
High Availability کاهش احتمال توقف سرویس چند Worker و Gateway مستقل
Disaster Recovery بازیابی پس از بحران بازسازی صف، وضعیت کار و نشست‌ها
Degraded Mode ادامه خدمت با امکانات محدود پاسخ FAQ بدون Tool Calling
Failback بازگشت کنترل‌شده به مسیر اصلی انتقال تدریجی ترافیک پس از بازیابی

چرا API مدل اصلی از دسترس خارج می‌شود؟

دلایل رایج عبارت‌اند از خطاهای موقت 502، 503 و 504، Timeout شبکه، اشباع ظرفیت مدل، Rate Limit با کد 429، اختلال DNS، منقضی‌شدن اعتبارنامه، پایان بودجه، حذف نسخه مدل و خرابی GPU یا Runtime مدل محلی.

همه خطاها نباید به یک شکل مدیریت شوند. مثلاً Retry برای 503 یا Timeout موقت ممکن است منطقی باشد، اما 401 و 403 اغلب به مشکل مجوز یا اعتبارنامه مربوط‌اند. همچنین رد درخواست به‌دلیل سیاست ایمنی نباید از طریق تغییر Provider دور زده شود. در 429، ابتدا باید مشخص شود محدودیت موقت نرخ رخ داده یا سهمیه و بودجه تمام شده است.

معماری پیشنهادی LLM Failover روی سرور

بهترین نقطه برای کنترل انتقال، یک Model Router مستقل است که همه درخواست‌های AI از آن عبور می‌کنند. Router قبل از انتخاب مدل، قابلیت‌های ضروری، محل مجاز پردازش داده، بودجه و Deadline درخواست را بررسی می‌کند. سپس وضعیت سلامت Providerها و Circuit Breakerها را در نظر می‌گیرد.

User / AI Agent
       |
       v
API Gateway + Authentication
       |
       v
Request Policy
       |
       +-- Required Capabilities
       +-- Token / Cost Budget
       +-- Allowed Region
       +-- Deadline
       |
       v
Model Router + Circuit Breakers
       |
       +-- Primary Provider
       |
       +-- Backup Provider
       |
       +-- Local Model
       |
       +-- Degraded Mode
       |
       v
Output Validation + Audit
       |
       v
User Response

Background:
Queue / Worker / Metrics / Trace

در این طراحی، سالم‌بودن Provider جایگزین کافی نیست؛ مدل جایگزین باید برای همان نوع وظیفه نیز مجاز و قابل اعتماد باشد. همچنین Gateway، Queue و پایگاه داده وضعیت نباید خودشان نقطه شکست واحد باشند.

Provider Failover چگونه انجام می‌شود؟

برای هر درخواست ابتدا یک Deadline کلی تعیین کنید. Router Provider اصلی را انتخاب می‌کند، در صورت خطای قابل بازیابی و باقی‌ماندن زمان و بودجه، به Provider سازگار بعدی می‌رود و خروجی را اعتبارسنجی می‌کند. تعداد تلاش‌ها محدود است و خطاهای دائمی باعث توقف یا ارجاع به مسیر پشتیبانی می‌شوند.

Retry با Failover متفاوت است: Retry همان عملیات را دوباره امتحان می‌کند؛ Failover مسیر اجرا را تغییر می‌دهد. اگر SDK، Gateway و Worker هرکدام Retry مستقل داشته باشند، تعداد واقعی تماس‌ها ممکن است چندین برابر شود. از Backoff و Jitter استفاده کنید و مسئولیت محدودیت تلاش‌ها را در یک لایه مشخص نگه دارید.

منبع: AWS Builders’ Library: Timeouts, retries, and backoff with jitter.

Model Capability Mapping؛ چرا هر مدل جایگزینی مناسب نیست؟

مدل‌ها از نظر Tool Calling، JSON Schema، پشتیبانی تصویر، طول Context، Streaming، عملکرد فارسی، محل پردازش و هزینه تفاوت دارند. درخواستی که به ابزار نیاز دارد نباید به مدل فاقد Tool Calling برود؛ همین‌طور محتوای محرمانه نباید برای دورزدن قطعی به منطقه پردازش غیرمجاز فرستاده شود.

قابلیت سیاست انتخاب
Tool Calling الزام برای Agent ابزارمحور
Structured Output بررسی سازگاری JSON Schema و تست خروجی
Context Window ظرفیت کافی برای ورودی و خروجی رزروشده
Vision / Audio فقط Provider پشتیبان آن رسانه
Data Residency حذف Provider خارج از مناطق مجاز
Cost / Quota رد مسیر گران‌تر از بودجه مصوب
Language Quality ارزیابی مستقل روی داده و زبان پروژه

یک Capability Map باید برای نسخه دقیق مدل و Endpoint نگهداری و با تغییر نسخه به‌روزرسانی شود؛ صرف ادعای سازگاری API، کیفیت و رفتار یکسان را تضمین نمی‌کند.

Local Fallback با Ollama؛ وقتی اینترنت یا Providerهای ابری قطع‌اند

مدل محلی می‌تواند در شرایط بحران بعضی وظایف سبک مانند پاسخ به FAQ تأییدشده، دسته‌بندی درخواست یا خلاصه‌سازی کوتاه را انجام دهد. اما مدل کوچک محلی نباید بدون ارزیابی جایگزین مدل قوی اصلی در تصمیم‌های حساس شود.

پس از نصب Ollama و دریافت مدل متناسب با منابع سرور، API محلی به‌صورت معمول از مسیر زیر قابل استفاده است:

curl http://127.0.0.1:11434/api/chat \
  -H 'Content-Type: application/json' \
  -d '{
    "model": "YOUR_INSTALLED_MODEL",
    "stream": false,
    "messages": [
      {
        "role": "user",
        "content": "Explain an API gateway."
      }
    ]
  }'

نام مدل را باید با مدل از قبل نصب‌شده جایگزین کرد. Endpoint محلی را بدون کنترل شبکه در اینترنت عمومی منتشر نکنید. برای Disaster Recovery واقعی، مدل باید از قبل دانلود و آماده اجرا باشد. اگر Ollama روی همان ماشین Gateway قرار داشته باشد، خرابی کل ماشین هر دو مسیر را قطع می‌کند.

منبع: Ollama Chat API.

Circuit Breaker؛ جلوگیری از فشار بیهوده به Provider خراب

وقتی یک Provider چند بار خطای موقت می‌دهد، Circuit Breaker برای مدتی مسیر آن را می‌بندد. الگوی استاندارد سه وضعیت دارد: Closed برای عبور عادی، Open برای قطع موقت و Half-Open برای آزمون بازیابی با تعداد محدود درخواست.

در پیاده‌سازی چندسروری، شمارنده‌ها باید به‌شکل هماهنگ نگهداری شوند و نباید همه Workerها هم‌زمان درخواست آزمایشی ارسال کنند. از طرف دیگر، خطای ورودی نامعتبر یا رد ایمنی را نباید به‌عنوان شکست سلامت Provider شمرد.

منبع: AWS Circuit Breaker Pattern.

آموزش عملی LLM Failover با Python

برای یادگیری منطق انتخاب Provider، یک نمونه مستقل با Python می‌سازیم. این مثال به API واقعی متصل نیست؛ بنابراین بدون هزینه می‌توان شکست Provider، سازگاری قابلیت‌ها و انتقال به مدل محلی را آزمایش کرد. برای اجرا Python 3.10 یا جدیدتر لازم است.

mkdir -p ~/llm-failover-lab
cd ~/llm-failover-lab
python3 --version

فایل failover_demo.py را ایجاد کنید:

import time
from dataclasses import dataclass, field


class TemporaryProviderError(Exception):
    pass


class PermanentProviderError(Exception):
    pass


@dataclass
class Request:
    prompt: str
    required: set[str] = field(
        default_factory=lambda: {"text"}
    )
    allowed_regions: set[str] = field(
        default_factory=lambda: {
            "region-a",
            "on-prem",
        }
    )
    max_context_tokens: int = 2000


@dataclass
class CircuitBreaker:
    threshold: int = 2
    cooldown_seconds: float = 30.0

    failures: int = 0
    opened_at: float | None = None

    def available(self):
        if self.opened_at is None:
            return True

        elapsed = (
            time.monotonic() - self.opened_at
        )

        return elapsed >= self.cooldown_seconds

    def success(self):
        self.failures = 0
        self.opened_at = None

    def failure(self):
        self.failures += 1

        if self.failures >= self.threshold:
            self.opened_at = time.monotonic()


@dataclass
class Provider:
    name: str
    capabilities: set[str]
    region: str
    context_limit: int
    handler: object

    breaker: CircuitBreaker = field(
        default_factory=CircuitBreaker
    )


def is_compatible(provider, request):
    return (
        request.required <= provider.capabilities
        and provider.region in request.allowed_regions
        and request.max_context_tokens
        <= provider.context_limit ) def primary_handler(prompt): raise TemporaryProviderError( "Primary service is unavailable" ) def backup_handler(prompt): return "Backup answer: " + prompt def local_handler(prompt): return "Local answer: " + prompt PROVIDERS = [ Provider( name="primary", capabilities={ "text", "tools", "json_schema", }, region="region-a", context_limit=128000, handler=primary_handler, ), Provider( name="backup", capabilities={ "text", "tools", "json_schema", }, region="region-a", context_limit=32000, handler=backup_handler, ), Provider( name="local", capabilities={"text"}, region="on-prem", context_limit=8192, handler=local_handler, ), ] def route_request( request, providers, deadline_seconds=3, ): deadline = ( time.monotonic() + deadline_seconds ) errors = [] for provider in providers: if time.monotonic() >= deadline:
            break

        if not is_compatible(provider, request):
            continue

        if not provider.breaker.available():
            continue

        try:
            answer = provider.handler(
                request.prompt
            )

            provider.breaker.success()

            return {
                "status": "ok",
                "provider": provider.name,
                "answer": answer,
            }

        except TemporaryProviderError as error:
            provider.breaker.failure()

            errors.append(
                f"{provider.name}: "
                f"{type(error).__name__}"
            )

        except PermanentProviderError:
            return {
                "status": "failed",
                "reason": "permanent_error",
            }

    return {
        "status": "degraded",
        "reason": "no_compatible_provider",
        "attempts": errors,
    }


if __name__ == "__main__":
    simple_request = Request(
        prompt="Explain server monitoring.",
        required={"text"},
    )

    result = route_request(
        simple_request,
        PROVIDERS,
    )

    print(result)

    tools_request = Request(
        prompt="Check an order using a tool.",
        required={"text", "tools"},
    )

    result = route_request(
        tools_request,
        PROVIDERS,
    )

    print(result)

در این مثال، Provider اصلی عمداً خطای موقت تولید می‌کند و Router به گزینه سازگار بعدی می‌رود.

برای درخواستی که نیازمند Tool Calling است، مدل محلی به دلیل نداشتن قابلیت tools از فهرست کاندیدهای مجاز کنار گذاشته می‌شود.

محدودیت نمونه: Circuit Breaker بالا یک نسخه تک‌پردازشی ساده‌شده است و وضعیت Half-Open و کنترل هم‌زمانی کامل ندارد. همچنین Deadline فقط بین تلاش‌ها بررسی می‌شود و اجرای یک درخواست شبکه‌ای مسدودشده را قطع نمی‌کند. در Production باید Timeout واقعی در Client، وضعیت سلامت مشترک بین Workerها و سیاست Half-Open کنترل‌شده اضافه شود.

اجرای نمونه Python

python3 failover_demo.py

در هر دو درخواست، انتظار داریم Provider اصلی شکست بخورد و Provider پشتیبان پاسخ بدهد.

اگر Provider پشتیبان را نیز عمداً دچار خطای موقت کنید، درخواست ساده می‌تواند به مدل محلی منتقل شود؛ اما درخواست ابزارمحور، به دلیل ناسازگاری قابلیت مدل محلی، باید به‌شکل کنترل‌شده متوقف شود.

راه‌اندازی LLM Failover با LiteLLM

اگر به‌جای ساخت Router اختصاصی بخواهید از یک ابزار آماده استفاده کنید، LiteLLM قابلیت Routing و Fallback را ارائه می‌دهد.

Router می‌تواند چند Deployment را در گروه‌های مختلف قرار دهد و هنگام شکست گروه اصلی، درخواست را به گروه جایگزین ارسال کند.

ابتدا کتابخانه را نصب کنید:

python3 -m pip install litellm

نمونه ساده زیر از دو Deployment سازگار با API چت استفاده می‌کند:

import os

from litellm import Router


router = Router(
    model_list=[
        {
            "model_name": "primary-group",
            "litellm_params": {
                "model": "openai/YOUR_PRIMARY_MODEL",
                "api_key": os.environ[
                    "PRIMARY_API_KEY"
                ],
            },
        },
        {
            "model_name": "backup-group",
            "litellm_params": {
                "model": "openai/YOUR_BACKUP_MODEL",
                "api_key": os.environ[
                    "BACKUP_API_KEY"
                ],
                "api_base": os.environ[
                    "BACKUP_API_BASE"
                ],
            },
        },
    ],
    fallbacks=[
        {
            "primary-group": ["backup-group"]
        }
    ],
    num_retries=1,
    timeout=10,
)


response = router.completion(
    model="primary-group",
    messages=[
        {
            "role": "user",
            "content": "Explain API failover.",
        }
    ],
)

print(
    response.choices[0].message.content
)

در این نمونه، مدل‌ها و Endpointها باید با مقادیر واقعی و معتبر جایگزین شوند. استفاده از پیشوند openai/ برای مسیر دوم فرض می‌کند آن سرویس از رابط سازگار پشتیبانی می‌کند؛ تفاوت قابلیت‌ها و پارامترها باید جداگانه بررسی شود.

همچنین اگر از SDK با Retry داخلی استفاده می‌کنید، باید تنظیمات Retry تمام لایه‌ها هماهنگ شوند تا تعداد واقعی تلاش‌ها بیش از حد انتظار افزایش پیدا نکند.

منابع رسمی:
LiteLLM Retries, Fallbacks and Cooldowns
و
LiteLLM Routing.

کدام خطاها باید Failover را فعال کنند؟

نوع خطا سیاست پیشنهادی
503 یا اختلال موقت Failover به Provider سازگار
Timeout شبکه انتقال محدود با Deadline
429 موقت بررسی Retry-After و سهمیه
401 یا 403 بررسی اعتبارنامه و دسترسی
400 یا ورودی نامعتبر اصلاح درخواست
Context Window Exceeded انتخاب مدل با Context کافی
Safety Rejection عدم دورزدن سیاست ایمنی
Budget Exceeded توقف یا مسیر دارای بودجه مستقل مجاز

در شرایط بحرانی، دسته‌بندی خطا از خود Retry مهم‌تر است. انتقال بی‌هدف خطاهای دائمی می‌تواند هزینه و Latency را افزایش دهد.

مدیریت Failover هنگام Streaming

در پاسخ‌های Streaming ممکن است بخشی از خروجی مدل اصلی قبلاً به کاربر رسیده باشد و سپس اتصال قطع شود.

در چنین شرایطی، Router نباید بدون بررسی، ادامه متن را از مدل دیگری دریافت و به خروجی قبلی متصل کند.

برای مدیریت صحیح این وضعیت:

  • اگر هنوز خروجی منتشر نشده است، درخواست را می‌توان با مدل سازگار دیگری دوباره اجرا کرد.
  • اگر خروجی ناقص منتشر شده، وضعیت آن را مشخص کنید و در صورت نیاز پاسخ را از ابتدا بازسازی کنید.
  • برای خروجی‌های JSON یا عملیات حساس، نتیجه نیمه‌کاره را معتبر فرض نکنید.
  • شناسه پاسخ و نسخه مدل تولیدکننده را ثبت کنید.

جلوگیری از اجرای دوباره Tool Call هنگام Failover

در AI Agent ممکن است مدل قبل از قطع اتصال یک عملیات دارای اثر جانبی مانند ثبت سفارش یا ارسال پیام را اجرا کرده باشد.

اگر بعد از Timeout کل Workflow روی مدل دوم تکرار شود، خطر اجرای دوباره ابزار وجود دارد.

برای جلوگیری از این مشکل بهتر است:

  • هر عملیات شناسه Idempotency داشته باشد.
  • وضعیت اجرای ابزار به‌صورت پایدار ثبت شود.
  • قبل از Retry، وضعیت واقعی عملیات قبلی بررسی شود.
  • مدل دوم فقط ادامه مجاز Workflow را دریافت کند.
  • عملیات مبهم و حساس به بررسی انسانی ارجاع داده شود.

نکته: وضعیت اجرای ابزارها باید مستقل از مدل و Provider نگهداری شود.

نقش Queue در Disaster Recovery هوش مصنوعی

صف درخواست‌ها می‌تواند کارهای قابل تأخیر را هنگام اختلال نگهداری کند. برای مثال، خلاصه‌سازی دسته‌ای اسناد ممکن است بتواند چند دقیقه منتظر بماند، اما درخواست یک چت زنده معمولاً نیازمند پاسخ سریع است.

نوع درخواست رفتار پیشنهادی
Interactive Failover سریع یا پاسخ شفاف
Background Queue با Deadline و Retry محدود
Critical Action توقف امن و بررسی وضعیت

برای هر Job بهتر است شناسه، قابلیت‌های موردنیاز، زمان انقضا، تعداد تلاش‌ها، Provider قبلی و وضعیت Idempotency ذخیره شود.

صف نباید بدون محدودیت رشد کند. همچنین بعد از بازگشت Provider، ارسال ناگهانی تمام Jobهای انباشته‌شده می‌تواند اختلال جدیدی ایجاد کند.

Degraded Mode؛ ادامه خدمات با امکانات محدود

وقتی هیچ Provider جایگزینی با قابلیت کامل در دسترس نیست، می‌توان سرویس را وارد حالت Degraded Mode کرد.

در این حالت بخشی از امکانات غیرفعال می‌شوند، اما قابلیت‌های کم‌ریسک می‌توانند همچنان ارائه شوند.

برای مثال:

  • پاسخ‌گویی به سؤالات متداول تأییدشده.
  • ثبت درخواست پشتیبانی برای بررسی بعدی.
  • خلاصه‌سازی متن کوتاه با مدل محلی.
  • غیرفعال‌سازی موقت Tool Calling حساس.
  • صف‌بندی پردازش‌های غیرفوری.
  • اعلام محدودیت موقت به کاربر.

Degraded Mode باید از قبل طراحی و آزمایش شده باشد و نباید هنگام بحران اجازه عملیات حساس را به مدلی با توانایی کمتر بدهد.

RTO، RPO و استقلال Failure Domain

RTO حداکثر زمان هدف برای بازگرداندن سرویس است. RPO میزان از دست‌رفتن قابل قبول داده بر حسب فاصله زمانی از آخرین وضعیت بازیابی است.

در سامانه AI، RPO بیشتر به مکالمه‌ها، صف‌ها، نتیجه ابزارها و داده‌های عملیاتی مربوط می‌شود، نه وزن‌های مدل ابری.

داشتن دو آدرس API لزوماً استقلال ایجاد نمی‌کند. هر دو ممکن است به یک منطقه ابری، Gateway، DNS یا مدل مشترک متکی باشند.

حتی مدل محلی روی همان میزبان Gateway می‌تواند همراه آن از کار بیفتد. برای بازیابی واقعی، وابستگی‌های مشترک و ظرفیت مسیر پشتیبان را از قبل بررسی کنید.

Health Check، Circuit Breaker و Failback تدریجی

سالم‌بودن فرایند Gateway الزاماً به معنای آماده‌بودن همه قابلیت‌های مدل نیست. Health Check باید متناسب با نوع درخواست، قابلیت و وضعیت Provider طراحی شود.

همچنین خطای موقت Provider نباید لزوماً باعث Restart برنامه شود.

هنگام بازگشت Provider اصلی، تمام ترافیک را ناگهان به آن برنگردانید. ابتدا یک درخواست آزمایشی کنترل‌شده بفرستید، سپس سهم کوچکی از ترافیک را منتقل کنید و نرخ خطا و P95 Latency را بسنجید.

در صورت ثبات، سهم ترافیک را تدریجی افزایش دهید.

منبع:
Kubernetes Liveness, Readiness and Startup Probes.

مانیتورینگ LLM Failover

شاخص دلیل اهمیت
Provider Availability تشخیص نرخ موفقیت و خرابی
Failover Rate درصد درخواست‌های منتقل‌شده
Circuit Breaker State وضعیت مسیرهای باز و بسته
P95 Latency تأثیر مسیر جایگزین بر زمان پاسخ
Queue Backlog تشخیص انباشت Jobها
Oldest Message Age مدت انتظار قدیمی‌ترین Job
Capability Mismatch کمبود Provider سازگار
Degraded Mode Rate سهم خدمات محدود
Cost per Request کنترل هزینه زمان بحران
Recovery Time اندازه‌گیری RTO واقعی

موفقیت HTTP به‌تنهایی کافی نیست. خروجی مدل جایگزین باید از نظر ساختار JSON، صحت ابزار و کیفیت پاسخ نیز با یک Golden Dataset ارزیابی شود.

چک‌لیست آزمایش Disaster Recovery

سناریو نتیجه مورد انتظار
Provider اصلی 503 بدهد مسیر سازگار فعال شود
Provider اصلی Timeout شود مهلت کلی رعایت شود
Backup فاقد Tool Calling باشد درخواست ابزارمحور به آن نرود
هر دو API قطع شوند Local Fallback مجاز یا Degraded Mode
مدل محلی اشباع شود سقف ظرفیت و صف رعایت شود
Streaming نیمه‌کاره بماند خروجی دو مدل بدون کنترل ترکیب نشود
Tool Call قبل از Timeout اجرا شده باشد عملیات تکرار نشود
Provider اصلی بازیابی شود Failback تدریجی انجام شود
Job از Deadline عبور کرده باشد اجرا نشود و علت ثبت شود

این سناریوها باید در محیط Staging و با داده آزمایشی اجرا شوند. تغییر نسخه SDK، Gateway یا مدل باید با تست Regression همراه باشد.

اشتباه‌های رایج در پیاده‌سازی LLM Failover

  • استفاده از مدل جایگزین بدون Capability Mapping.
  • فعال‌کردن Retry نامحدود در چند لایه.
  • انتقال داده حساس به Provider خارج از منطقه مجاز.
  • نداشتن Deadline سراسری درخواست.
  • اجرای مجدد Tool Call بدون Idempotency.
  • دانلود مدل Local Fallback فقط هنگام وقوع بحران.
  • رشد بدون محدودیت Queue و نبود سیاست انقضا.
  • فرض استقلال کامل دو Endpoint دارای زیرساخت مشترک.
  • بازگشت فوری تمام ترافیک پس از یک Health Check موفق.
  • معرفی پاسخ محدود و نامطمئن به‌عنوان نتیجه قطعی.

جمع‌بندی؛ چگونه از توقف کامل سرویس هوش مصنوعی جلوگیری کنیم؟

یک سامانه AI پایدار نباید به در دسترس‌بودن یک مدل یا API وابسته باشد.

LLM Failover با انتخاب Provider جایگزین، کنترل Deadline، بودجه و Circuit Breaker می‌تواند اثر قطعی را کاهش دهد؛ اما فقط زمانی ایمن است که قابلیت مدل، محل پردازش داده و وضعیت ابزارهای Agent نیز بررسی شوند.

برای کارهای قابل تأخیر، Queue پایدار و برای وظایف ساده، مدل محلی می‌تواند به ادامه خدمات کمک کند.

اگر هیچ مسیر سازگار و مجازی وجود ندارد، Degraded Mode یا توقف شفاف بهتر از پاسخ نادرست است.

در نهایت، معماری باید با آزمایش‌های قطعی واقعی و سنجش RTO، RPO، Latency و هزینه اعتبارسنجی شود.

سؤالات متداول درباره LLM Failover

LLM Failover چیست؟

انتقال کنترل‌شده درخواست هوش مصنوعی از Provider یا مدل اصلی به یک مسیر سازگار هنگام اختلال است.

آیا دو API Key برای جلوگیری از قطعی کافی است؟

خیر. باید سلامت سرویس، قابلیت مدل‌ها، محدودیت هزینه، Deadline، سیاست داده و وضعیت ابزارها نیز کنترل شوند.

تفاوت Retry و Failover چیست؟

Retry تلاش دوباره پس از خطاست؛ Failover مسیر پردازش را به ارائه‌دهنده یا استقرار دیگری منتقل می‌کند.

آیا Ollama می‌تواند Fallback باشد؟

بله؛ اگر مدل محلی از قبل آماده باشد و برای وظیفه و سطح حساسیت درخواست کیفیت و قابلیت لازم را داشته باشد.

Circuit Breaker چه کمکی می‌کند؟

بعد از شکست‌های مکرر، مسیر Provider معیوب را موقتاً می‌بندد و فقط آزمایش بازیابی محدود انجام می‌دهد.

Degraded Mode چه زمانی مناسب است؟

وقتی مدل سازگار در دسترس نیست ولی بخشی از خدمات تأییدشده مانند FAQ یا ثبت درخواست می‌تواند ادامه یابد.

آیا Failover می‌تواند Tool Call را دوباره اجرا کند؟

بله؛ بدون ثبت وضعیت و Idempotency ممکن است عملیات دارای اثر جانبی تکرار شوند.

چه زمانی درخواست را در Queue نگه داریم؟

برای کارهای قابل تأخیر با Deadline مشخص؛ درخواست‌های تماس یا گفت‌وگوی زنده معمولاً به پاسخ سریع یا خطای شفاف نیاز دارند.

چگونه Failover را تست کنیم؟

با شبیه‌سازی 503، Timeout، ناسازگاری مدل، قطعی تمام Providerها، ازدحام صف، Streaming ناقص و Failback در محیط Staging.

زیرساخت مقاوم برای سرویس‌های هوش مصنوعی

برای اجرای LLM Gateway و مدل جایگزین، زیرساخت مناسب انتخاب کنید

برای اجرای Gateway، صف درخواست‌ها، Worker و مدل محلی پشتیبان، پایداری شبکه و منابع متناسب با بار پروژه اهمیت دارد. با بررسی سرورهای مجازی ایرانیکاسرور می‌توانید زیرساخت موردنیاز سامانه AI خود را با توجه به ظرفیت و برنامه بازیابی بحران انتخاب کنید.

اشتراک‌گذاری مقاله
گفت‌وگو درباره آموزش

دیدگاه‌ها (۰)

هنوز دیدگاهی ثبت نشده است.

دیدگاه یا سؤال خود را بنویسید

نشانی ایمیل شما منتشر نخواهد شد. بخش‌های موردنیاز علامت‌گذاری شده‌اند *