راه‌اندازی AI Gateway روی VPS؛ چگونه چند مدل هوش مصنوعی را از یک API مدیریت کنیم؟

اگر برای پروژه‌های مختلف از چند سرویس هوش مصنوعی استفاده می‌کنید، حتماً این درد را تجربه کرده‌اید: کلید API برای OpenAI، یکی برای Claude، یکی برای Gemini و شاید یک مدل لوکال روی سرور دیگر. مدیریت این کلیدها، هزینه‌ها، محدودیت نرخ درخواست و امنیت آن‌ها به‌سرعت تبدیل به یک کابوس می‌شود.

راه‌حل این مشکل یک مفهوم ساده اما قدرتمند است: AI Gateway. یک لایه واسط که همه درخواست‌های هوش مصنوعی شما را دریافت می‌کند و آن‌ها را به مدل مناسب می‌فرستد؛ بدون اینکه برنامه‌های شما بدانند پشت صحنه چه خبر است.

در این راهنما، به شما نشان می‌دهم چطور با LiteLLM یک AI Gateway اختصاصی روی VPS ایرانیکاسرور راه‌اندازی کنید، چند مدل را پشت یک API واحد قرار دهید و از مزایای امنیتی و کنترلی آن بهره ببرید.

AI Gateway چیست و چه کاری انجام می‌دهد؟

AI Gateway یک سرویس واسط است که بین اپلیکیشن‌های شما و سرویس‌های هوش مصنوعی قرار می‌گیرد. به‌جای اینکه هر پروژه مستقیماً به OpenAI، Claude یا هر سرویس دیگری وصل شود، همه درخواست‌ها ابتدا به Gateway می‌روند. Gateway تصمیم می‌گیرد کدام مدل مناسب است، درخواست را به آن می‌فرستد و پاسخ را برمی‌گرداند.

ساختار ساده آن به این صورت است:

Application / Chatbot / CRM
         |
         v
    AI Gateway (LiteLLM)
         |
   ------+------
   |      |      |
 OpenAI  Claude  Local LLM
 GPT-4   Sonnet  Llama

نکته کلیدی اینجاست: برنامه شما فقط با یک API صحبت می‌کند. نیازی نیست بدانید پشت صحنه از GPT-4 استفاده می‌شود یا Claude یا یک مدل لوکال. اگر فردا تصمیم بگیرید مدل را عوض کنید، فقط تنظیمات Gateway را تغییر می‌دهید؛ نه یک خط کد در اپلیکیشن.

چرا AI Gateway را روی VPS ایرانیکاسرور اجرا کنید؟

سرویس‌های ابری متعددی AI Gateway ارائه می‌دهند، اما برای تیم‌های توسعه و کسب‌وکارهایی که با داده‌های حساس کار می‌کنند، اجرای نسخه اختصاصی روی VPS مزایای غیرقابل‌انکاری دارد:

LiteLLM؛ بهترین ابزار متن‌باز برای ساخت AI Gateway

برای ساخت AI Gateway گزینه‌های مختلفی وجود دارد، اما LiteLLM محبوب‌ترین و کامل‌ترین آن‌هاست. این پروژه متن‌باز که توسط تیم BerriAI توسعه داده شده، یک API سازگار با OpenAI ارائه می‌دهد و از بیش از ۱۰۰ مدل زبانی پشتیبانی می‌کند .

مهم‌ترین ویژگی‌های LiteLLM:

نکته جالب توجه این است که LiteLLM به‌صورت پیش‌فرض از قابلیت Load Balancing هم پشتیبانی می‌کند. اگر چند کلید API از OpenAI دارید یا می‌خواهید درخواست‌ها را بین چند سرویس تقسیم کنید، LiteLLM به‌صورت خودکار این کار را انجام می‌دهد .

پیش‌نیازهای سخت‌افزاری برای اجرای AI Gateway روی VPS

میزان منابع موردنیاز به کاربرد شما بستگی دارد. برای یک Gateway ساده که فقط درخواست‌ها را مسیریابی می‌کند، منابع متوسط کافی است. اما اگر قصد اجرای مدل لوکال روی همان سرور را دارید، به سخت‌افزار قوی‌تری نیاز خواهید داشت.

راه‌اندازی گام‌به‌گام LiteLLM روی VPS

در این بخش، LiteLLM را با Docker Compose راه‌اندازی می‌کنیم. این روش استاندارد و توصیه‌شده برای محیط Production است .

گام ۱: نصب Docker روی VPS

ابتدا از طریق SSH به VPS خود متصل شوید و Docker را نصب کنید:

apt update
apt install docker.io docker-compose -y
docker --version

گام ۲: ساخت پوشه پروژه و فایل‌های تنظیمات

یک پوشه برای پروژه ایجاد کنید و فایل تنظیمات LiteLLM را بسازید:

mkdir ai-gateway
cd ai-gateway
nano config.yaml

محتوای فایل config.yaml را به این صورت تنظیم کنید. این فایل مشخص می‌کند کدام مدل‌ها از طریق Gateway در دسترس باشند:

model_list:
  - model_name: gpt-4o
    litellm_params:
      model: openai/gpt-4o
      api_key: os.environ/OPENAI_API_KEY

  - model_name: claude-sonnet
    litellm_params:
      model: anthropic/claude-sonnet-4-20250514
      api_key: os.environ/ANTHROPIC_API_KEY

  - model_name: gemini-flash
    litellm_params:
      model: gemini/gemini-2.0-flash
      api_key: os.environ/GEMINI_API_KEY

general_settings:
  master_key: os.environ/LITELLM_MASTER_KEY

در این فایل، هر مدل یک model_name دارد. اپلیکیشن شما با این نام با Gateway صحبت می‌کند و LiteLLM آن را به سرویس واقعی مسیریابی می‌کند .

گام ۳: تنظیم متغیرهای محیطی

یک فایل .env بسازید و کلیدهای API خود را در آن قرار دهید:

OPENAI_API_KEY=sk-your-openai-key
ANTHROPIC_API_KEY=sk-ant-your-claude-key
GEMINI_API_KEY=your-gemini-key
LITELLM_MASTER_KEY=sk-$(openssl rand -hex 32)

گام ۴: ساخت فایل Docker Compose

فایل docker-compose.yml را ایجاد کنید. این فایل LiteLLM و یک دیتابیس PostgreSQL برای ذخیره کلیدها و گزارش مصرف راه‌اندازی می‌کند:

services:
  litellm:
    image: ghcr.io/berriai/litellm:main-stable
    ports:
      - "4000:4000"
    env_file:
      - .env
    volumes:
      - ./config.yaml:/app/config.yaml
    command: ["--config", "/app/config.yaml", "--port", "4000"]
    depends_on:
      - db
    restart: unless-stopped

  db:
    image: postgres:16
    environment:
      POSTGRES_DB: litellm
      POSTGRES_USER: litellm
      POSTGRES_PASSWORD: strong-password
    volumes:
      - postgres_data:/var/lib/postgresql/data
    restart: unless-stopped

volumes:
  postgres_data:

گام ۵: اجرا و تست Gateway

حالا سرویس‌ها را اجرا کنید:

docker compose up -d
docker ps

بعد از چند ثانیه، Gateway روی پورت 4000 فعال می‌شود. برای تست، یک درخواست ساده بفرستید:

curl http://localhost:4000/v1/chat/completions \
  -H "Authorization: Bearer sk-your-master-key" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "gpt-4o",
    "messages": [{"role": "user", "content": "سلام، حالت چطوره؟"}]
  }'

اگر پاسخ دریافت کردید، Gateway شما با موفقیت کار می‌کند. حالا اپلیکیشن‌های شما می‌توانند با یک API واحد به همه مدل‌ها دسترسی داشته باشند .

مدیریت کاربران و کلیدهای API با Virtual Keys

در یک محیط سازمانی، نباید همه کاربران از یک کلید API مشترک استفاده کنند. LiteLLM قابلیت Virtual Keys را ارائه می‌دهد که به شما اجازه می‌دهد برای هر کاربر یا اپلیکیشن یک کلید مجزا با محدودیت‌های مشخص بسازید .

مزایای Virtual Keys:

نمونه ایجاد یک Virtual Key با بودجه ۲۰ دلار و دسترسی فقط به دو مدل:

docker exec litellm litellm_manage --createkey \
  --alias dev-team \
  --models gpt-4o,claude-sonnet \
  --budget 20.0 \
  --expires 30d

این کلید را به اعضای تیم بدهید. حالا می‌توانید دقیقاً ببینید هر نفر چقدر مصرف کرده و در صورت نیاز دسترسی‌اش را قطع کنید .

اتصال مدل‌های لوکال به AI Gateway

یکی از قدرتمندترین قابلیت‌های LiteLLM، امکان ترکیب مدل‌های ابری و لوکال در یک Gateway است. اگر روی سرور GPU خود مدل‌هایی مثل Llama، Mistral یا Qwen اجرا می‌کنید، می‌توانید آن‌ها را هم به Gateway اضافه کنید .

برای این کار کافی است بخشی به config.yaml اضافه کنید:

  - model_name: llama-local
    litellm_params:
      model: ollama/llama3.2:3b
      api_base: http://your-gpu-server:11434

حالا اپلیکیشن شما می‌تواند با نام llama-local به مدل لوکال درخواست بفرستد. این یعنی می‌توانید برای پردازش داده‌های حساس از مدل لوکال استفاده کنید و برای کارهای عمومی به مدل‌های ابری متصل شوید .

مشکلات رایج و راه‌حل آن‌ها

امنیت AI Gateway در محیط Production

اگر قصد دارید Gateway را در محیط واقعی استفاده کنید، این نکات امنیتی را جدی بگیرید:

برای محیط Production توصیه می‌شود از یک Reverse Proxy مثل Nginx یا Traefik استفاده کنید تا SSL به‌صورت خودکار مدیریت شود .

کاربردهای تجاری AI Gateway برای کسب‌وکارها

یک AI Gateway اختصاصی فقط یک ابزار فنی نیست؛ می‌تواند پایه‌ای برای خدمات جدید کسب‌وکار شما باشد:

جمع‌بندی

برای شروع، یک VPS مناسب از ایرانیکاسرور تهیه کنید و LiteLLM را روی آن نصب کنید. در کمتر از یک ساعت، زیرساخت هوش مصنوعی اختصاصی شما آماده کار خواهد بود.

منابع خارجی: LiteLLM Official Website | LiteLLM Documentation