وقتی صحبت از ساخت یک سیستم RAG یا اتصال هوش مصنوعی به اسناد اختصاصی میشود، معمولاً اولین پیشنهاد استفاده از Embedding و Vector Database است. آموزشهای زیادی با ساخت یک پایگاه داده برداری شروع میشوند؛ حتی زمانی که پروژه فقط چند صد سند راهنما یا تعدادی جدول اطلاعاتی دارد.
اما آیا برای ساخت RAG واقعاً به دیتابیس برداری نیاز داریم؟ اگر کاربر بخواهد شماره سفارش، متن یک خطای مشخص یا شرایط یکی از خدمات شرکت را پیدا کند، آیا جستوجوی معمولی در دیتابیس کافی نیست؟
پاسخ این است که RAG بدون Vector Database نهتنها امکانپذیر است، بلکه در بعضی پروژهها میتواند انتخاب سادهتر، کمهزینهتر و دقیقتری باشد. RAG به معنی بازیابی اطلاعات مرتبط و قراردادن آنها در اختیار مدل زبانی است؛ روش بازیابی الزاماً نباید برداری باشد.
در این مقاله روشهای Full-Text Search، SQL، Embedding Search، Hybrid Retrieval و Reranking را با یکدیگر مقایسه میکنیم. سپس با SQLite FTS5 یک نمونه RAG بدون دیتابیس برداری میسازیم و یاد میگیریم چگونه با Benchmark مشخص کنیم کدام معماری برای پروژه واقعی مناسبتر است.
RAG چیست و چرا به آن نیاز داریم؟
RAG مخفف Retrieval-Augmented Generation و به معنی تولید پاسخ با کمک اطلاعات بازیابیشده است.
مدل زبانی بهتنهایی ممکن است به اطلاعات اختصاصی یا بهروز شرکت شما دسترسی نداشته باشد. برای مثال، ممکن است مدل نداند در آخرین نسخه نرمافزار شما چه قابلیتهایی اضافه شده یا شرایط تمدید خدمات چیست.
در معماری RAG، ابتدا اسناد یا دادههای مرتبط با سؤال پیدا میشوند و سپس بخشهای لازم به مدل زبانی داده میشوند تا پاسخ را بر اساس آن اطلاعات تولید کند.
User Question
|
v
Query Understanding
|
v
Information Retrieval
|
+-- SQL
+-- Full-Text Search
+-- Vector Search
+-- Hybrid Search
|
v
Relevant Documents / Records
|
v
Context Construction
|
v
LLM
|
v
Grounded Answer + Sources
همانطور که مشخص است، Vector Search فقط یکی از روشهای اجرای مرحله Retrieval است.
اگر اطلاعات درست و مرتبط از طریق SQL یا Full-Text Search پیدا شوند، میتوان همان اطلاعات را به مدل داد و یک سیستم RAG ساخت.
Vector Database در RAG چه کاری انجام میدهد؟
در روش جستوجوی برداری، ابتدا متن اسناد به بخشهایی کوچکتر یا Chunk تقسیم میشود. سپس یک مدل Embedding هر Chunk را به مجموعهای از اعداد تبدیل میکند.
این اعداد نمایشی از ویژگیهای معنایی متن هستند. هنگام دریافت سؤال، برای سؤال نیز Embedding ساخته میشود و سیستم نزدیکترین بردارهای مرتبط را جستوجو میکند.
برای مثال، ممکن است سؤال «چطور هزینه اشتراک را کمتر کنم؟» از نظر کلمات با سندی درباره «بهینهسازی مصرف منابع و انتخاب پلن اقتصادی» یکسان نباشد، اما مدل Embedding بتواند میان آنها ارتباط معنایی پیدا کند.
این قابلیت برای پرسشهایی که از عبارتهای متفاوت برای بیان یک مفهوم استفاده میکنند، مفید است.
اما Vector Database هزینه و پیچیدگیهای مخصوص خودش را دارد:
- تولید و نگهداری Embedding اسناد.
- بهروزرسانی بردارها بعد از تغییر محتوا.
- انتخاب مدل Embedding متناسب با زبان و حوزه.
- مدیریت ایندکس و حافظه.
- کنترل دسترسی و فیلتر Metadata.
- اندازهگیری کیفیت بازیابی معنایی.
بنابراین بهتر است قبل از اضافهکردن این اجزا، بررسی کنیم آیا مسئله پروژه واقعاً به بازیابی معنایی نیاز دارد یا خیر.
RAG بدون Vector Database چگونه کار میکند؟
در سادهترین حالت، میتوان از جستوجوی معمولی برای پیدا کردن اطلاعات استفاده کرد و نتیجه را به مدل زبانی داد.
فرض کنید یک وبسایت ۳۰۰ مقاله راهنما دارد. کاربری میپرسد:
برای رفع خطای 429 در API چه کار کنم؟
اگر موتور جستوجوی متنی مقالهای با عنوان «علت خطای 429 و روش رفع آن» پیدا کند، ممکن است همان نتیجه برای پاسخگویی کافی باشد.
در چنین شرایطی اجرای مدل Embedding، ایجاد Vector Index و نگهداری یک دیتابیس دیگر لزوماً مزیت قابل توجهی ایجاد نمیکند.
برای این نوع RAG میتوان از سه روش اصلی استفاده کرد:
- SQL Retrieval: بازیابی رکوردهای مشخص از دیتابیس ساختاریافته.
- Full-Text Retrieval: جستوجوی واژهها و عبارتهای مرتبط در متن اسناد.
- Rule-Based Retrieval: انتخاب اطلاعات بر اساس دستهبندی، شناسه، برچسب یا قواعد مشخص.
این روشها میتوانند بهتنهایی یا در کنار یکدیگر استفاده شوند.
مقایسه SQL، Full-Text Search و Vector Search
| ویژگی | SQL | Full-Text | Vector Search |
|---|---|---|---|
| بازیابی اطلاعات ساختاریافته | بسیار مناسب | محدود | معمولاً انتخاب اول نیست |
| جستوجوی کد و شناسه دقیق | بسیار مناسب | مناسب | ممکن است خطا داشته باشد |
| عبارتهای معنایی متفاوت | ضعیف بدون منطق اضافی | وابسته به تطبیق واژگانی | اغلب مناسبتر |
| نیاز به مدل Embedding | خیر | خیر | بله |
| پیچیدگی راهاندازی | کم در پروژههای SQL موجود | کم تا متوسط | متوسط تا زیاد |
| کنترل فیلترهای دقیق | قوی | با فیلترهای دیتابیس | به موتور و طرح ایندکس وابسته |
| کیفیت جستوجوی فارسی | مناسب برای فیلدهای ساختاریافته | وابسته به Normalization و Tokenizer | وابسته به مدل Embedding |
هیچکدام از این روشها برای تمام کاربردها برتر نیستند. انتخاب مناسب به نوع سؤال، ساختار دادهها، زبان محتوا، حجم اطلاعات و سطح دقت موردنیاز بستگی دارد.
چه زمانی SQL از Vector Database مناسبتر است؟
وقتی اطلاعات موردنیاز ساختاریافته هستند، معمولاً بهتر است ابتدا به SQL فکر کنیم.
برای مثال، یک سیستم حسابداری اطلاعات فروش، مشتریان، موجودی کالا و تاریخ تراکنشها را در جدولهای مشخص نگهداری میکند.
اگر کاربر بپرسد «مجموع فروش ماه گذشته چقدر بوده است؟»، جستوجوی معنایی در توضیحات فاکتورها روش مناسبی برای محاسبه دقیق مبلغ نیست.
در چنین شرایطی باید از یک کوئری معتبر، یک گزارش آماده یا یک Tool محدود و ساختاریافته استفاده شود.
SELECT
COUNT(*) AS order_count,
SUM(total_amount) AS total_sales
FROM orders
WHERE created_at >= :start_date
AND created_at < :end_date
AND business_id = :authorized_business_id;
در این مثال پارامترهای تاریخ و کسبوکار باید از مسیر معتبر برنامه تأمین شوند و دسترسی Tenant توسط لایه امنیتی مستقل کنترل شود.
نکته امنیتی: بهتر است Agent برای گزارشهای ساختاریافته یک Tool مشخص مثل get_sales_summary را اجرا کند؛ نه اینکه با دسترسی آزاد، هر SQL دلخواهی روی دیتابیس تولید کند.
برای جزئیات امنیت این معماری میتوان به مقاله «ساخت AI SQL Agent امن» در وبلاگ ایرانیکاسرور مراجعه کرد.
چه زمانی Full-Text Search کافی است؟
Full-Text Search برای جستوجوی واژهها، عبارتها و اصطلاحات موجود در اسناد طراحی شده است.
این روش بهویژه در شرایط زیر میتواند انتخاب مناسبی باشد:
- جستوجوی خطاهایی مانند 404، 429 یا 502.
- پیداکردن نام دقیق سرویس یا محصول.
- جستوجوی شماره نسخه و شناسه فنی.
- بازیابی مقاله بر اساس عنوان و کلیدواژه.
- جستوجو در مستندات فنی دارای اصطلاحات ثابت.
- پروژههایی که تغییر عبارت کاربران نسبت به متن منبع محدود است.
در جستوجوی برداری ممکن است کد فنی مانند ERR_CONNECTION_REFUSED بهدرستی از عبارتهای مشابه تفکیک نشود؛ درحالیکه جستوجوی واژگانی میتواند بر تطبیق همان شناسه تمرکز کند.
از طرف دیگر، Full-Text Search ممکن است سندی را که از واژههای کاملاً متفاوت برای بیان همان مفهوم استفاده میکند از دست بدهد.
آموزش Full-Text Search در PostgreSQL
PostgreSQL قابلیت Full-Text Search را بدون افزونه برداری در اختیار قرار میدهد.
برای این کار میتوان از نوع داده tsvector، تابع websearch_to_tsquery و امتیازدهی ts_rank استفاده کرد.
مثال زیر ساختار ساده یک جدول مستندات را نشان میدهد:
CREATE TABLE rag_documents (
id BIGSERIAL PRIMARY KEY,
title TEXT NOT NULL,
content TEXT NOT NULL,
search_vector TSVECTOR
GENERATED ALWAYS AS (
setweight(
to_tsvector('simple', title), 'A'
) ||
setweight(
to_tsvector('simple', content), 'B'
)
) STORED
);
CREATE INDEX rag_documents_search_idx
ON rag_documents
USING GIN (search_vector);
سپس میتوان اسناد را با عبارت ورودی جستوجو کرد:
WITH query AS (
SELECT websearch_to_tsquery(
'simple',
:search_text
) AS q
)
SELECT
d.id,
d.title,
ts_rank(d.search_vector, query.q) AS score
FROM rag_documents AS d
CROSS JOIN query
WHERE d.search_vector @@ query.q
ORDER BY score DESC
LIMIT 5;
در این مثال از پیکربندی simple استفاده شده است. این پیکربندی برای ساخت نمونه ساده قابل استفاده است، اما یک تحلیلگر تخصصی زبان فارسی نیست.
برای محتوای فارسی باید موضوعاتی مانند یکسانسازی «ی» و «ک»، نیمفاصله، پیشوند و پسوند، شکلهای مختلف واژه و Stopwordها بررسی شوند. بدون این مرحله، کیفیت Full-Text Search ممکن است بهطور محسوسی کاهش پیدا کند.
مستندات رسمی:
PostgreSQL Full-Text Search.
ساخت RAG سبک با SQLite FTS5
اگر پروژه کوچک است یا میخواهید یک نمونه اولیه بدون سرور دیتابیس مستقل بسازید، SQLite FTS5 گزینه دیگری است.
FTS5 از ایندکس متن و تابع رتبهبندی BM25 پشتیبانی میکند.
برخلاف بسیاری از سیستمهای برداری، برای استفاده از آن نیازی به مدل Embedding یا سرویس اضافی وجود ندارد.
در SQLite، امتیاز bm25() به شکلی تعریف شده که مقادیر عددی کوچکتر در مرتبسازی صعودی، نتایج مناسبتر را زودتر نمایش میدهند.
منبع:
مستندات رسمی SQLite FTS5.
آموزش عملی: ساخت Retriever بدون Vector Database با Python
در این مثال یک Retriever ساده میسازیم که مجموعهای از اسناد راهنما را ذخیره و بر اساس عبارت کاربر جستوجو میکند.
این نمونه برای نمایش مرحله بازیابی اطلاعات طراحی شده است. برای تکمیل RAG، خروجی Retriever باید با محدودیت طول، کنترل دسترسی و ذکر منبع در اختیار مدل زبانی قرار گیرد.
مرحله اول: ایجاد پروژه
ابتدا پوشه پروژه را بسازید:
mkdir -p ~/rag-without-vectors
cd ~/rag-without-vectors
python3 --version
در این مثال فقط از کتابخانههای استاندارد Python استفاده میشود. لازم است نسخه SQLite موجود در Python از FTS5 پشتیبانی کند.
مرحله دوم: ساخت فایل Retriever
فایل rag_fts.py را ایجاد کنید:
import re
import sqlite3
from pathlib import Path
DB_PATH = Path("rag_demo.db")
DOCUMENTS = [
(
"رفع خطای 429",
"خطای 429 زمانی رخ میدهد که تعداد "
"درخواستها از محدودیت API عبور کند."
),
(
"راهنمای ثبت فاکتور",
"برای ثبت فاکتور ابتدا مشتری و کالا "
"را انتخاب کنید و سپس فاکتور را ذخیره کنید."
),
(
"تنظیم نسخه پشتیبان",
"نسخه پشتیبان اطلاعات باید در فضای "
"مجزا نگهداری و بازیابی آن آزمایش شود."
),
(
"خطای 502 در سرور",
"خطای 502 معمولاً به مشکل ارتباط "
"Gateway با سرویس بالادستی مربوط است."
),
]
def connect():
conn = sqlite3.connect(DB_PATH)
conn.row_factory = sqlite3.Row
return conn
def initialize():
with connect() as conn:
conn.execute("""
CREATE TABLE IF NOT EXISTS docs (
id INTEGER PRIMARY KEY,
title TEXT NOT NULL,
body TEXT NOT NULL
)
""")
conn.execute("""
CREATE VIRTUAL TABLE IF NOT EXISTS
docs_fts USING fts5(
title,
body,
content='docs',
content_rowid='id',
tokenize='unicode61'
)
""")
conn.execute("DELETE FROM docs")
conn.executemany(
"INSERT INTO docs(title, body) VALUES (?, ?)",
DOCUMENTS,
)
conn.execute("""
INSERT INTO docs_fts(docs_fts)
VALUES ('rebuild')
""")
def make_fts_query(text):
# Minimal demo tokenizer; not Persian stemming.
terms = re.findall(r"\w+", text.lower(), re.UNICODE)
terms = [term for term in terms if len(term) <= 40] if not terms or len(terms) > 12:
raise ValueError("Invalid search query")
# Quoted terms keep FTS query operators out.
return " OR ".join(
'"' + term.replace('"', '""') + '"'
for term in terms
)
def retrieve(question, limit=3):
if not 1 <= limit <= 10:
raise ValueError("Invalid limit")
query = make_fts_query(question)
with connect() as conn:
rows = conn.execute("""
SELECT
d.id,
d.title,
d.body,
bm25(docs_fts) AS rank
FROM docs_fts
JOIN docs AS d
ON d.id = docs_fts.rowid
WHERE docs_fts MATCH ?
ORDER BY rank
LIMIT ?
""", (query, limit)).fetchall()
return [dict(row) for row in rows]
if __name__ == "__main__":
initialize()
question = "خطای 429"
results = retrieve(question)
for item in results:
print(item["title"])
print(item["body"])
print("---")
این کد یک دیتابیس SQLite و یک ایندکس FTS5 ایجاد میکند، چهار سند نمونه را ثبت میکند و سپس برای سؤال «خطای 429» اسناد مرتبط را پیدا میکند.
در این نمونه، عبارتها برای ساخت Query مربوط به FTS5 بهصورت کنترلشده پردازش میشوند. استفاده از پارامترهای SQL نیز مانع ترکیب مستقیم ورودی کاربر با متن دستور اجرایی میشود.
توجه: روش تقسیم واژهها در مثال بالا برای آموزش است. موتورهای جستوجوی واقعی به Normalization فارسی، سیاست بهتر برای عبارتهای چندکلمهای و سنجش کیفیت روی داده واقعی نیاز دارند.
مرحله سوم: اجرای Retriever
python3 rag_fts.py
در خروجی انتظار داریم سند مربوط به خطای 429 نمایش داده شود.
این مرحله نشان میدهد که میتوان بدون Embedding و Vector Database اسناد مرتبط را بازیابی کرد.
چگونه خروجی جستوجو را به مدل زبانی بدهیم؟
پس از بازیابی اسناد، باید بخشهای مرتبط را در یک Context مشخص قرار دهیم.
برای مثال:
SYSTEM:
Answer using only the retrieved context.
Cite the document identifier.
If context is insufficient, say so.
USER QUESTION:
Why does error 429 happen?
RETRIEVED CONTEXT:
Document ID: 1
Title: Rate Limit Error 429
Content: Error 429 occurs when requests
exceed API rate limits.
در این ساختار، مدل باید بر اساس سند پیداشده پاسخ بدهد و در صورت نبود اطلاعات کافی، از ساخت پاسخ نامطمئن خودداری کند.
البته درج دستور در Prompt بهتنهایی صحت پاسخ را تضمین نمیکند. برای پاسخهای حساس باید صحت ارجاعها، مجوز مشاهده اسناد و میزان اتکا به منابع نیز ارزیابی شوند.
در کاربرد واقعی بهتر است متن اسناد بهعنوان محتوای غیرقابل اعتماد در نظر گرفته شود؛ زیرا ممکن است شامل Prompt Injection باشد.
آیا تعداد اسناد مشخص میکند Vector Database لازم است؟
تعداد اسناد مهم است، اما بهتنهایی تعیینکننده نیست.
برای مثال، یک مجموعه با ۵۰۰ سند طولانی ممکن است دهها هزار Chunk داشته باشد؛ درحالیکه مجموعهای با ۲۰ هزار رکورد کوتاه و ساختاریافته همچنان بهسادگی با SQL قابل جستوجو باشد.
همچنین نوع سؤال اهمیت دارد. اگر کاربران عمدتاً شناسه، عنوان و عبارت دقیق جستوجو میکنند، افزایش تعداد اسناد الزاماً به معنی نیاز به Vector Database نیست.
| حجم نمونه | روش پیشنهادی برای شروع | نکته |
|---|---|---|
| تا چند صد سند | SQL یا Full-Text | ابتدا کیفیت بازیابی ساده سنجیده شود |
| چند هزار سند | Full-Text ایندکسشده | تست روی سؤالهای معنایی مهم است |
| دهها هزار سند | Full-Text، Hybrid یا Vector | به تعداد Chunk و نوع سؤال بستگی دارد |
| مجموعه بسیار بزرگ | معماری انتخابشده بر اساس Benchmark | هزینه ایندکس، Latency و Recall سنجیده شود |
بازههای این جدول فقط راهنمای شروع طراحی هستند؛ آستانه فنی یا استاندارد عمومی محسوب نمیشوند.
برای تصمیم واقعی باید تعداد Chunk، زبان محتوا، طول اسناد، نرخ بهروزرسانی، محدودیت حافظه و الگوی درخواست نیز بررسی شوند.
آیا میتوان Embedding داشت ولی Vector Database نداشت؟
بله. استفاده از Embedding الزاماً به معنی استفاده از یک محصول مستقل Vector Database نیست.
برای مجموعه کوچک میتوان بردارها را در حافظه برنامه نگهداری و فاصله آنها را بهصورت مستقیم محاسبه کرد.
همچنین میتوان از افزونه pgvector داخل PostgreSQL استفاده کرد و جستوجوی برداری را در همان دیتابیس فعلی انجام داد.
pgvector امکان جستوجوی دقیق بردارها و همچنین ایجاد ایندکس تقریبی HNSW یا IVFFlat را فراهم میکند.
جستوجوی دقیق همه بردارهای واجدشرایط را از نظر فاصله بررسی میکند، درحالیکه روشهای ANN میتوانند در مقابل افزایش سرعت، بخشی از Recall را از دست بدهند.
بنابراین سه تصمیم جدا وجود دارد:
- آیا پروژه به بازیابی معنایی نیاز دارد؟
- آیا برای بازیابی معنایی باید Embedding استفاده شود؟
- آیا مقیاس کار به ایندکس برداری و دیتابیس تخصصی نیاز دارد؟
این سه سؤال لزوماً پاسخ یکسانی ندارند.
منبع:
مستندات رسمی pgvector.
Reranking چیست و چه زمانی به کار میآید؟
Reranking مرحلهای است که بعد از بازیابی اولیه انجام میشود و ترتیب نتایج را با یک مدل یا روش دقیقتر تغییر میدهد.
برای مثال، Full-Text Search ممکن است ۲۰ سند مرتبط احتمالی پیدا کند. سپس Reranker این ۲۰ نتیجه را با توجه به سؤال مرتب میکند و پنج مورد مناسبتر را انتخاب میکند.
User Question
|
v
Full-Text Search
|
v
Top 20 Candidates
|
v
Reranker
|
v
Top 5 Documents
|
v
LLM Answer
به این ترتیب، حتی بدون Vector Database میتوان یک خط لوله بازیابی چندمرحلهای ساخت.
البته Reranker فقط نتایج بازیابیشده را مرتب میکند. اگر سند مناسب در مرحله اول پیدا نشده باشد، Reranking معمولاً نمیتواند آن را از هیچ ایجاد کند.
همچنین استفاده از مدل Reranker هزینه محاسباتی و تأخیر اضافه دارد. برای انتخاب آن باید تغییر کیفیت در برابر هزینه اندازهگیری شود.
Hybrid Retrieval چه زمانی بهتر است؟
Hybrid Retrieval روشهایی مانند جستوجوی واژگانی و برداری را با یکدیگر ترکیب میکند.
برای مثال، در یک سیستم پشتیبانی فنی ممکن است بخشی از سؤالها درباره کدهای خطا و شماره نسخه باشند و بخشی دیگر با زبان طبیعی و عبارتهای متفاوت مطرح شوند.
در چنین شرایطی، Full-Text میتواند اسناد دارای عبارتهای دقیق را پیدا کند و Vector Search نتایج معنایی را اضافه کند.
سپس میتوان نتایج دو مسیر را ادغام کرد.
یکی از روشهای رایج، Reciprocal Rank Fusion یا RRF است که بهجای ترکیب امتیازهای خام ناهممقیاس، بر رتبه نتایج تکیه میکند.
برای دو رتبهبندی، امتیاز کلی یک سند میتواند بر اساس مجموع سهم رتبه آن در هر مسیر محاسبه شود.
مزیت این رویکرد آن است که الزاماً لازم نیست امتیاز BM25 را مستقیماً با Cosine Similarity مقایسه کنیم.
بااینحال، Hybrid Search همیشه بهتر از بهترین مسیر تکی نیست. بعضی پژوهشها نشان میدهند که ترکیب روشها ممکن است Recall را افزایش دهد، ولی بهبود رتبهبندی نهایی کمتر از انتظار باشد.
Benchmark واقعی RAG را چگونه طراحی کنیم؟
مهمترین بخش انتخاب معماری، آزمایش آن روی داده و سؤالهای واقعی پروژه است.
برای این کار باید یک مجموعه ارزیابی شامل سؤالها و شناسه سندهای مرتبط تهیه کنیم.
برای مثال، میتوان ۱۰۰ سؤال واقعی یا بازبینیشده را انتخاب کرد و برای هر سؤال مشخص کرد کدام اسناد پاسخ را پشتیبانی میکنند.
سپس چند مسیر بازیابی را تحت شرایط قابل مقایسه اجرا کرد.
| مسیر | ساختار |
|---|---|
| A | SQL یا فیلتر دقیق |
| B | Full-Text / BM25 |
| C | Full-Text + Reranker |
| D | Embedding + Vector Search |
| E | Hybrid Search + Reranker |
در صورت مقایسه Vector Search تقریبی، بهتر است نتیجه آن با جستوجوی دقیق همان Embedding نیز مقایسه شود تا افت کیفیت ANN از محدودیت مدل Embedding تفکیک شود.
معیارهای اصلی Benchmark
- Recall@K: چه سهمی از اسناد مرتبط در K نتیجه اول بازیابی شدهاند؟
- MRR: اولین نتیجه مرتبط در چه رتبهای ظاهر میشود؟
- nDCG@K: کیفیت رتبهبندی با درنظرگرفتن درجه ارتباط اسناد چگونه است؟
- P50 و P95 Latency: زمان پاسخ معمول و درخواستهای کند چقدر است؟
- Index Size: حجم ذخیرهسازی موردنیاز چقدر است؟
- Indexing Cost: تولید و بروزرسانی ایندکس چقدر هزینه دارد؟
- Answer Correctness: آیا مدل با Context بازیابیشده پاسخ صحیح میدهد؟
- Citation Accuracy: آیا منابع ارائهشده واقعاً ادعاهای پاسخ را تأیید میکنند؟
در محاسبه هزینه باید علاوه بر ذخیرهسازی و Query، هزینه ساخت Embedding، Reranking، بروزرسانی داده و فراخوانی مدل زبانی نیز لحاظ شود.
نمونه کد محاسبه Recall@K و MRR
برای مقایسه کیفیت Retrieverها میتوان از یک اسکریپت مستقل Python استفاده کرد.
در این مثال، ابتدا یک مجموعه خروجی ساختگی از دو روش بازیابی تعریف میکنیم و سپس معیارها را حساب میکنیم.
GOLDEN = {
"q1": {"doc_1"},
"q2": {"doc_3"},
"q3": {"doc_2", "doc_4"},
}
RESULTS_FTS = {
"q1": ["doc_1", "doc_2"],
"q2": ["doc_2", "doc_3"],
"q3": ["doc_4", "doc_1"],
}
RESULTS_VECTOR = {
"q1": ["doc_2", "doc_1"],
"q2": ["doc_3", "doc_4"],
"q3": ["doc_2", "doc_4"],
}
def evaluate(results, k=2):
recalls = []
reciprocal_ranks = []
for qid, relevant in GOLDEN.items():
ranked = results[qid][:k]
found = set(ranked) & relevant
recalls.append(len(found) / len(relevant))
first_rank = next(
(
i + 1
for i, doc_id in enumerate(ranked)
if doc_id in relevant
),
None,
)
reciprocal_ranks.append(
1 / first_rank if first_rank else 0
)
return {
"recall_at_k": sum(recalls) / len(recalls),
"mrr_at_k": (
sum(reciprocal_ranks)
/ len(reciprocal_ranks)
),
}
print("FTS:", evaluate(RESULTS_FTS))
print("Vector:", evaluate(RESULTS_VECTOR))
در این کد، Recall@K میانگین Recall هر سؤال و MRR میانگین معکوس رتبه اولین سند مرتبط است.
این نمونه بهصورت عمدی کوچک و ساختگی طراحی شده تا نحوه محاسبه معیارها روشن باشد؛ خروجی آن نباید بهعنوان بنچمارک واقعی PostgreSQL، SQLite یا Vector Database گزارش شود.
مثال فرضی مقایسه روشهای بازیابی
جدول زیر صرفاً یک نمونه برای تفسیر خروجی بنچمارک است و از اجرای آزمایش واقعی به دست نیامده است.
| روش | Recall@5 فرضی | P95 فرضی | هزینه عملیاتی نسبی |
|---|---|---|---|
| SQL / Exact | ۰٫۶۸ | ۱۲ms | کم |
| Full-Text | ۰٫۸۲ | ۲۵ms | کم |
| Full-Text + Reranker | ۰٫۸۲ | ۱۸۰ms | متوسط |
| Vector Search | ۰٫۸۹ | ۴۵ms | متوسط |
| Hybrid | ۰٫۹۴ | ۷۵ms | متوسط تا زیاد |
توضیح مهم: اعداد بالا ساختگیاند و فقط روش تحلیل را نشان میدهند. همچنین اگر Reranker فقط همان پنج نتیجه اولیه را بازمرتب کند، Recall@5 نمیتواند افزایش پیدا کند؛ چون مجموعه اسناد بازیابیشده تغییری نکرده است.
برای سنجش درست اثر Reranking بهتر است مثلاً ۲۰ یا ۵۰ کاندید اولیه دریافت شود و سپس کیفیت پنج نتیجه نهایی با nDCG@5 و MRR@5 اندازهگیری شود.
نتیجه بنچمارک باید بر اساس سؤالهای واقعی پروژه تصمیمگیری شود، نه اینکه همیشه Vector یا Hybrid را برنده اعلام کند.
شرایط یک Benchmark منصفانه چیست؟
برای آنکه مقایسه معتبر باشد، باید شرایط آزمایش تا حد امکان یکسان بماند.
- تمام روشها از یک مجموعه سند و نسخه یکسان داده استفاده کنند.
- تقسیمبندی Chunkها و سیاست فیلتر دسترسی مشخص باشد.
- برای هر روش تعداد نتایج نهایی یکسان باشد.
- مدل Embedding و Reranker ثابت و نسخهبندیشده باشند.
- زمان جستوجو، زمان Encoding و زمان Reranking جدا گزارش شوند.
- Warm-up، Cache و سختافزار اجرای تست ثبت شوند.
- سؤالهای ساده و سخت هر دو در مجموعه ارزیابی حضور داشته باشند.
- نتایج با چند اجرای مستقل و شاخصهای آماری مناسب بررسی شوند.
برای جلوگیری از نشت اطلاعات، پرسشهای مجموعه آزمون بهتر است در تنظیم Prompt، انتخاب مدل یا بهینهسازی بیش از حد روی همان نمونهها استفاده نشوند.
RAG فارسی بدون Vector Database چه چالشهایی دارد؟
در زبان فارسی، جستوجوی متنی میتواند با مشکلاتی مانند تفاوت کاراکترهای عربی و فارسی، فاصله و نیمفاصله، صورتهای مختلف واژه و ترکیبات چندبخشی مواجه شود.
برای مثال، کاربر ممکن است عبارت «صورتحساب» را جستوجو کند، اما سند از عبارت «صورت حساب» استفاده کرده باشد.
در چنین حالتی، Full-Text ساده ممکن است سند مرتبط را پیدا نکند.
برای بهبود بازیابی فارسی میتوان از موارد زیر استفاده کرد:
- نرمالسازی حروف «ي/ی» و «ك/ک».
- یکسانسازی نیمفاصله و فاصله در موارد مشخص.
- تعریف مترادفها و عبارتهای جایگزین.
- ایجاد فیلدهای جداگانه برای عنوان، برچسب و متن.
- آزمایش Tokenizer و روشهای ریشهیابی مناسب فارسی.
- بررسی Embedding چندزبانه در صورت ضعف بازیابی واژگانی.
انتخاب یک مدل Embedding چندزبانه نیز بهتنهایی کیفیت فارسی را تضمین نمیکند. بهتر است مدل روی سؤالها و اسناد واقعی همان حوزه ارزیابی شود.
امنیت و دسترسی در RAG بدون Vector Database
حذف Vector Database به معنی حذف مسائل امنیتی نیست.
در سیستمهای چندکاربری، هر درخواست باید فقط از اسناد متعلق به همان کاربر یا سازمان بازیابی کند.
برای مثال، اگر اسناد در جدول SQL نگهداری میشوند، بهتر است مجوزهای دسترسی از طریق شناسه معتبر کاربر و قوانین دیتابیس اعمال شوند؛ نه صرفاً بر اساس فیلتری که مدل زبانی تولید کرده است.
همچنین متن بازیابیشده ممکن است حاوی دستورهای گمراهکننده باشد. مدل باید آن را منبع داده بداند، نه دستور سطح سیستم.
از دیگر موارد ضروری میتوان به ثبت شناسه سندهای استفادهشده، محدودیت حجم Context، حذف داده حساس از Log و اعتبارسنجی ارجاعهای پاسخ اشاره کرد.
چه زمانی Vector Search واقعاً ارزش اضافهکردن دارد؟
اگر در بنچمارک مشخص شود Full-Text Search بخش قابل توجهی از اسناد مرتبط را از دست میدهد، بررسی Embedding منطقی خواهد بود.
این وضعیت بیشتر در شرایط زیر دیده میشود:
- سؤالها با واژههایی متفاوت از اسناد مطرح میشوند.
- کاربران توصیف معنایی میدهند، نه عنوان یا شناسه دقیق.
- محتوا چندزبانه است و بازیابی میانزبانی اهمیت دارد.
- مجموعه اسناد شامل توضیحات بلند و مفاهیم نزدیک است.
- Full-Text همراه با Normalization و مترادفها به Recall مطلوب نمیرسد.
- ترکیب جستوجوی معنایی و واژگانی بهبود قابلاندازهگیری ایجاد میکند.
بااینحال، پس از تصمیم به استفاده از Embedding هم باید جداگانه بررسی شود که آیا یک افزونه مانند pgvector کافی است یا واقعاً به یک سیستم برداری مستقل نیاز داریم.
راهنمای تصمیمگیری برای انتخاب معماری RAG
| نوع پروژه | پیشنهاد شروع |
|---|---|
| گزارش مالی و اطلاعات سفارش | SQL و Toolهای ساختاریافته |
| سایت راهنما با چند صد مقاله | Full-Text Search |
| جستوجوی خطا و کد فنی | Full-Text همراه با Exact Match |
| مجموعه اسناد با پرسشهای معنایی | مقایسه Full-Text و Embedding |
| اسناد فنی همراه سؤالهای متنوع | Hybrid در صورت بهبود قابلسنجش |
| مجموعه بسیار بزرگ و پرترافیک | انتخاب موتور و ایندکس براساس Benchmark |
این جدول یک نقطه شروع برای طراحی است، نه جایگزین آزمایش واقعی.
اشتباههای رایج هنگام انتخاب RAG
۱. استفاده از Vector Database قبل از سنجش Full-Text
ممکن است یک قابلیت داخلی دیتابیس فعلی، نیاز پروژه را با هزینه و پیچیدگی کمتر برطرف کند.
۲. فرض اینکه تعداد اسناد همهچیز را تعیین میکند
نوع سؤال، تعداد Chunk، ساختار داده و کیفیت بازیابی اهمیت بیشتری از یک آستانه ثابت سند دارند.
۳. استفاده از Embedding برای اطلاعات عددی و شناسههای دقیق
برای جمع مبالغ، فیلتر تاریخ و جستوجوی کلید یکتا، SQL و جستوجوی دقیق معمولاً انتخاب مناسبتری هستند.
۴. حذف Reranker بدون آزمون
ممکن است بازیابی اولیه اسناد مرتبط را پیدا کند ولی ترتیب مناسبی نداشته باشد. Reranking میتواند در این وضعیت مفید باشد.
۵. اعتماد به Recall بدون بررسی پاسخ نهایی
بازیابی بهتر همیشه به پاسخ نهایی بهتر منجر نمیشود. کیفیت Context و تولید پاسخ نیز باید سنجیده شوند.
۶. نادیدهگرفتن زبان فارسی
Tokenization ضعیف و تفاوت نیمفاصله میتواند عملکرد Full-Text را کاهش دهد؛ همانطور که مدل Embedding نامناسب نیز ممکن است نتایج ضعیفی تولید کند.
۷. مقایسه زمان جستوجو بدون هزینه Encoding
برای Vector Search باید مشخص شود زمان ساخت Embedding سؤال و هزینه بروزرسانی ایندکس در گزارش لحاظ شدهاند یا خیر.
چکلیست انتخاب RAG برای محیط Production
- دستهبندی سؤالهای واقعی کاربران.
- ساخت Golden Dataset با اسناد مرتبط.
- اجرای Baseline مبتنی بر SQL و Full-Text.
- نرمالسازی مناسب دادههای فارسی.
- بررسی نیاز واقعی به بازیابی معنایی.
- مقایسه Embedding و Hybrid در شرایط یکسان.
- اندازهگیری Recall، MRR و nDCG.
- اندازهگیری Latency و هزینه ایندکس و Query.
- بررسی اثر Reranking بر پاسخ نهایی.
- کنترل دسترسی Tenant و محرمانگی اسناد.
- ثبت منبع پاسخها و بررسی درستی استناد.
- تعیین سیاست بهروزرسانی و حذف اسناد.
- اجرای Benchmark مجدد پس از تغییر داده یا مدل.
جمعبندی؛ در سال ۲۰۲۶ کدام معماری RAG بهتر است؟
برای ساخت RAG لازم نیست همیشه از Vector Database شروع کنیم. اگر دادهها ساختاریافتهاند، SQL میتواند اطلاعات دقیق و قابل کنترل ارائه دهد. اگر کاربران عمدتاً عبارتها، کدهای خطا و اصطلاحات مشخص را جستوجو میکنند، Full-Text Search میتواند گزینهای کارآمد باشد.
در مقابل، وقتی ارتباط معنایی میان سؤال و سند مهم است و واژههای یکسانی به کار نمیروند، Embedding Search ارزش بیشتری پیدا میکند. Hybrid Retrieval و Reranking نیز در شرایط مناسب میتوانند کیفیت را افزایش دهند.
بهترین تصمیم این است که ابتدا یک Baseline ساده بسازید، سپس آن را با روشهای پیچیدهتر مقایسه کنید. اگر Vector Search بهبود مشخصی در کیفیت پاسخ یا تجربه کاربر ایجاد نکرد، اضافهکردن دیتابیس برداری فقط هزینه و پیچیدگی بیشتری به پروژه تحمیل میکند.
اصل نهایی: در RAG، معیار انتخاب فناوری باید کیفیت بازیابی، دقت پاسخ، سرعت و هزینه واقعی پروژه باشد؛ نه محبوبیت یک ابزار یا معماری.
سؤالات متداول درباره RAG بدون Vector Database
آیا RAG بدون Vector Database امکانپذیر است؟
بله. RAG به بازیابی اطلاعات مرتبط نیاز دارد و میتوان این اطلاعات را از SQL، Full-Text Search یا روشهای دیگر به دست آورد.
چه زمانی Full-Text Search از Vector Search مناسبتر است؟
برای بازیابی اصطلاحات دقیق، کدهای خطا، شماره نسخه، نام محصول و اسنادی که تطبیق واژگانی اهمیت دارد، Full-Text میتواند مناسبتر باشد.
آیا تعداد کم اسناد به معنی بینیازی از Embedding است؟
خیر. حتی مجموعه کوچک نیز ممکن است پرسشهای معنایی دشوار داشته باشد. تعداد اسناد فقط یکی از عوامل تصمیمگیری است.
آیا میتوان Embedding را بدون دیتابیس برداری مستقل استفاده کرد؟
بله. میتوان بردارها را در حافظه نگهداری کرد یا از افزونههایی مانند pgvector داخل PostgreSQL استفاده کرد.
آیا Reranking بدون Vector Database کار میکند؟
بله. میتوان نتایج Full-Text را به Reranker داد و مناسبترین اسناد را دوباره مرتب کرد.
برای RAG فارسی کدام روش بهتر است؟
پاسخ به نوع داده و سؤال بستگی دارد. Full-Text با نرمالسازی فارسی و Embedding چندزبانه باید روی مجموعه داده واقعی مقایسه شوند.
چگونه بفهمیم Vector Database برای پروژه لازم است؟
با ساخت Golden Dataset و مقایسه SQL، Full-Text و Vector Search بر اساس کیفیت بازیابی، دقت پاسخ، Latency و هزینه.






دیدگاهها (۰)