مجله ایرانیکاسرورآموزش سرور، هاست، وردپرس و شبکه
آموزشی

رفع مشکل OOM Killer در لینوکس؛ علت بسته شدن سرویس‌ها با وجود رم آزاد

فرض کنید یک سرور لینوکسی دارید که دارای ۸ گیگابایت RAM است. ناگهان یکی از سرویس‌های مهم مانند Node.js، PHP-FPM یا PostgreSQL بسته می‌شود و در لاگ سیستم پیامی درباره Out of Memory یا…

رفع مشکل OOM Killer در لینوکس؛ علت بسته شدن سرویس‌ها با وجود رم آزاد
خلاصه سریع این آموزش

فرض کنید یک سرور لینوکسی دارید که دارای ۸ گیگابایت RAM است. ناگهان یکی از سرویس‌های مهم مانند Node.js، PHP-FPM یا PostgreSQL بسته می‌شود و در لاگ سیستم پیامی درباره…

۱۹ دقیقه مطالعه ۰ دیدگاه ۲۸ آبان ۱۴۰۵ آخرین به‌روزرسانی

فرض کنید یک سرور لینوکسی دارید که دارای ۸ گیگابایت RAM است. ناگهان یکی از سرویس‌های مهم مانند Node.js، PHP-FPM یا PostgreSQL بسته می‌شود و در لاگ سیستم پیامی درباره Out of Memory یا OOM Killer می‌بینید. چند لحظه بعد دستور free -h را اجرا می‌کنید، اما همچنان چند گیگابایت حافظه آزاد یا قابل استفاده نمایش داده می‌شود. پس چرا لینوکس برنامه را بسته است؟

این اتفاق همیشه به معنی کمبود RAM کل سرور نیست. ممکن است سرویس تحت یک محدودیت حافظه اختصاصی در systemd اجرا شود، کانتینر Docker به سقف مصرف خود رسیده باشد یا فشار حافظه در یک cgroup باعث فعال‌شدن OOM Killer شده باشد. در بعضی موارد نیز مدیریت حافظه مجازی، Swap یا systemd-oomd در بسته‌شدن پردازش نقش دارند.

برای رفع مشکل Linux OOM Killer باید ابتدا مشخص کنیم چه چیزی پردازش را خاتمه داده و محدودیت حافظه در کدام سطح اعمال شده است. افزایش تصادفی RAM، خاموش‌کردن OOM Killer یا Restart مکرر سرویس، بدون شناسایی علت، راه‌حل پایداری نیست.

در این راهنما، تفاوت OOM سراسری و محدودیت cgroup را بررسی می‌کنیم؛ با دستورات journalctl، systemctl، free، فایل‌های memory.events و ابزارهای Docker علت را پیدا می‌کنیم و روش اصلاح ایمن مصرف حافظه را توضیح می‌دهیم.

فهرست مطالب

OOM Killer در لینوکس چیست؟

OOM Killer یکی از سازوکارهای مدیریت شرایط کمبود حافظه در هسته لینوکس است. هنگامی که تخصیص حافظه موردنیاز در شرایط مشخصی امکان‌پذیر نباشد و روش‌های بازیابی حافظه کافی نباشند، Kernel ممکن است یک یا چند پردازش را خاتمه دهد.

این کار می‌تواند از قفل‌شدن کامل سیستم در بعضی سناریوهای فشار حافظه جلوگیری کند، اما ممکن است باعث توقف یک سرویس مهم شود.

نکته مهم این است که حافظه همیشه فقط در سطح کل سرور مدیریت نمی‌شود. لینوکس با استفاده از cgroups می‌تواند برای یک سرویس، گروه پردازش یا کانتینر، محدودیت حافظه مستقلی اعمال کند.

بنابراین ممکن است سرور ۸ گیگابایت RAM داشته باشد ولی یک برنامه با سقف ۱ گیگابایت در cgroup اجرا شود. اگر مصرف قابل حساب آن گروه به سقف برسد و حافظه کافی آزاد نشود، OOM می‌تواند در همان گروه رخ دهد.

تفاوت OOM سراسری، cgroup OOM و systemd-oomd

نوع رخداد علت معمول محل بررسی
Global OOM فشار حافظه در سطح میزبان یا محدودیت‌های تخصیص Kernel Journal و وضعیت RAM/Swap
cgroup OOM رسیدن مصرف گروه به memory.max memory.events و memory.max
Container OOM رسیدن کانتینر به محدودیت حافظه docker inspect و cgroup
systemd-oomd تصمیم سرویس Userspace بر اساس فشار حافظه یا Swap journalctl و oomctl
Application Memory Error محدودیت داخلی Runtime یا شکست تخصیص لاگ خود برنامه

همچنین کد خروج 137 در بسیاری از محیط‌ها با خاتمه از طریق SIGKILL مرتبط است؛ اما به‌تنهایی اثبات نمی‌کند Kernel OOM Killer عامل خاتمه بوده است.

چرا با وجود RAM آزاد، OOM اتفاق می‌افتد؟

برای پاسخ باید به پنج تفاوت مهم توجه کنیم.

۱. RAM آزاد میزبان با حافظه مجاز سرویس برابر نیست

اگر systemd برای سرویس MemoryMax تعریف کرده باشد، پردازش باید داخل همان محدودیت کار کند. حافظه آزاد سایر قسمت‌های سرور الزاماً این محدودیت را افزایش نمی‌دهد.

۲. حافظه بعد از بسته‌شدن پردازش آزاد می‌شود

ممکن است هنگام وقوع OOM، مصرف حافظه بسیار بالا بوده باشد؛ اما پس از خاتمه پردازش، مقدار زیادی RAM آزاد شده باشد. خروجی free -h که بعداً گرفته شده، الزاماً وضعیت لحظه وقوع رخداد را نشان نمی‌دهد.

۳. حافظه تعهدشده با حافظه مصرف‌شده تفاوت دارد

در لینوکس، Committed_AS مربوط به حافظه مجازی تعهدشده است. این مقدار با RSS یا حافظه فیزیکی فعلی پردازش یکسان نیست.

سیاست vm.overcommit_memory می‌تواند روی پذیرش درخواست‌های تخصیص حافظه اثر بگذارد. بااین‌حال، خطای تخصیص در حالت Strict Overcommit الزاماً به معنی اجرای OOM Killer نیست؛ گاهی برنامه فقط خطای تخصیص حافظه دریافت می‌کند.

۴. حافظه قابل استفاده از دید یک کانتینر محدود است

کانتینر Docker یا سرویس Kubernetes ممکن است سقف حافظه خاصی داشته باشد که مستقل از RAM آزاد Host است.

۵. فشار حافظه می‌تواند باعث تصمیم systemd-oomd شود

systemd-oomd با استفاده از اطلاعات فشار حافظه و Swap می‌تواند قبل از رسیدن به OOM در Kernel، گروهی از پردازش‌ها را خاتمه دهد. این رفتار باید مستقل از Kernel OOM بررسی شود.

منابع رسمی:
Linux Kernel cgroup v2
و
systemd-oomd.

نشانه‌های مهم Linux OOM Killer

نشانه تفسیر احتمالی
Killed process در Kernel Log رخداد OOM در Kernel
Memory cgroup out of memory احتمال OOM مرتبط با cgroup
Result: oom-kill در systemctl شکست سرویس مرتبط با رویداد OOM
memory.events شامل oom_kill افزایشی پردازش در آن cgroup بر اثر OOM کشته شده است
Docker OOMKilled: true ثبت خاتمه مرتبط با OOM در وضعیت کانتینر
systemd-oomd پیام Killed دارد احتمال اقدام Userspace OOM Manager
Java OutOfMemoryError ممکن است محدودیت داخلی JVM باشد
Exit Code 137 خاتمه SIGKILL؛ علت نیازمند شواهد دیگر

مرحله اول: بررسی Kernel Log برای پیدا کردن OOM

اولین مرحله در تشخیص OOM، بررسی رخدادهای زمان خرابی در Kernel Journal است.

sudo journalctl -k -b --no-pager |
grep -Ei 'out of memory|oom-kill|killed process|memory cgroup'

اگر زمان دقیق خرابی مشخص است، بازه زمانی را محدود کنید:

sudo journalctl -k \
--since "2026-11-19 09:00:00" \
--until "2026-11-19 10:00:00" \
--no-pager

اگر مشکل در Boot قبلی رخ داده و Journal پایدار است، می‌توان Boot قبلی را نیز بررسی کرد:

sudo journalctl -k -b -1 --no-pager |
grep -Ei 'out of memory|oom|killed process'

اگر فایل‌های Journal بوت قبلی نگهداری نشده باشند، این بررسی ممکن است نتیجه نداشته باشد.

مرحله دوم: تفسیر اطلاعات OOM در Kernel

نمونه‌ای فرضی از پیام OOM:

Memory cgroup out of memory:
Killed process 2451 (node)
total-vm:2200000kB
anon-rss:790000kB

این خروجی صرفاً برای توضیح است و یک لاگ واقعی از سرور مشخصی نیست.

در رخدادهای واقعی به موارد زیر توجه کنید:

  • نام و PID پردازش خاتمه‌یافته.
  • عبارت‌های مربوط به memcg یا cgroup.
  • مقدار RSS و حافظه مجازی پردازش.
  • نام cgroup یا مسیر گروه حافظه.
  • بازه زمانی وقوع و رخدادهای قبل از آن.
  • وجود پیام‌های OOM دیگر در همان زمان.

اگر پیام به Memory cgroup اشاره می‌کند، بررسی محدودیت اختصاصی سرویس مهم‌تر از مقدار RAM آزاد میزبان است.

همچنین پردازشی که توسط OOM Killer انتخاب شده، الزاماً تنها عامل ایجاد فشار حافظه نیست. مصرف سایر پردازش‌های همان گروه، Page Cache و حافظه Kernel قابل حساب نیز باید بررسی شود.

مرحله سوم: بررسی RAM، Swap و حافظه قابل استفاده

برای مشاهده وضعیت حافظه:

free -h

swapon --show

grep -E \
'MemTotal|MemFree|MemAvailable|SwapTotal|SwapFree|Shmem' \
/proc/meminfo

در تحلیل خروجی free، مقدار Available معمولاً از Free برای تخمین حافظه قابل استفاده در سطح Host مفیدتر است؛ زیرا بخشی از Cache می‌تواند آزاد شود.

اما هیچ‌کدام به‌تنهایی وضعیت محدودیت حافظه یک cgroup را نشان نمی‌دهند.

اگر Swap فعال نیست، این موضوع می‌تواند در شرایط فشار حافظه انعطاف سیستم را کمتر کند؛ بااین‌حال فعال‌کردن Swap بدون ارزیابی نوع Workload و محدودیت‌های سرویس، جایگزین مدیریت مصرف RAM نیست.

مرحله چهارم: بررسی Overcommit و Committed Memory

لینوکس می‌تواند اجازه دهد برنامه‌ها بیش از حافظه فیزیکی فعلی، فضای حافظه مجازی درخواست کنند. رفتار دقیق به سیاست Overcommit بستگی دارد.

برای مشاهده سیاست فعلی:

sysctl vm.overcommit_memory

sysctl vm.overcommit_ratio

grep -E 'CommitLimit|Committed_AS' /proc/meminfo

سه حالت مهم vm.overcommit_memory عبارت‌اند از:

مقدار رفتار کلی
0 بررسی تخمینی تخصیص حافظه توسط Kernel
1 اجازه Overcommit بدون بررسی محدودیت به شیوه معمول
2 حالت Strict با محدودیت تعهد حافظه

در حالت ۲، مقدار CommitLimit نقش مهمی در پذیرش درخواست‌های تعهد حافظه دارد. در این حالت ممکن است قبل از مصرف واقعی تمام RAM، درخواست تخصیص حافظه رد شود.

تفاوت اساسی: بالا بودن Committed_AS به‌تنهایی اثبات وقوع OOM Kill نیست. Committed Memory یک شاخص حسابداری حافظه مجازی است و باید همراه با Kernel Log، مصرف واقعی و سیاست Overcommit تفسیر شود.

از تغییر شتاب‌زده vm.overcommit_memory برای رفع مشکل جلوگیری کنید. بعضی پایگاه‌های داده و Runtimeها الزامات مشخصی برای این تنظیم دارند.

منبع:
Linux Kernel – Overcommit Accounting.

مرحله پنجم: بررسی محدودیت RAM در سرویس systemd

فرض کنید برنامه Node.js با سرویس myapp.service اجرا می‌شود.

برای مشاهده وضعیت:

systemctl status myapp.service --no-pager -l

برای مشاهده تنظیمات حافظه مؤثر:

systemctl show myapp.service \
-p MemoryAccounting \
-p MemoryCurrent \
-p MemoryPeak \
-p MemoryHigh \
-p MemoryMax \
-p MemorySwapMax \
-p OOMPolicy \
-p ControlGroup

بسته به نسخه systemd، بعضی ویژگی‌ها ممکن است موجود نباشند یا مقدار مشخصی نمایش ندهند.

مهم‌ترین تفاوت‌ها:

تنظیم کاربرد
MemoryCurrent مصرف فعلی قابل حساب سرویس
MemoryPeak بیشینه مصرف ثبت‌شده، در نسخه‌های پشتیبانی‌شده
MemoryHigh آستانه فشار و Reclaim؛ معمولاً Hard OOM Limit نیست
MemoryMax سقف سخت حافظه سرویس
MemorySwapMax محدودیت Swap مرتبط با گروه
OOMPolicy نحوه واکنش systemd به رویدادهای OOM

همچنین ممکن است محدودیت حافظه از یک Slice والد به سرویس منتقل شود. بنابراین بررسی صرف فایل Unit اصلی همیشه کافی نیست.

مرحله ششم: بررسی مستقیم memory.max و memory.events

در محیط دارای cgroup v2، می‌توان وضعیت حافظه گروه را از فایل‌های Kernel بررسی کرد.

ابتدا نوع cgroup را مشخص کنید:

findmnt -n -o FSTYPE /sys/fs/cgroup

اگر خروجی cgroup2 است، برای سرویس systemd مسیر گروه را دریافت کنید:

CGROUP=$(systemctl show -P ControlGroup myapp.service)

printf '%s\n' "$CGROUP"

پس از تأیید وجود مسیر و معتبر بودن آن:

CGROUP=$(systemctl show -P ControlGroup myapp.service)

if [ -n "$CGROUP" ] && [ "$CGROUP" != "/" ]; then
  BASE="/sys/fs/cgroup$CGROUP"

  for FILE in memory.current memory.peak \
              memory.high memory.max \
              memory.swap.current memory.swap.max \
              memory.events memory.events.local; do
    if [ -r "$BASE/$FILE" ]; then
      echo "===== $FILE ====="
      cat "$BASE/$FILE"
    fi
  done
fi

اگر سرویس از قبل خاتمه یافته باشد، ممکن است cgroup مربوط از بین رفته باشد. در این حالت Kernel Journal، گزارش‌های مانیتورینگ قبلی و وضعیت Unit اهمیت بیشتری پیدا می‌کنند.

همچنین محدودیت‌های والد مانند system.slice یا یک Slice اختصاصی باید بررسی شوند؛ چون سقف مؤثر مصرف ممکن است در سطح بالاتر اعمال شده باشد.

چگونه memory.events را تفسیر کنیم؟

فایل memory.events آمار رخدادهای مرتبط با کنترل حافظه cgroup را نگهداری می‌کند.

نمونه فرضی:

low 0
high 24
max 15
oom 3
oom_kill 2
oom_group_kill 0
فیلد معنی کلی
high وقوع شرایط فشار مرتبط با memory.high
max تلاش برای عبور از آستانه memory.max
oom رخداد وضعیت OOM در گروه طبق قواعد Kernel
oom_kill تعداد پردازش‌های کشته‌شده توسط OOM Killer در دامنه شمارش مربوط
oom_group_kill دفعات خاتمه گروهی در شرایط مربوط

مقادیر memory.events ممکن است رخدادهای زیرگروه‌ها را نیز شامل شوند. برای آمار محلی گروه، در صورت وجود از memory.events.local استفاده کنید.

افزایش مقدار max الزاماً به معنی کشته‌شدن پردازش نیست. برای تشخیص OOM واقعی باید مقدارهای oom و oom_kill و لاگ Kernel را با زمان رخداد مقایسه کرد.

منبع:
Linux Kernel – Memory Controller and Events.

مرحله هفتم: بررسی محدودیت حافظه Slice والد

اگر MemoryMax خود سرویس نامحدود است، همچنان ممکن است یک Slice والد محدود باشد.

برای مشاهده مسیر گروه:

systemctl show myapp.service -p Slice -p ControlGroup

systemctl show system.slice \
-p MemoryHigh \
-p MemoryMax \
-p MemoryCurrent

اگر سرویس در Slice اختصاصی قرار دارد، باید همان Slice و تمام اجداد cgroup مربوط نیز بررسی شوند.

بررسی Slice والد مهم است؛ زیرا چند سرویس ممکن است به‌صورت مشترک یک بودجه حافظه داشته باشند. در این وضعیت، مصرف سایر سرویس‌های همان گروه نیز می‌تواند در رسیدن به محدودیت نقش داشته باشد.

مرحله هشتم: بررسی systemd-oomd

در بعضی توزیع‌ها، سرویس systemd-oomd برای مدیریت پیشگیرانه فشار حافظه فعال است.

برای بررسی وضعیت:

systemctl status systemd-oomd --no-pager -l

sudo journalctl -u systemd-oomd \
-b --no-pager

در نسخه‌هایی که ابزار oomctl موجود است:

oomctl dump

systemd-oomd با استفاده از اطلاعات فشار حافظه، از جمله PSI، می‌تواند درباره خاتمه یک گروه پردازشی تصمیم بگیرد. بنابراین ممکن است رویداد خاتمه برنامه در لاگ systemd-oomd ثبت شده باشد، نه به همان شکل پیام Kernel OOM.

هشدار: غیرفعال‌کردن systemd-oomd برای حل فوری خرابی توصیه نمی‌شود. ابتدا باید سیاست مدیریت فشار حافظه، مصرف برنامه و نیاز واقعی سرویس بررسی شود.

مرحله نهم: بررسی Memory Pressure با PSI

Pressure Stall Information یا PSI نشان می‌دهد پردازش‌ها چه میزان زمان را به دلیل کمبود منابع و انتظار برای پیشرفت عملیات از دست داده‌اند.

برای مشاهده فشار حافظه در سطح سیستم:

cat /proc/pressure/memory

در cgroup v2 نیز در صورت وجود فایل مربوط، می‌توان مقدار memory.pressure همان گروه را بررسی کرد.

مقدارهای some و full در PSI نشان‌دهنده نوع فشار منابع هستند. این اطلاعات به‌خصوص برای تحلیل رخدادهای systemd-oomd مفیدند.

اما PSI به‌تنهایی مشخص نمی‌کند کدام برنامه عامل نهایی OOM بوده است؛ باید همراه با مصرف حافظه و لاگ‌های سیستم بررسی شود.

مرحله دهم: بررسی OOM Killer در Docker

در Docker، حافظه آزاد میزبان معیار کافی برای سلامت حافظه کانتینر نیست.

برای مشاهده کانتینرها:

docker ps -a

برای بررسی وضعیت OOM کانتینر:

docker inspect \
--format 'OOMKilled={{.State.OOMKilled}} ExitCode={{.State.ExitCode}} MemoryLimit={{.HostConfig.Memory}}' \
CONTAINER_NAME

نام CONTAINER_NAME را با نام کانتینر واقعی جایگزین کنید.

برای مشاهده مصرف لحظه‌ای کانتینر:

docker stats --no-stream

خروجی OOMKilled می‌تواند شاهد مهمی از وضعیت کانتینر باشد؛ اما برای تشخیص علت نهایی بهتر است Kernel Log و تنظیمات حافظه کانتینر نیز بررسی شوند.

همچنین مقدار MemoryLimit برحسب بایت است و مقدار صفر معمولاً نشان می‌دهد محدودیت سخت مستقلی از این گزینه Docker تعریف نشده است؛ بااین‌حال ممکن است محدودیت در سطح دیگری مانند cgroup والد اعمال شود.

منبع رسمی:
Docker – Resource Constraints.

آیا فایل‌های موقت tmpfs می‌توانند باعث OOM کانتینر شوند؟

بله. داده‌های ذخیره‌شده در tmpfs نیز می‌توانند در حسابداری حافظه cgroup تأثیر داشته باشند.

برای مثال، اگر کانتینر سقف حافظه ۵۱۲ مگابایت داشته باشد و برنامه حجم زیادی فایل موقت در یک tmpfs ایجاد کند، مصرف این فایل‌ها می‌تواند باعث فشار بر همان محدودیت شود.

بنابراین نباید فرض کرد tmpfs یک فضای ذخیره‌سازی مستقل و رایگان خارج از محدودیت حافظه کانتینر است.

اگر سرویس با فایل‌های موقت حجیم کار می‌کند، باید مسیر فایل موقت، سقف cgroup، مصرف Cache و نیاز واقعی برنامه به RAM بررسی شود.

منبع:
Docker tmpfs Mounts.

مرحله یازدهم: OOM Score و انتخاب پردازش قربانی

در OOM سراسری، Kernel هنگام انتخاب پردازش برای خاتمه، عواملی مانند مصرف حافظه و تنظیمات OOM Score را در نظر می‌گیرد.

برای مشاهده امتیاز فعلی یک پردازش:

cat /proc/PID/oom_score

cat /proc/PID/oom_score_adj

PID باید با شناسه واقعی یک پردازش در حال اجرا جایگزین شود.

تنظیم oom_score_adj می‌تواند در انتخاب قربانی OOM سراسری نقش داشته باشد، اما درمان کمبود حافظه نیست.

هشدار: تنظیم محافظت شدید برای تمام پردازش‌های حیاتی ممکن است هنگام کمبود حافظه، انتخاب قربانی مناسب را دشوار کند و به پایداری سیستم آسیب برساند. این گزینه باید فقط براساس سیاست مشخص و با درک پیامدهای آن استفاده شود.

مرحله دوازدهم: اصلاح ایمن محدودیت حافظه سرویس

اگر مشخص شد مشکل از MemoryMax پایین‌تر از نیاز واقعی برنامه است، می‌توان تنظیم آن را بررسی کرد؛ اما مقدار درست باید براساس مصرف اوج، حافظه سایر سرویس‌ها و ظرفیت Host تعیین شود.

برای نمونه، یک Drop-in آموزشی برای سرویس systemd می‌تواند چنین باشد:

[Service]
MemoryHigh=1200M
MemoryMax=1500M

این اعداد صرفاً مثال هستند. نباید بدون اندازه‌گیری مصرف واقعی روی سرور تولیدی اعمال شوند.

بهتر است ابتدا MemoryHigh برای کنترل فشار حافظه و MemoryMax به‌عنوان آخرین حد دفاعی طراحی شوند.

تغییر محدودیت حافظه سرویس و اعمال آن به Unit فعال باید با بررسی رفتار systemd و برنامه نگهداری انجام شود؛ زیرا کاهش یا تغییر ناگهانی محدودیت می‌تواند باعث فشار حافظه یا OOM جدید شود.

منبع:
systemd Resource Control.

مرحله سیزدهم: حافظه برنامه را هم بررسی کنید

گاهی محدودیت cgroup تنها بخشی از مشکل است. برنامه ممکن است مصرف حافظه غیرعادی داشته باشد یا تنظیم داخلی آن با ظرفیت کانتینر تناسب نداشته باشد.

برای مثال:

  • JVM ممکن است Heap مشخصی داشته باشد، اما مصرف واقعی Process شامل Native Memory و Thread Stackها نیز باشد.
  • Node.js ممکن است به‌دلیل نگهداری حجم زیادی داده در حافظه، مصرف بالایی پیدا کند.
  • PHP-FPM با تعداد زیاد Worker می‌تواند مجموعاً RAM زیادی مصرف کند.
  • دیتابیس ممکن است Bufferها، Connectionها و Queryهای پرمصرف داشته باشد.
  • برنامه دارای Memory Leak ممکن است با گذشت زمان به سقف حافظه برسد.

بنابراین صرف افزایش MemoryMax ممکن است فقط زمان وقوع OOM را عقب بیندازد. اگر مصرف دائماً رشد می‌کند، باید Memory Leak، تعداد Workerها و الگوی بار برنامه نیز بررسی شود.

اسکریپت یکپارچه تشخیص Linux OOM Killer

اسکریپت زیر وضعیت RAM، Swap، سیاست Overcommit، لاگ‌های OOM و محدودیت‌های حافظه یک سرویس systemd را جمع‌آوری می‌کند.

این اسکریپت تنظیمات حافظه را تغییر نمی‌دهد، سرویس‌ها را Restart نمی‌کند و هیچ پردازشی را خاتمه نمی‌دهد.

#!/usr/bin/env bash
set -u

SERVICE="${1:-myapp.service}"

echo "===== OS ====="
cat /etc/os-release

echo "===== DATE ====="
date --iso-8601=seconds

echo "===== KERNEL ====="
uname -r

echo "===== MEMORY ====="
free -h

echo "===== SWAP ====="
swapon --show

echo "===== MEMORY DETAILS ====="
grep -E \
'MemAvailable|Shmem|SwapTotal|SwapFree|CommitLimit|Committed_AS' \
/proc/meminfo

echo "===== OVERCOMMIT ====="
sysctl vm.overcommit_memory
sysctl vm.overcommit_ratio

echo "===== CGROUP FILESYSTEM ====="
findmnt -n -o FSTYPE /sys/fs/cgroup

echo "===== SERVICE STATUS ====="
systemctl status "$SERVICE" --no-pager -l || true

echo "===== SERVICE MEMORY SETTINGS ====="
systemctl show "$SERVICE" \
-p MemoryCurrent \
-p MemoryPeak \
-p MemoryHigh \
-p MemoryMax \
-p MemorySwapMax \
-p OOMPolicy \
-p ControlGroup || true

echo "===== CGROUP MEMORY EVENTS ====="
if [ "$(findmnt -n -o FSTYPE /sys/fs/cgroup)" = "cgroup2" ]; then
    CGROUP="$(systemctl show -P ControlGroup "$SERVICE" 2>/dev/null)"

    if [ -n "$CGROUP" ] && [ "$CGROUP" != "/" ]; then
        BASE="/sys/fs/cgroup${CGROUP}"

        for NAME in memory.current memory.max \
                    memory.high memory.events \
                    memory.events.local memory.pressure; do
            if [ -r "$BASE/$NAME" ]; then
                echo "===== $NAME ====="
                cat "$BASE/$NAME"
            fi
        done
    fi
fi

echo "===== OOM KERNEL EVENTS ====="
journalctl -k -b --no-pager 2>/dev/null |
grep -Ei 'out of memory|oom-kill|killed process|memory cgroup' |
tail -n 80 || true

echo "===== SYSTEMD-OOMD EVENTS ====="
journalctl -u systemd-oomd -b \
-n 50 --no-pager 2>/dev/null || true

echo "===== DIAGNOSTICS COMPLETE ====="

برای استفاده، نام سرویس موردنظر را به‌عنوان پارامتر بدهید. اگر سرویس از قبل خاتمه یافته، امکان دارد بعضی فایل‌های cgroup دیگر وجود نداشته باشند؛ در این صورت لاگ Kernel و داده‌های مانیتورینگ قبلی اهمیت دارند.

خروجی ممکن است اطلاعات داخلی سرویس، نام پردازش‌ها و وضعیت منابع زیرساخت را نشان دهد؛ پیش از ارسال برای پشتیبانی آن را بازبینی کنید.

جدول تصمیم‌گیری: علت واقعی OOM چیست؟

شواهد علت محتمل اقدام مناسب
Kernel Log از Global OOM خبر می‌دهد فشار حافظه میزبان بررسی اوج مصرف، Swap و برنامه‌ها
memory.max محدود و oom_kill افزایش یافته cgroup OOM تحلیل مصرف و سقف مؤثر گروه
Docker OOMKilled=true OOM مرتبط با کانتینر بررسی Memory Limit و مصرف برنامه
systemd-oomd خاتمه پردازش را ثبت کرده مدیریت Userspace بر اساس فشار بررسی PSI و سیاست ManagedOOM
Committed_AS بالا و تخصیص رد می‌شود احتمال محدودیت Commit بررسی Overcommit و خطای برنامه
OOM پس از ایجاد فایل موقت رخ می‌دهد مصرف tmpfs یا Cache بررسی محل فایل موقت و حسابداری حافظه
مصرف RAM برنامه به‌مرور رشد می‌کند احتمال Memory Leak Profiling و اصلاح برنامه
RAM بعد از Crash آزاد است آزادشدن حافظه با خاتمه Process بررسی شواهد لحظه رخداد
سرویس MemoryMax ندارد ولی Slice محدود است محدودیت cgroup والد بررسی سلسله‌مراتب cgroup

اشتباه‌های رایج هنگام رفع OOM Killer

۱. اتکا به free -h پس از بسته‌شدن سرویس

حافظه ممکن است با خاتمه پردازش آزاد شده باشد و وضعیت زمان رخداد را نشان ندهد.

۲. تصور اینکه وجود RAM آزاد به معنی نبود OOM است

محدودیت مستقل cgroup یا کانتینر ممکن است باعث رخداد OOM شود.

۳. افزایش نامحدود MemoryMax

این اقدام ممکن است فشار حافظه را به سایر سرویس‌ها منتقل کند.

۴. غیرفعال‌کردن OOM Killer

این کار می‌تواند وضعیت کمبود حافظه را خطرناک‌تر کند و به قفل‌شدن سرویس‌ها منجر شود.

۵. یکسان‌دانستن SIGKILL و OOM

هر خروج با سیگنال ۹ الزاماً نتیجه OOM Killer نیست.

۶. نادیده‌گرفتن systemd-oomd

این سرویس مستقل از رخداد کلاسیک Kernel OOM می‌تواند گروه پردازشی را خاتمه دهد.

۷. تغییر تصادفی vm.overcommit_memory

ممکن است مشکل برنامه را حل نکند و رفتار تخصیص حافظه را در سطح سیستم تغییر دهد.

۸. فرض اینکه Swap تمام مشکلات حافظه را حل می‌کند

Swap می‌تواند کمک کند، اما محدودیت cgroup، عملکرد برنامه و فشار حافظه همچنان اهمیت دارند.

۹. فراموش‌کردن مصرف tmpfs

فایل‌های موقت حافظه‌ای نیز می‌توانند در حسابداری حافظه مؤثر باشند.

۱۰. اصلاح‌نکردن Memory Leak

افزایش منابع ممکن است فقط وقوع خرابی را به تأخیر بیندازد.

سؤالات متداول درباره Linux OOM Killer

چرا OOM Killer با وجود RAM آزاد فعال می‌شود؟

ممکن است سرویس یا کانتینر به محدودیت حافظه مستقل خود رسیده باشد، یا حافظه پس از خاتمه پردازش آزاد شده باشد.

چطور بفهمیم OOM Killer کدام Process را بسته است؟

Kernel Journal را برای پیام‌های OOM، Killed process و اطلاعات PID بررسی کنید.

تفاوت Global OOM و cgroup OOM چیست؟

Global OOM مربوط به فشار تخصیص حافظه در سطح میزبان است؛ cgroup OOM در محدوده محدودیت حافظه یک گروه پردازشی رخ می‌دهد.

MemoryMax در systemd چیست؟

سقف سخت حافظه قابل حساب یک Unit است و رسیدن به آن می‌تواند به OOM محدود به cgroup منجر شود.

آیا MemoryHigh باعث OOM می‌شود؟

MemoryHigh معمولاً آستانه فشار و Reclaim است، نه همان سقف سخت MemoryMax.

چگونه OOM در Docker را تشخیص دهیم؟

از docker inspect برای بررسی OOMKilled و Memory Limit استفاده کنید و نتیجه را با Kernel Log تطبیق دهید.

systemd-oomd چه تفاوتی با Kernel OOM Killer دارد؟

systemd-oomd در فضای کاربر و با استفاده از شاخص‌های فشار حافظه و Swap تصمیم می‌گیرد؛ Kernel OOM Killer بخشی از مدیریت کمبود حافظه در هسته است.

آیا Committed_AS بالا به معنی کمبود قطعی RAM است؟

خیر. Committed_AS نشان‌دهنده حافظه تعهدشده است و با مصرف فیزیکی فعلی یکسان نیست.

آیا افزایش Swap مشکل OOM را برطرف می‌کند؟

در بعضی شرایط کمک می‌کند، اما محدودیت سخت cgroup و مصرف غیرعادی برنامه ممکن است همچنان باعث OOM شوند.

بهترین روش جلوگیری از تکرار OOM چیست؟

ثبت مصرف اوج حافظه، تحلیل cgroup و MemoryMax، بررسی Memory Leak، تنظیم صحیح منابع و پایش فشار حافظه با PSI.

جمع‌بندی؛ چرا OOM Killer با وجود حافظه آزاد سرویس را می‌بندد؟

وقتی یک سرویس لینوکسی با OOM بسته می‌شود، نباید فقط به مقدار RAM آزاد نگاه کرد. ممکن است سیستم در سطح میزبان حافظه کافی داشته باشد، اما گروهی از پردازش‌ها به سقف حافظه خود رسیده باشند.

برای تشخیص درست، ابتدا Kernel Journal را بررسی کنید و مشخص کنید OOM در سطح Host رخ داده یا cgroup. سپس مقادیر MemoryMax، memory.events، مصرف Swap و محدودیت‌های کانتینر را بررسی کنید. اگر systemd-oomd فعال است، تصمیم‌های آن را نیز جداگانه تحلیل کنید.

در نهایت، راهکار مناسب ممکن است اصلاح Memory Leak، تنظیم تعداد Workerها، افزایش حساب‌شده محدودیت حافظه یا جابه‌جایی فایل‌های موقت حجیم باشد.

اصل نهایی: وجود RAM آزاد روی Host به معنی آزادبودن حافظه برای تمام سرویس‌ها نیست. پیش از افزایش منابع یا تغییر سیاست OOM، محل واقعی محدودیت و عامل فشار حافظه را با شواهد شناسایی کنید.

زیرساخت لینوکسی متناسب با مصرف واقعی

برای سرویس‌های پرمصرف، منابع RAM و پردازشی متناسب انتخاب کنید

اجرای پایدار برنامه‌های لینوکسی، دیتابیس‌ها و کانتینرها به ظرفیت مناسب حافظه و مدیریت صحیح منابع وابسته است. اگر برای میزبانی پروژه‌های نرم‌افزاری، سرویس‌های پردازشی یا زیرساخت Docker به VPS نیاز دارید، پلن‌های سرور مجازی ایرانیکاسرور را بررسی کنید و برای انتخاب منابع متناسب با مصرف پروژه مشاوره بگیرید.

اشتراک‌گذاری مقاله
گفت‌وگو درباره آموزش

دیدگاه‌ها (۰)

هنوز دیدگاهی ثبت نشده است.

دیدگاه یا سؤال خود را بنویسید

نشانی ایمیل شما منتشر نخواهد شد. بخش‌های موردنیاز علامت‌گذاری شده‌اند *