فرض کنید یک سرور لینوکسی دارید که دارای ۸ گیگابایت RAM است. ناگهان یکی از سرویسهای مهم مانند Node.js، PHP-FPM یا PostgreSQL بسته میشود و در لاگ سیستم پیامی درباره Out of Memory یا OOM Killer میبینید. چند لحظه بعد دستور free -h را اجرا میکنید، اما همچنان چند گیگابایت حافظه آزاد یا قابل استفاده نمایش داده میشود. پس چرا لینوکس برنامه را بسته است؟
این اتفاق همیشه به معنی کمبود RAM کل سرور نیست. ممکن است سرویس تحت یک محدودیت حافظه اختصاصی در systemd اجرا شود، کانتینر Docker به سقف مصرف خود رسیده باشد یا فشار حافظه در یک cgroup باعث فعالشدن OOM Killer شده باشد. در بعضی موارد نیز مدیریت حافظه مجازی، Swap یا systemd-oomd در بستهشدن پردازش نقش دارند.
برای رفع مشکل Linux OOM Killer باید ابتدا مشخص کنیم چه چیزی پردازش را خاتمه داده و محدودیت حافظه در کدام سطح اعمال شده است. افزایش تصادفی RAM، خاموشکردن OOM Killer یا Restart مکرر سرویس، بدون شناسایی علت، راهحل پایداری نیست.
در این راهنما، تفاوت OOM سراسری و محدودیت cgroup را بررسی میکنیم؛ با دستورات journalctl، systemctl، free، فایلهای memory.events و ابزارهای Docker علت را پیدا میکنیم و روش اصلاح ایمن مصرف حافظه را توضیح میدهیم.
OOM Killer در لینوکس چیست؟
OOM Killer یکی از سازوکارهای مدیریت شرایط کمبود حافظه در هسته لینوکس است. هنگامی که تخصیص حافظه موردنیاز در شرایط مشخصی امکانپذیر نباشد و روشهای بازیابی حافظه کافی نباشند، Kernel ممکن است یک یا چند پردازش را خاتمه دهد.
این کار میتواند از قفلشدن کامل سیستم در بعضی سناریوهای فشار حافظه جلوگیری کند، اما ممکن است باعث توقف یک سرویس مهم شود.
نکته مهم این است که حافظه همیشه فقط در سطح کل سرور مدیریت نمیشود. لینوکس با استفاده از cgroups میتواند برای یک سرویس، گروه پردازش یا کانتینر، محدودیت حافظه مستقلی اعمال کند.
بنابراین ممکن است سرور ۸ گیگابایت RAM داشته باشد ولی یک برنامه با سقف ۱ گیگابایت در cgroup اجرا شود. اگر مصرف قابل حساب آن گروه به سقف برسد و حافظه کافی آزاد نشود، OOM میتواند در همان گروه رخ دهد.
تفاوت OOM سراسری، cgroup OOM و systemd-oomd
| نوع رخداد | علت معمول | محل بررسی |
|---|---|---|
| Global OOM | فشار حافظه در سطح میزبان یا محدودیتهای تخصیص | Kernel Journal و وضعیت RAM/Swap |
| cgroup OOM | رسیدن مصرف گروه به memory.max | memory.events و memory.max |
| Container OOM | رسیدن کانتینر به محدودیت حافظه | docker inspect و cgroup |
| systemd-oomd | تصمیم سرویس Userspace بر اساس فشار حافظه یا Swap | journalctl و oomctl |
| Application Memory Error | محدودیت داخلی Runtime یا شکست تخصیص | لاگ خود برنامه |
همچنین کد خروج 137 در بسیاری از محیطها با خاتمه از طریق SIGKILL مرتبط است؛ اما بهتنهایی اثبات نمیکند Kernel OOM Killer عامل خاتمه بوده است.
چرا با وجود RAM آزاد، OOM اتفاق میافتد؟
برای پاسخ باید به پنج تفاوت مهم توجه کنیم.
۱. RAM آزاد میزبان با حافظه مجاز سرویس برابر نیست
اگر systemd برای سرویس MemoryMax تعریف کرده باشد، پردازش باید داخل همان محدودیت کار کند. حافظه آزاد سایر قسمتهای سرور الزاماً این محدودیت را افزایش نمیدهد.
۲. حافظه بعد از بستهشدن پردازش آزاد میشود
ممکن است هنگام وقوع OOM، مصرف حافظه بسیار بالا بوده باشد؛ اما پس از خاتمه پردازش، مقدار زیادی RAM آزاد شده باشد. خروجی free -h که بعداً گرفته شده، الزاماً وضعیت لحظه وقوع رخداد را نشان نمیدهد.
۳. حافظه تعهدشده با حافظه مصرفشده تفاوت دارد
در لینوکس، Committed_AS مربوط به حافظه مجازی تعهدشده است. این مقدار با RSS یا حافظه فیزیکی فعلی پردازش یکسان نیست.
سیاست vm.overcommit_memory میتواند روی پذیرش درخواستهای تخصیص حافظه اثر بگذارد. بااینحال، خطای تخصیص در حالت Strict Overcommit الزاماً به معنی اجرای OOM Killer نیست؛ گاهی برنامه فقط خطای تخصیص حافظه دریافت میکند.
۴. حافظه قابل استفاده از دید یک کانتینر محدود است
کانتینر Docker یا سرویس Kubernetes ممکن است سقف حافظه خاصی داشته باشد که مستقل از RAM آزاد Host است.
۵. فشار حافظه میتواند باعث تصمیم systemd-oomd شود
systemd-oomd با استفاده از اطلاعات فشار حافظه و Swap میتواند قبل از رسیدن به OOM در Kernel، گروهی از پردازشها را خاتمه دهد. این رفتار باید مستقل از Kernel OOM بررسی شود.
منابع رسمی:
Linux Kernel cgroup v2
و
systemd-oomd.
نشانههای مهم Linux OOM Killer
| نشانه | تفسیر احتمالی |
|---|---|
| Killed process در Kernel Log | رخداد OOM در Kernel |
| Memory cgroup out of memory | احتمال OOM مرتبط با cgroup |
| Result: oom-kill در systemctl | شکست سرویس مرتبط با رویداد OOM |
| memory.events شامل oom_kill افزایشی | پردازش در آن cgroup بر اثر OOM کشته شده است |
| Docker OOMKilled: true | ثبت خاتمه مرتبط با OOM در وضعیت کانتینر |
| systemd-oomd پیام Killed دارد | احتمال اقدام Userspace OOM Manager |
| Java OutOfMemoryError | ممکن است محدودیت داخلی JVM باشد |
| Exit Code 137 | خاتمه SIGKILL؛ علت نیازمند شواهد دیگر |
مرحله اول: بررسی Kernel Log برای پیدا کردن OOM
اولین مرحله در تشخیص OOM، بررسی رخدادهای زمان خرابی در Kernel Journal است.
sudo journalctl -k -b --no-pager |
grep -Ei 'out of memory|oom-kill|killed process|memory cgroup'
اگر زمان دقیق خرابی مشخص است، بازه زمانی را محدود کنید:
sudo journalctl -k \
--since "2026-11-19 09:00:00" \
--until "2026-11-19 10:00:00" \
--no-pager
اگر مشکل در Boot قبلی رخ داده و Journal پایدار است، میتوان Boot قبلی را نیز بررسی کرد:
sudo journalctl -k -b -1 --no-pager |
grep -Ei 'out of memory|oom|killed process'
اگر فایلهای Journal بوت قبلی نگهداری نشده باشند، این بررسی ممکن است نتیجه نداشته باشد.
مرحله دوم: تفسیر اطلاعات OOM در Kernel
نمونهای فرضی از پیام OOM:
Memory cgroup out of memory:
Killed process 2451 (node)
total-vm:2200000kB
anon-rss:790000kB
این خروجی صرفاً برای توضیح است و یک لاگ واقعی از سرور مشخصی نیست.
در رخدادهای واقعی به موارد زیر توجه کنید:
- نام و PID پردازش خاتمهیافته.
- عبارتهای مربوط به memcg یا cgroup.
- مقدار RSS و حافظه مجازی پردازش.
- نام cgroup یا مسیر گروه حافظه.
- بازه زمانی وقوع و رخدادهای قبل از آن.
- وجود پیامهای OOM دیگر در همان زمان.
اگر پیام به Memory cgroup اشاره میکند، بررسی محدودیت اختصاصی سرویس مهمتر از مقدار RAM آزاد میزبان است.
همچنین پردازشی که توسط OOM Killer انتخاب شده، الزاماً تنها عامل ایجاد فشار حافظه نیست. مصرف سایر پردازشهای همان گروه، Page Cache و حافظه Kernel قابل حساب نیز باید بررسی شود.
مرحله سوم: بررسی RAM، Swap و حافظه قابل استفاده
برای مشاهده وضعیت حافظه:
free -h
swapon --show
grep -E \
'MemTotal|MemFree|MemAvailable|SwapTotal|SwapFree|Shmem' \
/proc/meminfo
در تحلیل خروجی free، مقدار Available معمولاً از Free برای تخمین حافظه قابل استفاده در سطح Host مفیدتر است؛ زیرا بخشی از Cache میتواند آزاد شود.
اما هیچکدام بهتنهایی وضعیت محدودیت حافظه یک cgroup را نشان نمیدهند.
اگر Swap فعال نیست، این موضوع میتواند در شرایط فشار حافظه انعطاف سیستم را کمتر کند؛ بااینحال فعالکردن Swap بدون ارزیابی نوع Workload و محدودیتهای سرویس، جایگزین مدیریت مصرف RAM نیست.
مرحله چهارم: بررسی Overcommit و Committed Memory
لینوکس میتواند اجازه دهد برنامهها بیش از حافظه فیزیکی فعلی، فضای حافظه مجازی درخواست کنند. رفتار دقیق به سیاست Overcommit بستگی دارد.
برای مشاهده سیاست فعلی:
sysctl vm.overcommit_memory
sysctl vm.overcommit_ratio
grep -E 'CommitLimit|Committed_AS' /proc/meminfo
سه حالت مهم vm.overcommit_memory عبارتاند از:
| مقدار | رفتار کلی |
|---|---|
| 0 | بررسی تخمینی تخصیص حافظه توسط Kernel |
| 1 | اجازه Overcommit بدون بررسی محدودیت به شیوه معمول |
| 2 | حالت Strict با محدودیت تعهد حافظه |
در حالت ۲، مقدار CommitLimit نقش مهمی در پذیرش درخواستهای تعهد حافظه دارد. در این حالت ممکن است قبل از مصرف واقعی تمام RAM، درخواست تخصیص حافظه رد شود.
تفاوت اساسی: بالا بودن Committed_AS بهتنهایی اثبات وقوع OOM Kill نیست. Committed Memory یک شاخص حسابداری حافظه مجازی است و باید همراه با Kernel Log، مصرف واقعی و سیاست Overcommit تفسیر شود.
از تغییر شتابزده vm.overcommit_memory برای رفع مشکل جلوگیری کنید. بعضی پایگاههای داده و Runtimeها الزامات مشخصی برای این تنظیم دارند.
منبع:
Linux Kernel – Overcommit Accounting.
مرحله پنجم: بررسی محدودیت RAM در سرویس systemd
فرض کنید برنامه Node.js با سرویس myapp.service اجرا میشود.
برای مشاهده وضعیت:
systemctl status myapp.service --no-pager -l
برای مشاهده تنظیمات حافظه مؤثر:
systemctl show myapp.service \
-p MemoryAccounting \
-p MemoryCurrent \
-p MemoryPeak \
-p MemoryHigh \
-p MemoryMax \
-p MemorySwapMax \
-p OOMPolicy \
-p ControlGroup
بسته به نسخه systemd، بعضی ویژگیها ممکن است موجود نباشند یا مقدار مشخصی نمایش ندهند.
مهمترین تفاوتها:
| تنظیم | کاربرد |
|---|---|
| MemoryCurrent | مصرف فعلی قابل حساب سرویس |
| MemoryPeak | بیشینه مصرف ثبتشده، در نسخههای پشتیبانیشده |
| MemoryHigh | آستانه فشار و Reclaim؛ معمولاً Hard OOM Limit نیست |
| MemoryMax | سقف سخت حافظه سرویس |
| MemorySwapMax | محدودیت Swap مرتبط با گروه |
| OOMPolicy | نحوه واکنش systemd به رویدادهای OOM |
همچنین ممکن است محدودیت حافظه از یک Slice والد به سرویس منتقل شود. بنابراین بررسی صرف فایل Unit اصلی همیشه کافی نیست.
مرحله ششم: بررسی مستقیم memory.max و memory.events
در محیط دارای cgroup v2، میتوان وضعیت حافظه گروه را از فایلهای Kernel بررسی کرد.
ابتدا نوع cgroup را مشخص کنید:
findmnt -n -o FSTYPE /sys/fs/cgroup
اگر خروجی cgroup2 است، برای سرویس systemd مسیر گروه را دریافت کنید:
CGROUP=$(systemctl show -P ControlGroup myapp.service)
printf '%s\n' "$CGROUP"
پس از تأیید وجود مسیر و معتبر بودن آن:
CGROUP=$(systemctl show -P ControlGroup myapp.service)
if [ -n "$CGROUP" ] && [ "$CGROUP" != "/" ]; then
BASE="/sys/fs/cgroup$CGROUP"
for FILE in memory.current memory.peak \
memory.high memory.max \
memory.swap.current memory.swap.max \
memory.events memory.events.local; do
if [ -r "$BASE/$FILE" ]; then
echo "===== $FILE ====="
cat "$BASE/$FILE"
fi
done
fi
اگر سرویس از قبل خاتمه یافته باشد، ممکن است cgroup مربوط از بین رفته باشد. در این حالت Kernel Journal، گزارشهای مانیتورینگ قبلی و وضعیت Unit اهمیت بیشتری پیدا میکنند.
همچنین محدودیتهای والد مانند system.slice یا یک Slice اختصاصی باید بررسی شوند؛ چون سقف مؤثر مصرف ممکن است در سطح بالاتر اعمال شده باشد.
چگونه memory.events را تفسیر کنیم؟
فایل memory.events آمار رخدادهای مرتبط با کنترل حافظه cgroup را نگهداری میکند.
نمونه فرضی:
low 0
high 24
max 15
oom 3
oom_kill 2
oom_group_kill 0
| فیلد | معنی کلی |
|---|---|
| high | وقوع شرایط فشار مرتبط با memory.high |
| max | تلاش برای عبور از آستانه memory.max |
| oom | رخداد وضعیت OOM در گروه طبق قواعد Kernel |
| oom_kill | تعداد پردازشهای کشتهشده توسط OOM Killer در دامنه شمارش مربوط |
| oom_group_kill | دفعات خاتمه گروهی در شرایط مربوط |
مقادیر memory.events ممکن است رخدادهای زیرگروهها را نیز شامل شوند. برای آمار محلی گروه، در صورت وجود از memory.events.local استفاده کنید.
افزایش مقدار max الزاماً به معنی کشتهشدن پردازش نیست. برای تشخیص OOM واقعی باید مقدارهای oom و oom_kill و لاگ Kernel را با زمان رخداد مقایسه کرد.
منبع:
Linux Kernel – Memory Controller and Events.
مرحله هفتم: بررسی محدودیت حافظه Slice والد
اگر MemoryMax خود سرویس نامحدود است، همچنان ممکن است یک Slice والد محدود باشد.
برای مشاهده مسیر گروه:
systemctl show myapp.service -p Slice -p ControlGroup
systemctl show system.slice \
-p MemoryHigh \
-p MemoryMax \
-p MemoryCurrent
اگر سرویس در Slice اختصاصی قرار دارد، باید همان Slice و تمام اجداد cgroup مربوط نیز بررسی شوند.
بررسی Slice والد مهم است؛ زیرا چند سرویس ممکن است بهصورت مشترک یک بودجه حافظه داشته باشند. در این وضعیت، مصرف سایر سرویسهای همان گروه نیز میتواند در رسیدن به محدودیت نقش داشته باشد.
مرحله هشتم: بررسی systemd-oomd
در بعضی توزیعها، سرویس systemd-oomd برای مدیریت پیشگیرانه فشار حافظه فعال است.
برای بررسی وضعیت:
systemctl status systemd-oomd --no-pager -l
sudo journalctl -u systemd-oomd \
-b --no-pager
در نسخههایی که ابزار oomctl موجود است:
oomctl dump
systemd-oomd با استفاده از اطلاعات فشار حافظه، از جمله PSI، میتواند درباره خاتمه یک گروه پردازشی تصمیم بگیرد. بنابراین ممکن است رویداد خاتمه برنامه در لاگ systemd-oomd ثبت شده باشد، نه به همان شکل پیام Kernel OOM.
هشدار: غیرفعالکردن systemd-oomd برای حل فوری خرابی توصیه نمیشود. ابتدا باید سیاست مدیریت فشار حافظه، مصرف برنامه و نیاز واقعی سرویس بررسی شود.
مرحله نهم: بررسی Memory Pressure با PSI
Pressure Stall Information یا PSI نشان میدهد پردازشها چه میزان زمان را به دلیل کمبود منابع و انتظار برای پیشرفت عملیات از دست دادهاند.
برای مشاهده فشار حافظه در سطح سیستم:
cat /proc/pressure/memory
در cgroup v2 نیز در صورت وجود فایل مربوط، میتوان مقدار memory.pressure همان گروه را بررسی کرد.
مقدارهای some و full در PSI نشاندهنده نوع فشار منابع هستند. این اطلاعات بهخصوص برای تحلیل رخدادهای systemd-oomd مفیدند.
اما PSI بهتنهایی مشخص نمیکند کدام برنامه عامل نهایی OOM بوده است؛ باید همراه با مصرف حافظه و لاگهای سیستم بررسی شود.
مرحله دهم: بررسی OOM Killer در Docker
در Docker، حافظه آزاد میزبان معیار کافی برای سلامت حافظه کانتینر نیست.
برای مشاهده کانتینرها:
docker ps -a
برای بررسی وضعیت OOM کانتینر:
docker inspect \
--format 'OOMKilled={{.State.OOMKilled}} ExitCode={{.State.ExitCode}} MemoryLimit={{.HostConfig.Memory}}' \
CONTAINER_NAME
نام CONTAINER_NAME را با نام کانتینر واقعی جایگزین کنید.
برای مشاهده مصرف لحظهای کانتینر:
docker stats --no-stream
خروجی OOMKilled میتواند شاهد مهمی از وضعیت کانتینر باشد؛ اما برای تشخیص علت نهایی بهتر است Kernel Log و تنظیمات حافظه کانتینر نیز بررسی شوند.
همچنین مقدار MemoryLimit برحسب بایت است و مقدار صفر معمولاً نشان میدهد محدودیت سخت مستقلی از این گزینه Docker تعریف نشده است؛ بااینحال ممکن است محدودیت در سطح دیگری مانند cgroup والد اعمال شود.
منبع رسمی:
Docker – Resource Constraints.
آیا فایلهای موقت tmpfs میتوانند باعث OOM کانتینر شوند؟
بله. دادههای ذخیرهشده در tmpfs نیز میتوانند در حسابداری حافظه cgroup تأثیر داشته باشند.
برای مثال، اگر کانتینر سقف حافظه ۵۱۲ مگابایت داشته باشد و برنامه حجم زیادی فایل موقت در یک tmpfs ایجاد کند، مصرف این فایلها میتواند باعث فشار بر همان محدودیت شود.
بنابراین نباید فرض کرد tmpfs یک فضای ذخیرهسازی مستقل و رایگان خارج از محدودیت حافظه کانتینر است.
اگر سرویس با فایلهای موقت حجیم کار میکند، باید مسیر فایل موقت، سقف cgroup، مصرف Cache و نیاز واقعی برنامه به RAM بررسی شود.
منبع:
Docker tmpfs Mounts.
مرحله یازدهم: OOM Score و انتخاب پردازش قربانی
در OOM سراسری، Kernel هنگام انتخاب پردازش برای خاتمه، عواملی مانند مصرف حافظه و تنظیمات OOM Score را در نظر میگیرد.
برای مشاهده امتیاز فعلی یک پردازش:
cat /proc/PID/oom_score
cat /proc/PID/oom_score_adj
PID باید با شناسه واقعی یک پردازش در حال اجرا جایگزین شود.
تنظیم oom_score_adj میتواند در انتخاب قربانی OOM سراسری نقش داشته باشد، اما درمان کمبود حافظه نیست.
هشدار: تنظیم محافظت شدید برای تمام پردازشهای حیاتی ممکن است هنگام کمبود حافظه، انتخاب قربانی مناسب را دشوار کند و به پایداری سیستم آسیب برساند. این گزینه باید فقط براساس سیاست مشخص و با درک پیامدهای آن استفاده شود.
مرحله دوازدهم: اصلاح ایمن محدودیت حافظه سرویس
اگر مشخص شد مشکل از MemoryMax پایینتر از نیاز واقعی برنامه است، میتوان تنظیم آن را بررسی کرد؛ اما مقدار درست باید براساس مصرف اوج، حافظه سایر سرویسها و ظرفیت Host تعیین شود.
برای نمونه، یک Drop-in آموزشی برای سرویس systemd میتواند چنین باشد:
[Service]
MemoryHigh=1200M
MemoryMax=1500M
این اعداد صرفاً مثال هستند. نباید بدون اندازهگیری مصرف واقعی روی سرور تولیدی اعمال شوند.
بهتر است ابتدا MemoryHigh برای کنترل فشار حافظه و MemoryMax بهعنوان آخرین حد دفاعی طراحی شوند.
تغییر محدودیت حافظه سرویس و اعمال آن به Unit فعال باید با بررسی رفتار systemd و برنامه نگهداری انجام شود؛ زیرا کاهش یا تغییر ناگهانی محدودیت میتواند باعث فشار حافظه یا OOM جدید شود.
منبع:
systemd Resource Control.
مرحله سیزدهم: حافظه برنامه را هم بررسی کنید
گاهی محدودیت cgroup تنها بخشی از مشکل است. برنامه ممکن است مصرف حافظه غیرعادی داشته باشد یا تنظیم داخلی آن با ظرفیت کانتینر تناسب نداشته باشد.
برای مثال:
- JVM ممکن است Heap مشخصی داشته باشد، اما مصرف واقعی Process شامل Native Memory و Thread Stackها نیز باشد.
- Node.js ممکن است بهدلیل نگهداری حجم زیادی داده در حافظه، مصرف بالایی پیدا کند.
- PHP-FPM با تعداد زیاد Worker میتواند مجموعاً RAM زیادی مصرف کند.
- دیتابیس ممکن است Bufferها، Connectionها و Queryهای پرمصرف داشته باشد.
- برنامه دارای Memory Leak ممکن است با گذشت زمان به سقف حافظه برسد.
بنابراین صرف افزایش MemoryMax ممکن است فقط زمان وقوع OOM را عقب بیندازد. اگر مصرف دائماً رشد میکند، باید Memory Leak، تعداد Workerها و الگوی بار برنامه نیز بررسی شود.
اسکریپت یکپارچه تشخیص Linux OOM Killer
اسکریپت زیر وضعیت RAM، Swap، سیاست Overcommit، لاگهای OOM و محدودیتهای حافظه یک سرویس systemd را جمعآوری میکند.
این اسکریپت تنظیمات حافظه را تغییر نمیدهد، سرویسها را Restart نمیکند و هیچ پردازشی را خاتمه نمیدهد.
#!/usr/bin/env bash
set -u
SERVICE="${1:-myapp.service}"
echo "===== OS ====="
cat /etc/os-release
echo "===== DATE ====="
date --iso-8601=seconds
echo "===== KERNEL ====="
uname -r
echo "===== MEMORY ====="
free -h
echo "===== SWAP ====="
swapon --show
echo "===== MEMORY DETAILS ====="
grep -E \
'MemAvailable|Shmem|SwapTotal|SwapFree|CommitLimit|Committed_AS' \
/proc/meminfo
echo "===== OVERCOMMIT ====="
sysctl vm.overcommit_memory
sysctl vm.overcommit_ratio
echo "===== CGROUP FILESYSTEM ====="
findmnt -n -o FSTYPE /sys/fs/cgroup
echo "===== SERVICE STATUS ====="
systemctl status "$SERVICE" --no-pager -l || true
echo "===== SERVICE MEMORY SETTINGS ====="
systemctl show "$SERVICE" \
-p MemoryCurrent \
-p MemoryPeak \
-p MemoryHigh \
-p MemoryMax \
-p MemorySwapMax \
-p OOMPolicy \
-p ControlGroup || true
echo "===== CGROUP MEMORY EVENTS ====="
if [ "$(findmnt -n -o FSTYPE /sys/fs/cgroup)" = "cgroup2" ]; then
CGROUP="$(systemctl show -P ControlGroup "$SERVICE" 2>/dev/null)"
if [ -n "$CGROUP" ] && [ "$CGROUP" != "/" ]; then
BASE="/sys/fs/cgroup${CGROUP}"
for NAME in memory.current memory.max \
memory.high memory.events \
memory.events.local memory.pressure; do
if [ -r "$BASE/$NAME" ]; then
echo "===== $NAME ====="
cat "$BASE/$NAME"
fi
done
fi
fi
echo "===== OOM KERNEL EVENTS ====="
journalctl -k -b --no-pager 2>/dev/null |
grep -Ei 'out of memory|oom-kill|killed process|memory cgroup' |
tail -n 80 || true
echo "===== SYSTEMD-OOMD EVENTS ====="
journalctl -u systemd-oomd -b \
-n 50 --no-pager 2>/dev/null || true
echo "===== DIAGNOSTICS COMPLETE ====="
برای استفاده، نام سرویس موردنظر را بهعنوان پارامتر بدهید. اگر سرویس از قبل خاتمه یافته، امکان دارد بعضی فایلهای cgroup دیگر وجود نداشته باشند؛ در این صورت لاگ Kernel و دادههای مانیتورینگ قبلی اهمیت دارند.
خروجی ممکن است اطلاعات داخلی سرویس، نام پردازشها و وضعیت منابع زیرساخت را نشان دهد؛ پیش از ارسال برای پشتیبانی آن را بازبینی کنید.
جدول تصمیمگیری: علت واقعی OOM چیست؟
| شواهد | علت محتمل | اقدام مناسب |
|---|---|---|
| Kernel Log از Global OOM خبر میدهد | فشار حافظه میزبان | بررسی اوج مصرف، Swap و برنامهها |
| memory.max محدود و oom_kill افزایش یافته | cgroup OOM | تحلیل مصرف و سقف مؤثر گروه |
| Docker OOMKilled=true | OOM مرتبط با کانتینر | بررسی Memory Limit و مصرف برنامه |
| systemd-oomd خاتمه پردازش را ثبت کرده | مدیریت Userspace بر اساس فشار | بررسی PSI و سیاست ManagedOOM |
| Committed_AS بالا و تخصیص رد میشود | احتمال محدودیت Commit | بررسی Overcommit و خطای برنامه |
| OOM پس از ایجاد فایل موقت رخ میدهد | مصرف tmpfs یا Cache | بررسی محل فایل موقت و حسابداری حافظه |
| مصرف RAM برنامه بهمرور رشد میکند | احتمال Memory Leak | Profiling و اصلاح برنامه |
| RAM بعد از Crash آزاد است | آزادشدن حافظه با خاتمه Process | بررسی شواهد لحظه رخداد |
| سرویس MemoryMax ندارد ولی Slice محدود است | محدودیت cgroup والد | بررسی سلسلهمراتب cgroup |
اشتباههای رایج هنگام رفع OOM Killer
۱. اتکا به free -h پس از بستهشدن سرویس
حافظه ممکن است با خاتمه پردازش آزاد شده باشد و وضعیت زمان رخداد را نشان ندهد.
۲. تصور اینکه وجود RAM آزاد به معنی نبود OOM است
محدودیت مستقل cgroup یا کانتینر ممکن است باعث رخداد OOM شود.
۳. افزایش نامحدود MemoryMax
این اقدام ممکن است فشار حافظه را به سایر سرویسها منتقل کند.
۴. غیرفعالکردن OOM Killer
این کار میتواند وضعیت کمبود حافظه را خطرناکتر کند و به قفلشدن سرویسها منجر شود.
۵. یکساندانستن SIGKILL و OOM
هر خروج با سیگنال ۹ الزاماً نتیجه OOM Killer نیست.
۶. نادیدهگرفتن systemd-oomd
این سرویس مستقل از رخداد کلاسیک Kernel OOM میتواند گروه پردازشی را خاتمه دهد.
۷. تغییر تصادفی vm.overcommit_memory
ممکن است مشکل برنامه را حل نکند و رفتار تخصیص حافظه را در سطح سیستم تغییر دهد.
۸. فرض اینکه Swap تمام مشکلات حافظه را حل میکند
Swap میتواند کمک کند، اما محدودیت cgroup، عملکرد برنامه و فشار حافظه همچنان اهمیت دارند.
۹. فراموشکردن مصرف tmpfs
فایلهای موقت حافظهای نیز میتوانند در حسابداری حافظه مؤثر باشند.
۱۰. اصلاحنکردن Memory Leak
افزایش منابع ممکن است فقط وقوع خرابی را به تأخیر بیندازد.
سؤالات متداول درباره Linux OOM Killer
چرا OOM Killer با وجود RAM آزاد فعال میشود؟
ممکن است سرویس یا کانتینر به محدودیت حافظه مستقل خود رسیده باشد، یا حافظه پس از خاتمه پردازش آزاد شده باشد.
چطور بفهمیم OOM Killer کدام Process را بسته است؟
Kernel Journal را برای پیامهای OOM، Killed process و اطلاعات PID بررسی کنید.
تفاوت Global OOM و cgroup OOM چیست؟
Global OOM مربوط به فشار تخصیص حافظه در سطح میزبان است؛ cgroup OOM در محدوده محدودیت حافظه یک گروه پردازشی رخ میدهد.
MemoryMax در systemd چیست؟
سقف سخت حافظه قابل حساب یک Unit است و رسیدن به آن میتواند به OOM محدود به cgroup منجر شود.
آیا MemoryHigh باعث OOM میشود؟
MemoryHigh معمولاً آستانه فشار و Reclaim است، نه همان سقف سخت MemoryMax.
چگونه OOM در Docker را تشخیص دهیم؟
از docker inspect برای بررسی OOMKilled و Memory Limit استفاده کنید و نتیجه را با Kernel Log تطبیق دهید.
systemd-oomd چه تفاوتی با Kernel OOM Killer دارد؟
systemd-oomd در فضای کاربر و با استفاده از شاخصهای فشار حافظه و Swap تصمیم میگیرد؛ Kernel OOM Killer بخشی از مدیریت کمبود حافظه در هسته است.
آیا Committed_AS بالا به معنی کمبود قطعی RAM است؟
خیر. Committed_AS نشاندهنده حافظه تعهدشده است و با مصرف فیزیکی فعلی یکسان نیست.
آیا افزایش Swap مشکل OOM را برطرف میکند؟
در بعضی شرایط کمک میکند، اما محدودیت سخت cgroup و مصرف غیرعادی برنامه ممکن است همچنان باعث OOM شوند.
بهترین روش جلوگیری از تکرار OOM چیست؟
ثبت مصرف اوج حافظه، تحلیل cgroup و MemoryMax، بررسی Memory Leak، تنظیم صحیح منابع و پایش فشار حافظه با PSI.
جمعبندی؛ چرا OOM Killer با وجود حافظه آزاد سرویس را میبندد؟
وقتی یک سرویس لینوکسی با OOM بسته میشود، نباید فقط به مقدار RAM آزاد نگاه کرد. ممکن است سیستم در سطح میزبان حافظه کافی داشته باشد، اما گروهی از پردازشها به سقف حافظه خود رسیده باشند.
برای تشخیص درست، ابتدا Kernel Journal را بررسی کنید و مشخص کنید OOM در سطح Host رخ داده یا cgroup. سپس مقادیر MemoryMax، memory.events، مصرف Swap و محدودیتهای کانتینر را بررسی کنید. اگر systemd-oomd فعال است، تصمیمهای آن را نیز جداگانه تحلیل کنید.
در نهایت، راهکار مناسب ممکن است اصلاح Memory Leak، تنظیم تعداد Workerها، افزایش حسابشده محدودیت حافظه یا جابهجایی فایلهای موقت حجیم باشد.
اصل نهایی: وجود RAM آزاد روی Host به معنی آزادبودن حافظه برای تمام سرویسها نیست. پیش از افزایش منابع یا تغییر سیاست OOM، محل واقعی محدودیت و عامل فشار حافظه را با شواهد شناسایی کنید.






دیدگاهها (۰)