فرض کنید وارد پنل مانیتورینگ سرور لینوکسی خود شدهاید و Load Average عدد ۲۰ را نشان میدهد. با دیدن این عدد احتمال میدهید CPU سرور تحت فشار باشد؛ اما وقتی دستور top را اجرا میکنید، متوجه میشوید مصرف پردازنده تنها حدود ۱۰ درصد است. حتی ممکن است بیشتر هستههای CPU در حالت Idle باشند، ولی وبسایت کند شده، دستورات ترمینال دیر پاسخ دهند یا عملیات دیتابیس متوقف شده باشد.
این وضعیت یکی از مسائل مهم عیبیابی عملکرد لینوکس است. برخلاف تصور رایج، Load Average همان درصد مصرف CPU نیست. لینوکس علاوه بر پردازشهایی که در حال اجرا هستند یا منتظر CPU ماندهاند، پردازشهای موجود در وضعیت خواب غیرقابلوقفه یا D-State را نیز در محاسبه Load لحاظ میکند.
اگر یک Storage کند شود، درخواستهای خواندن و نوشتن طول بکشند یا اتصال به یک NFS Mount دچار اختلال شود، ممکن است تعداد زیادی پردازش منتظر بمانند. در چنین حالتی Load Average بالا میرود، بدون اینکه مصرف CPU الزاماً افزایش قابل توجهی داشته باشد.
برای رفع مشکل Linux load high CPU low باید ابتدا مشخص کنیم فشار از کدام بخش سیستم ایجاد میشود: صف پردازنده، دیسک، عملیات I/O، فایلسیستم شبکهای یا انتظار در یکی از مسیرهای Kernel.
در این راهنما با دستورهای vmstat، iostat، pidstat، ps، journalctl و شاخص PSI، علت Load بالا را مرحلهبهمرحله پیدا میکنیم. همچنین روش شناسایی پردازشهای D-State، بررسی NFS و Storage، تحلیل VPS روی زیرساخت مجازی و بازیابی ایمن سرویسهای درگیر را توضیح میدهیم.
Load Average در لینوکس دقیقاً چیست؟
Load Average یک معیار میانگینگیریشده از تعداد وظایفی است که در حال اجرا، آماده اجرا یا در وضعیت انتظار غیرقابلوقفه قرار دارند.
برای مشاهده آن میتوان از دستور زیر استفاده کرد:
uptime
خروجی نمونه:
load average: 18.25, 12.40, 5.80
این سه مقدار بهترتیب نمایانگر میانگین Load در بازههای تقریبی ۱، ۵ و ۱۵ دقیقه هستند. این اعداد میانگین نماییاند و نباید آنها را شمارش دقیق پردازشها در همان لحظه در نظر گرفت.
برای مشاهده مقدار مستقیم از Kernel:
cat /proc/loadavg
اگر مقدار یکدقیقهای از مقادیر پنج و پانزده دقیقه بیشتر باشد، میتواند نشاندهنده افزایش اخیر Load باشد. برعکس، اگر مقدار یکدقیقهای کمتر شده باشد، احتمال دارد فشار سیستم در حال کاهش باشد.
منبع رسمی:
Linux proc_loadavg – Load Average.
تفاوت Load Average با CPU Usage چیست؟
درصد CPU Usage نشان میدهد پردازنده در بازه اندازهگیری چه میزان زمان را در حالتهای مختلف سپری کرده است. اما Load Average درباره تعداد کارهایی است که در وضعیتهای مشخص منتظر پیشرفت هستند یا قابلیت اجرا دارند.
| معیار | چه چیزی را نشان میدهد؟ | واحد یا نوع مقدار |
|---|---|---|
| Load Average | میانگین تعداد وظایف Runnable و Uninterruptible | عدد بدون واحد |
| CPU Usage | درصد زمان فعالیت CPU در بازه اندازهگیری | درصد |
| CPU iowait | زمان حسابداریشده برای انتظار I/O در حالت مربوط | درصد |
| Disk await | میانگین زمان تکمیل درخواست I/O در دستگاه | میلیثانیه |
| I/O PSI | سهم زمانی که وظایف در اثر فشار I/O متوقف شدهاند | درصد و زمان تجمعی |
| D-State Count | تعداد وظایف مشاهدهشده در وضعیت انتظار غیرقابلوقفه | تعداد |
برای مثال، اگر یک سرور ۸ پردازنده منطقی داشته باشد و تعداد زیادی پردازش واقعاً منتظر CPU باشند، Load بالا میتواند از فشار پردازشی ناشی شود.
اما اگر پردازندهها اغلب Idle هستند و همزمان چندین وظیفه در D-State ماندهاند، باید مسیر I/O یا انتظار Kernel را بررسی کرد.
نکته مهم: مقایسه ساده Load Average با تعداد CPUها بیشتر برای تحلیل فشار پردازشی مفید است. در شرایط I/O Blocked، حتی با Load بسیار بالاتر از تعداد هستهها هم نمیتوان نتیجه گرفت CPU به ظرفیت بیشتری نیاز دارد.
مرحله اول: وضعیت لحظهای CPU و Load را ثبت کنید
اولین بررسی باید شامل Load، تعداد CPUهای منطقی و وضعیت مصرف واقعی پردازنده باشد.
uptime
nproc
top -b -n 1 | head -n 25
در خروجی top به درصدهای us، sy، id، wa و st توجه کنید. این مقادیر بهترتیب میتوانند سرنخهایی درباره فعالیت برنامهها، Kernel، زمان Idle، زمان I/O Wait و زمان پردازشی ازدسترفته به دلیل Hypervisor ارائه دهند.
در VPSها، مقدار st یا Steal Time نیز اهمیت دارد. اگر این مقدار زیاد باشد، ممکن است ماشین مجازی برای دریافت زمان CPU با محدودیت یا رقابت روی میزبان مواجه باشد.
بااینحال، Steal Time بالا و D-State بالا دو مسئله متفاوت هستند و باید جداگانه بررسی شوند.
برای مشاهده وضعیت CPU در چند بازه پشتسرهم، در صورت نصب sysstat:
mpstat -P ALL 1 5
دادههای چندبازهای از یک Snapshot لحظهای قابل اعتمادتر هستند؛ زیرا ممکن است فشار سیستم فقط در چند ثانیه مشخص رخ دهد.
مرحله دوم: تشخیص صف CPU و پردازشهای Blocked با vmstat
ابزار vmstat یکی از سریعترین روشها برای تفکیک فشار CPU از انتظار I/O است.
vmstat 1 10
دو ستون مهم در بخش procs عبارتاند از:
- r: تعداد وظایف Runnable، شامل وظایفی که در حال اجرا یا منتظر زمان CPU هستند.
- b: تعداد وظایف Blocked که منتظر تکمیل I/O هستند.
در بخش CPU نیز ستونهای زیر مهماند:
- us: فعالیت CPU در فضای کاربر.
- sy: فعالیت CPU در Kernel.
- id: زمان Idle.
- wa: زمان I/O Wait حسابداریشده.
- st: Steal Time در محیط مجازی، در صورت وجود.
خروجی فرضی:
procs -----------memory---------- ---swap-- -----io---- -system-- ------cpu-----
r b swpd free buff cache si so bi bo in cs us sy id wa st
1 14 0 512000 80000 900000 0 0 120 300 1000 2000 3 2 80 15 0
0 17 0 510000 80000 900000 0 0 180 420 1100 2200 2 2 76 20 0
در این مثال، تعداد وظایف Blocked زیاد است، درحالیکه Runnableها و مصرف مستقیم CPU پایین ماندهاند. این وضعیت احتمال انتظار I/O را تقویت میکند.
نکته مهم این است که گزارش نخست vmstat ممکن است میانگین از زمان Boot باشد. برای تحلیل وضعیت جاری، به نمونههای بعدی توجه کنید.
منبع:
vmstat – Linux Manual.
آیا بالا بودن I/O Wait همیشه به معنی کندی دیسک است؟
خیر. درصد wa یکی از سرنخهای مهم است، اما معیار قطعی سلامت Storage نیست.
I/O Wait نوعی حسابداری زمان CPU است و مستقیماً مدت انتظار تمام پردازشهای Blocked را جمع نمیزند. در سیستمهای چندهستهای، ممکن است بخشی از CPUها مشغول اجرای کار دیگری باشند، درحالیکه تعدادی پردازش مدت زیادی در D-State ماندهاند.
در نتیجه، در بعضی شرایط امکان دارد:
- Load Average بالا باشد اما wa نسبتاً پایین بماند.
- wa بالا باشد ولی مشکل فقط از یک دیسک مشخص نباشد.
- یک NFS Mount یا عملیات Kernel باعث انتظار طولانی شود، بدون اینکه دیسک محلی اشباع شده باشد.
- Latency ذخیرهسازی بالا باشد اما میزان خواندن و نوشتن برحسب MB/s کم باشد.
پس برای نتیجهگیری باید vmstat را با iostat، وضعیت D-State و PSI ترکیب کنیم.
منبع:
Linux Kernel – CPU Load Accounting.
مرحله سوم: بررسی Latency و صف دیسک با iostat
اگر احتمال مشکل در Storage محلی وجود دارد، ابزار iostat کمک میکند مشخص کنیم کدام دستگاه زمان پاسخ طولانی یا صف درخواست زیادی دارد.
ابزارهای iostat و pidstat معمولاً در پکیج sysstat قرار دارند. اگر نصب نیستند و سیستم تحت فشار است، قبل از نصب پکیج جدید وضعیت مخازن و فضای دیسک را بررسی کنید.
برای نمونهبرداری از دستگاهها:
iostat -xz 1 5
گزینه x گزارش تفصیلی دستگاه، گزینه z حذف نمایش دستگاههای بدون فعالیت در گزارش مربوط و بازه ۱ ثانیهای امکان مشاهده روند را فراهم میکند.
در خروجی به شاخصهای زیر توجه کنید:
| شاخص | تفسیر |
|---|---|
| r/s و w/s | تعداد عملیات خواندن و نوشتن در ثانیه |
| rkB/s و wkB/s | حجم تقریبی خواندن و نوشتن در ثانیه |
| r_await و w_await | میانگین زمان تکمیل درخواست خواندن و نوشتن |
| await | میانگین زمان درخواستهای I/O، شامل انتظار در صف و سرویسدهی |
| aqu-sz | میانگین طول صف درخواستهای I/O |
| %util | نسبت زمانی که دستگاه در حال سرویس درخواست بوده است |
نام برخی ستونها با نسخه sysstat و نوع دستگاه متفاوت است.
اگر await نسبت به وضعیت معمول همان دستگاه افزایش یافته و همزمان تعداد پردازشهای Blocked زیاد شده باشد، احتمال گلوگاه Storage تقویت میشود.
نکته تخصصی: مقدار %util نزدیک به ۱۰۰ درصد در دیسکهای ساده سریالی میتواند نشانه اشباع باشد؛ اما در SSD، NVMe، RAID و دستگاههای دارای پردازش موازی، نباید تنها با همین ستون درباره ظرفیت یا اشباع قطعی تصمیم گرفت.
همچنین await پایین بهتنهایی تضمین نمیکند هیچ درخواست منفردی Latency بسیار بالایی نداشته است؛ این شاخص یک میانگین است.
منبع رسمی:
iostat – Extended Device Statistics.
مرحله چهارم: پیدا کردن ارتباط دیسک مشکلدار با فایلسیستم
فرض کنید iostat نشان میدهد دستگاهی مانند nvme0n1 یا sdb دارای Latency غیرعادی است. مرحله بعد مشخصکردن ارتباط آن با Mount Point و سرویسهای سرور است.
lsblk -o NAME,TYPE,SIZE,FSTYPE,MOUNTPOINTS
findmnt -t ext4,xfs,btrfs
cat /proc/mounts
اگر از LVM، RAID نرمافزاری یا Device Mapper استفاده میشود، ممکن است نام دستگاه در iostat مستقیماً با پارتیشن برنامه یکسان نباشد.
در این حالت باید ارتباط Logical Volume، دیسک زیرین و Mount Point را بررسی کنید.
همچنین در محیط VPS ممکن است دستگاه مشاهدهشده در Guest، یک Virtual Disk باشد. در این حالت علت Latency میتواند در لایه Storage میزبان، Datastore، شبکه ذخیرهسازی یا محدودیت IOPS قرار داشته باشد.
مرحله پنجم: شناسایی پردازشهای دارای I/O با pidstat
بعد از شناسایی دستگاه یا مسیر مشکوک، باید بررسی کنیم کدام پردازشها عملیات I/O انجام میدهند.
pidstat -d -p ALL 1 5
در خروجی، شاخصهایی مانند kB_rd/s، kB_wr/s و iodelay میتوانند برای بررسی الگوی مصرف پردازشها مفید باشند.
برای مشاهده وضعیت Context Switch و بعضی اطلاعات زمانبندی پردازشها:
pidstat -w -p ALL 1 5
نکته مهم: پردازشی که بیشترین حجم I/O را ایجاد میکند، لزوماً همان پردازشی نیست که بیشترین زمان منتظر مانده است. ممکن است یک برنامه تعداد زیادی درخواست سریع داشته باشد و برنامه دیگری با تعداد اندک درخواست کند، مدت طولانی در D-State بماند.
بنابراین خروجی pidstat را باید با وضعیت پردازشها، iostat و لاگ Storage تحلیل کرد.
منبع:
pidstat – Per-process I/O Statistics.
D-State در لینوکس چیست؟
D-State یا Uninterruptible Sleep یکی از وضعیتهای پردازش در لینوکس است. پردازشی که در این حالت قرار دارد، معمولاً منتظر تکمیل یک عملیات در Kernel است و تا پایان شرط انتظار، امکان ادامه اجرای عادی ندارد.
این وضعیت اغلب با عملیات I/O ارتباط دارد؛ اما همیشه به معنی کندبودن دیسک محلی نیست.
برای مثال، یک وظیفه ممکن است منتظر موارد زیر باشد:
- تکمیل خواندن یا نوشتن Storage.
- پاسخ یک NFS Server.
- عملیات یک فایلسیستم شبکهای یا توزیعشده.
- آزادشدن یک قفل یا تکمیل عملیاتی داخل Kernel.
- پاسخ دستگاه یا درایوری که عملیات آن معطل مانده است.
به همین دلیل، دیدن D-State باید نقطه شروع تحلیل باشد، نه نتیجه نهایی.
مرحله ششم: پیدا کردن Processهای D-State
برای مشاهده وظایفی که وضعیت آنها با D مشخص میشود:
ps -eo pid,ppid,stat,wchan:32,etime,comm |
awk 'NR==1 || $3 ~ /^D/'
ستونهای مهم:
| ستون | کاربرد |
|---|---|
| PID | شناسه پردازش |
| PPID | شناسه پردازش والد |
| STAT | وضعیت پردازش و پرچمهای مربوط |
| WCHAN | محل انتظار در Kernel، در صورت دسترسبودن |
| ETIME | مدت سپریشده از شروع پردازش، نه مدت D-State |
| COMM | نام کوتاه پردازش |
توجه داشته باشید بعضی پردازشها چندین Thread دارند و ممکن است فقط تعدادی از Threadهای آنها در D-State باشند.
برای مشاهده Threadها نیز میتوان از گزینه -L استفاده کرد:
ps -eLo pid,tid,ppid,stat,wchan:32,comm |
awk 'NR==1 || $4 ~ /^D/'
این بررسی اهمیت دارد، چون Kernel Load تا سطح وظایف زمانبندیشونده محاسبه میشود و مشاهده فقط Process Leader ممکن است برخی Threadهای منتظر را پنهان کند.
منبع:
ps – Process State Codes.
مرحله هفتم: بررسی اینکه یک پردازش در Kernel منتظر چیست
بعد از پیدا کردن PID یا TID مرتبط، میتوان محل انتظار Kernel را بررسی کرد.
برای پردازش مشخص:
ps -p PID -o pid,ppid,stat,wchan:40,etime,args
برای مشاهده Stack در صورت پشتیبانی Kernel و داشتن دسترسی لازم:
sudo cat /proc/PID/stack
مقدار PID باید با شناسه واقعی جایگزین شود. در صورت نیاز به بررسی Thread مشخص نیز مسیر /proc/PID/task/TID/stack کاربرد دارد.
اگر WCHAN یا Stack به مسیرهای مرتبط با NFS، Block I/O یا File System اشاره کند، میتواند برای محدودکردن فرضیه مفید باشد.
اما نام تابع Kernel بهتنهایی تشخیص قطعی نیست و معنی آن به نسخه Kernel و زمینه رخداد بستگی دارد.
در بعضی سیستمها، WCHAN یا Stack ممکن است به دلیل محدودیت دسترسی، تنظیمات امنیتی یا گزینههای Kernel در دسترس نباشد.
چرا kill -9 همیشه پردازش D-State را نمیبندد؟
وقتی یک پردازش در خواب غیرقابلوقفه قرار دارد، ممکن است ارسال سیگنال خاتمه تا زمانی که وظیفه از انتظار Kernel خارج نشود، به نتیجه فوری نرسد.
بنابراین اگر یک پردازش بهدلیل توقف NFS Server یا انتظار طولانی عملیات Storage در D-State مانده، اجرای مکرر kill -9 معمولاً علت اصلی را رفع نمیکند.
همچنین Kill کردن پردازشهای دیتابیس، بکاپ یا فایلسیستم بدون بررسی میتواند خطر آسیب به داده، ناقصماندن Job یا از دست رفتن تراکنش را افزایش دهد.
راهکار مناسب: ابتدا مشخص کنید پردازش منتظر کدام منبع است؛ سپس وضعیت Storage، NFS، شبکه یا سرویس وابسته را بررسی کنید. در صورت نیاز به Restart یا Recovery، عملیات باید با درنظرگرفتن سلامت داده و شرایط سرویس انجام شود.
مرحله هشتم: بررسی I/O Pressure با PSI
Pressure Stall Information یا PSI یکی از قابلیتهای Linux Kernel برای اندازهگیری فشار منابع است.
در این روش میتوان بررسی کرد وظایف سیستم چه سهمی از زمان را بهدلیل محدودیت CPU، حافظه یا I/O در وضعیت انتظار سپری کردهاند.
برای مشاهده فشار I/O در سطح سیستم:
cat /proc/pressure/io
خروجی فرضی:
some avg10=28.50 avg60=16.20 avg300=7.10 total=123456789
full avg10=8.40 avg60=4.10 avg300=1.20 total=9876543
دو معیار اصلی عبارتاند از:
- some: سهم زمانی که دستکم بخشی از وظایف بهدلیل فشار منبع منتظر ماندهاند.
- full: سهم زمانی که همه وظایف غیر Idle مرتبط در وضعیت توقف ناشی از فشار آن منبع بودهاند.
مقادیر avg10، avg60 و avg300 بهترتیب میانگینهای مربوط به بازههای ۱۰، ۶۰ و ۳۰۰ ثانیه هستند و total زمان تجمعی را با واحد میکروثانیه نشان میدهد.
اگر I/O PSI بالا باشد و همزمان Load Average و تعداد پردازشهای D-State افزایش پیدا کرده باشند، شواهد قویتری از مشکل انتظار I/O به دست میآید.
اما PSI بهتنهایی دستگاه یا برنامه مقصر را مشخص نمیکند. برای یافتن منشأ مشکل باید آن را با iostat، pidstat و وضعیت پردازشها ترکیب کرد.
منبع رسمی:
Linux Kernel – Pressure Stall Information.
مرحله نهم: بررسی I/O Pressure یک سرویس یا cgroup
در سرورهایی که از cgroup v2 استفاده میکنند، ممکن است بتوان I/O Pressure را در سطح گروه یک سرویس مشخص بررسی کرد.
ابتدا نوع cgroup را مشاهده کنید:
findmnt -n -o FSTYPE /sys/fs/cgroup
برای دریافت مسیر یک سرویس فرضی:
systemctl show myapp.service -p ControlGroup
اگر مقدار ControlGroup معتبر و نوع فایلسیستم cgroup2 باشد:
CGROUP=$(systemctl show -P ControlGroup myapp.service)
if [ -n "$CGROUP" ] && [ "$CGROUP" != "/" ]; then
FILE="/sys/fs/cgroup${CGROUP}/io.pressure"
[ -r "$FILE" ] && cat "$FILE"
fi
این روش میتواند کمک کند مشخص شود آیا فشار I/O یک سرویس خاص با فشار کلی Host ارتباط دارد.
اگر سرویس متوقف شده یا cgroup آن پاک شده باشد، ممکن است فایل مربوط دیگر وجود نداشته باشد. در این صورت باید از اطلاعات مانیتورینگ ذخیرهشده و لاگهای زمان رخداد استفاده کرد.
مرحله دهم: بررسی NFS و Storage شبکهای
یکی از سناریوهای مهم Load بالا با CPU پایین، اختلال در یک فایلسیستم شبکهای مانند NFS است.
اگر برنامه برای خواندن فایل، نوشتن Backup یا دسترسی به Shared Storage به NFS وابسته باشد، کندی یا قطع پاسخ NFS Server میتواند باعث انتظار طولانی عملیات شود.
برای پیدا کردن Mountهای NFS:
findmnt -t nfs,nfs4
grep -E ' nfs4? ' /proc/mounts
برای بررسی پیامهای Kernel درباره NFS:
sudo journalctl -k -b --no-pager |
grep -Ei 'nfs|server not responding|rpc|timed out'
اگر ابزارهای NFS نصب هستند:
nfsstat -m
nfsiostat 1 3
در ابزار nfsiostat میتوان آمار مرتبط با عملیات فایلسیستم NFS را مشاهده کرد.
هشدار: اگر NFS Mount پاسخ نمیدهد، برخی فرمانهایی که به فایلها یا Metadata آن Mount دسترسی پیدا میکنند نیز ممکن است منتظر بمانند. برای شروع، روشهای مبتنی بر /proc/mounts و Kernel Log مناسبترند.
منبع:
nfsiostat – NFS Client Statistics.
آیا تغییر NFS از hard به soft مشکل D-State را حل میکند؟
در برخی آموزشها پیشنهاد میشود برای جلوگیری از انتظار طولانی NFS، گزینه Mount از hard به soft تغییر کند.
اما این تصمیم میتواند پیامدهای مهمی داشته باشد؛ زیرا در حالت soft ممکن است عملیات I/O پس از رسیدن به شرایط Timeout با خطا بازگردد و برنامه برای چنین رفتاری آماده نباشد.
در Workloadهایی که یکپارچگی داده اهمیت دارد، انتخاب نامناسب این تنظیم میتواند خطر خطا یا آسیب به داده را افزایش دهد.
بنابراین اگر NFS Server پاسخ نمیدهد، ابتدا باید وضعیت شبکه، سلامت Storage مقصد، سرویس NFS و زمان پاسخ درخواستها بررسی شود.
Unmount اجباری، تغییر Mount Option یا Restart سرویسهای وابسته نباید بدون برنامه بازیابی و بررسی وضعیت نوشتن داده اجرا شود.
منبع رسمی:
NFS Mount Options – hard و soft.
مرحله یازدهم: بررسی خطاهای Kernel و Block Device
اگر مشکل مربوط به دیسک محلی یا Virtual Disk باشد، ممکن است در Journal پیامهایی درباره Timeout، Reset، I/O Error یا خطای فایلسیستم وجود داشته باشد.
sudo journalctl -k -b --no-pager |
grep -Ei 'i/o error|blk_update|nvme|scsi|ata|reset|ext4|xfs|btrfs|timeout'
این جستوجو فقط برای یافتن سرنخ است. مشاهده یک پیام قدیمی درباره Reset یا Timeout الزاماً به معنی ارتباط آن با Load فعلی نیست.
باید زمان ثبت خطا را با افزایش await، تعداد پردازشهای D-State و شروع کندی سرویس تطبیق دهید.
اگر خطاهای مکرر خواندن یا نوشتن دیده میشوند، از اجرای آزمایشهای سنگین دیسک و Restartهای مکرر خودداری کنید و ابتدا سلامت دادهها و بکاپ را بررسی کنید.
مرحله دوازدهم: چرا در VPS یا VMware Load بالا میرود ولی CPU کم است؟
در سرورهای مجازی، Guest Operating System همیشه دید کامل نسبت به تمام لایههای Storage ندارد.
برای مثال، داخل VPS ممکن است فقط یک دیسک مجازی دیده شود؛ اما این دیسک در واقع روی Datastore مشترک، RAID، SAN یا زیرساخت ذخیرهسازی دیگری قرار گرفته باشد.
اگر Storage میزبان با Latency غیرعادی مواجه شود، ماشین مجازی ممکن است شاهد موارد زیر باشد:
- افزایش await در دیسک مجازی.
- زیادشدن تعداد پردازشهای D-State.
- Load Average بالا همراه با CPU Idle.
- کندی اجرای دیتابیس و عملیات خواندن فایل.
- افزایش مدت انجام Backup یا عملیات Snapshot.
در این وضعیت، افزایش vCPU معمولاً مشکل Latency ذخیرهسازی را برطرف نمیکند.
اگر دسترسی مدیریتی به Hypervisor دارید، باید وضعیت Datastore، Latency، صف Storage و فعالیت ماشینهای مجازی هممیزبان را بررسی کنید.
اگر فقط به VPS دسترسی دارید، خروجی iostat، vmstat، Kernel Journal و زمان رخداد را جمعآوری کنید تا امکان بررسی لایه میزبان توسط ارائهدهنده سرویس وجود داشته باشد.
مرحله سیزدهم: ارتباط Load بالا با دیتابیس، Backup و Snapshot
بعضی سرویسها حتی بدون مصرف زیاد CPU میتوانند فشار سنگینی روی Storage ایجاد کنند.
برای مثال:
- دیتابیس ممکن است منتظر خواندن صفحات داده یا Sync شدن تغییرات روی دیسک باشد.
- یک Backup Agent ممکن است عملیات خواندن و نوشتن حجیم انجام دهد.
- فرایند فشردهسازی یا استخراج آرشیو ممکن است حجم زیادی I/O تصادفی ایجاد کند.
- Snapshot یا عملیات زیرساخت مجازی ممکن است Latency Storage را تغییر دهد.
- پردازشهایی که فایلهای کوچک زیادی ایجاد میکنند ممکن است با فشار Metadata روبهرو شوند.
اگر مشکل دقیقاً همزمان با Backup، Batch Job یا پردازش زمانبندیشده ایجاد میشود، زمان اجرای آن فعالیت را با افزایش I/O Wait و D-State مقایسه کنید.
بااینحال، پایاندادن ناگهانی به Backup یا دیتابیس برای پایین آوردن Load، بدون بررسی وضعیت نوشتن داده و روش توقف ایمن، مناسب نیست.
مرحله چهاردهم: آیا کمبود فضای دیسک هم میتواند نقش داشته باشد؟
کمبود فضای دیسک، inode یا خطای فایلسیستم میتواند باعث شکست عملیات برنامهها شود؛ اما این شرایط الزاماً به معنی ایجاد D-State و Load بالا نیست.
برای بررسی وضعیت فضا و inode:
df -hT
df -i
اگر Mount شبکهای پاسخ نمیدهد، دستور df ممکن است هنگام بررسی آن منتظر بماند. در این شرایط ابتدا Mountهای شبکهای را شناسایی کرده و دستورها را با احتیاط اجرا کنید.
همچنین در Ubuntuهای جدید ممکن است /tmp روی tmpfs قرار داشته باشد. پرشدن /tmp یک مشکل مجزا است و نباید بدون شواهد، دلیل Load Average بالا در نظر گرفته شود.
اسکریپت یکپارچه تشخیص Load Average بالا و CPU پایین
اسکریپت زیر اطلاعات Load، CPU، صف پردازشها، D-State، I/O Pressure، دیسکها و پیامهای مهم Kernel را در یک پوشه تشخیصی جمعآوری میکند.
این اسکریپت هیچ سرویس یا پردازشی را Restart یا Kill نمیکند، تنظیمات Storage را تغییر نمیدهد و Mountها را Unmount نمیکند.
برای جلوگیری از سربار بالا، نمونهبرداری محدود است و در صورت نصبنبودن sysstat، بخشهای وابسته رد میشوند.
#!/usr/bin/env bash
set -u
STAMP="$(date +%Y%m%d-%H%M%S)"
OUT="/var/tmp/linux-load-incident-${STAMP}"
umask 077
mkdir -p "$OUT" || exit 1
{
echo "===== DATE ====="
date --iso-8601=seconds
echo "===== OS ====="
cat /etc/os-release
echo "===== KERNEL ====="
uname -r
echo "===== LOAD AVERAGE ====="
uptime
cat /proc/loadavg
echo "===== CPU COUNT ====="
nproc
echo "===== MEMORY ====="
free -h
echo "===== PSI IO ====="
cat /proc/pressure/io 2>/dev/null || true
echo "===== PSI CPU ====="
cat /proc/pressure/cpu 2>/dev/null || true
echo "===== PSI MEMORY ====="
cat /proc/pressure/memory 2>/dev/null || true
echo "===== BLOCK DEVICES ====="
lsblk -o NAME,TYPE,SIZE,FSTYPE,MOUNTPOINTS
echo "===== NFS MOUNTS ====="
grep -E ' nfs4? ' /proc/mounts || true
} >"$OUT/summary.txt" 2>&1
vmstat 1 6 >"$OUT/vmstat.txt" 2>&1 || true
ps -eLo pid,tid,ppid,stat,wchan:32,comm |
awk 'NR==1 || $4 ~ /^D/' \
>"$OUT/d-state-tasks.txt" 2>&1 || true
if command -v iostat >/dev/null 2>&1; then
iostat -xz 1 5 \
>"$OUT/iostat.txt" 2>&1 || true
fi
if command -v pidstat >/dev/null 2>&1; then
pidstat -d -p ALL 1 5 \
>"$OUT/pidstat-io.txt" 2>&1 || true
fi
journalctl -k -b --no-pager -n 1000 2>/dev/null |
grep -Ei \
'i/o error|timeout|reset|nfs|nvme|scsi|ext4|xfs|btrfs|blocked for more than' \
>"$OUT/kernel-storage-events.txt" || true
echo "===== DIAGNOSTICS READY ====="
echo "Output: $OUT"
echo "Review sensitive data before sharing."
برای استفاده، کد را با نامی مانند linux-load-check.sh ذخیره کنید و پس از بررسی محتوا، با دسترسی مجاز اجرا کنید.
اگر سیستم بهشدت تحت فشار است، حتی عملیات خواندن لاگ یا اجرای ابزارهای تشخیصی نیز میتواند سربار داشته باشد. در چنین شرایطی اجرای دستورها از Console و ثبت نمونههای کوتاه توصیه میشود.
خروجی ممکن است نام سرویسها، Mountهای خصوصی، مسیرهای برنامه و اطلاعات زیرساختی را نشان دهد؛ بنابراین قبل از ارسال به پشتیبانی آن را بررسی کنید.
جدول تصمیمگیری: Load بالا و CPU پایین را چگونه رفع کنیم؟
| شواهد | علت محتمل | اقدام مناسب |
|---|---|---|
| Load بالا، vmstat b بالا و iostat await بالا | تأخیر Storage | بررسی دیسک، صف، فایلسیستم و لایه میزبان |
| Load بالا، D-State زیاد و NFS Timeout | اختلال فایلسیستم شبکهای | بررسی NFS Server، مسیر شبکه و عملیات معطل |
| Load بالا، CPU Usage بالا و vmstat r زیاد | فشار پردازشی | شناسایی پردازشهای CPU-bound |
| Load بالا و CPU Steal زیاد | رقابت منابع در لایه مجازیسازی | بررسی Host و تخصیص vCPU |
| I/O PSI بالا ولی %util پایین | انتظار I/O یا گلوگاه خارج از شاخص ساده دستگاه | تحلیل D-State، NFS و Latency |
| pidstat یک سرویس با I/O زیاد نشان میدهد | Workload پرمصرف یا Job زمانبندیشده | بررسی الگوی فعالیت و محدودسازی اصولی بار |
| Kernel خطای I/O و Reset دیسک ثبت کرده | اشکال دستگاه یا مسیر Storage | حفظ شواهد و بررسی سلامت داده و سختافزار |
| بیشتر Taskها در D-State هستند اما iostat محلی عادی است | احتمال NFS یا انتظار دیگر در Kernel | بررسی WCHAN، Stack و منابع شبکهای |
| Load در حال کاهش است ولی مقدار ۱۵ دقیقه هنوز بالاست | اثر میانگینگیری زمانی | بررسی روند، نه تصمیم صرفاً بر اساس یک عدد |
مثال واقعینما: Load برابر ۲۰، CPU برابر ۸ درصد
فرض کنید یک VPS با ۸ پردازنده منطقی دارید و مانیتورینگ این وضعیت را ثبت کرده است:
| معیار | مقدار فرضی |
|---|---|
| Load Average یک دقیقه | 20.4 |
| CPU User + System | 8% |
| vmstat b | 16 |
| vmstat r | 1 |
| Disk await | 85 ms |
| I/O PSI some avg10 | 32% |
در این سناریو، CPU بهطور مستقیم تحت فشار اصلی نیست. تعداد زیادی وظیفه منتظر I/O هستند، Latency دیسک نسبت به شرایط عادی بالاتر رفته و PSI نیز زمان انتظار قابل توجهی را نشان میدهد.
گام بعدی این نیست که تعداد vCPU را افزایش دهیم. ابتدا باید با iostat دستگاه درگیر را مشخص کنیم، با pidstat و D-State پردازشهای منتظر را شناسایی کنیم و در نهایت وضعیت Storage، NFS یا Datastore را بررسی کنیم.
اگر مشخص شد تأخیر از یک Job زمانبندیشده آغاز شده، زمان اجرای آن را با رویدادهای I/O تطبیق میدهیم. اگر مشکل بدون تغییر بار برنامه ایجاد شده، احتمال اختلال Storage یا لایه میزبان اهمیت بیشتری پیدا میکند.
اشتباههای رایج هنگام عیبیابی Load Average بالا
۱. یکی دانستن Load Average و CPU Usage
Load میتواند به دلیل پردازشهای D-State افزایش یابد، حتی وقتی CPU تا حد زیادی Idle است.
۲. افزایش vCPU بدون بررسی I/O
اگر عامل اصلی Latency ذخیرهسازی باشد، افزایش CPU الزاماً تغییری در زمان پاسخ I/O ایجاد نمیکند.
۳. نتیجهگیری فقط از مقدار iowait
iowait یک شاخص حسابداری CPU است و نباید بهتنهایی برای تشخیص نوع گلوگاه استفاده شود.
۴. تفسیر ۱۰۰ درصد %util بهعنوان اشباع قطعی NVMe
قابلیت پردازش موازی درخواستها در SSD و NVMe باعث میشود تفسیر این معیار بهتنهایی گمراهکننده باشد.
۵. اجرای مکرر kill -9 روی Processهای D-State
پردازشی که داخل Kernel در انتظار غیرقابلوقفه قرار دارد ممکن است تا پایان انتظار به سیگنال پاسخ ندهد.
۶. اجرای Unmount اجباری NFS بدون بررسی
این اقدام ممکن است روی پردازشهای فعال و یکپارچگی عملیات نوشتن تأثیر بگذارد.
۷. بیتوجهی به Threadهای D-State
بعضی مشکلات فقط در سطح Thread قابل مشاهدهاند و بررسی Process Leader کافی نیست.
۸. بررسینکردن Kernel Journal
خطاهای دیسک، NFS، Reset دستگاه و Timeout ممکن است در Kernel Log ثبت شده باشند.
۹. فرض اینکه دیسک محلی همیشه مقصر است
فایلسیستم شبکهای، Storage زیرساخت مجازی و بعضی انتظارهای Kernel نیز میتوانند باعث D-State شوند.
۱۰. Restart کردن سرور پیش از جمعآوری شواهد
Reboot ممکن است موقتاً مشکل را پنهان کند، اما علت آن را مشخص نمیکند و برای بعضی سرویسها خطر آسیب به داده دارد.
سؤالات متداول درباره Load Average بالا و CPU پایین
چرا Load Average در لینوکس بالا است ولی CPU مصرف زیادی ندارد؟
چون Load Average علاوه بر وظایف آماده اجرا، وظایف موجود در وضعیت خواب غیرقابلوقفه را هم شامل میشود. این وظایف ممکن است منتظر I/O یا عملیات Kernel باشند.
آیا Load Average بالا همیشه نشانه کمبود CPU است؟
خیر. باید تعداد پردازندههای منطقی، صف Runnable، پردازشهای D-State و شاخصهای I/O بررسی شوند.
چگونه تعداد پردازشهای منتظر I/O را ببینیم؟
از ستون b در vmstat و همچنین بررسی Taskهای D-State با ps استفاده کنید.
D-State در لینوکس چیست؟
وضعیت خواب غیرقابلوقفه یک وظیفه است که معمولاً هنگام انتظار برای تکمیل بعضی عملیات Kernel یا I/O مشاهده میشود.
چرا kill -9 پردازش D-State را نمیبندد؟
زیرا تا زمانی که وظیفه در انتظار غیرقابلوقفه قرار دارد، ممکن است نتواند فوراً به سیگنال خاتمه پاسخ دهد.
دستور iostat چه اطلاعاتی نشان میدهد؟
اطلاعاتی مانند نرخ خواندن و نوشتن، میانگین زمان درخواستها، اندازه صف و درصد فعالیت دستگاه را نمایش میدهد.
آیا iowait بالا به معنی خرابی هارد است؟
خیر. ممکن است Storage صرفاً کند یا تحت بار باشد؛ همچنین عوامل دیگری مانند مسیر شبکه یا تأخیر لایه مجازیسازی دخیل باشند.
آیا NFS میتواند Load Average را بالا ببرد؟
بله. وقتی عملیات فایلسیستم شبکهای منتظر پاسخ میمانند، برخی وظایف ممکن است در D-State قرار بگیرند و Load را افزایش دهند.
PSI چه کمکی به عیبیابی میکند؟
PSI میزان زمانی را نشان میدهد که وظایف بر اثر فشار منابع متوقف شدهاند و برای تحلیل I/O Pressure کاربرد دارد.
بهترین روش رفع Load بالا در VPS چیست؟
ابتدا با vmstat، iostat، pidstat و بررسی D-State مشخص کنید مشکل از CPU، دیسک یا Storage شبکهای است. سپس متناسب با منبع واقعی گلوگاه اقدام کنید.
جمعبندی؛ وقتی Load بالاست اما CPU آزاد است چه کنیم؟
اگر Load Average سرور لینوکسی بالا است اما مصرف CPU پایین باقی مانده، ابتدا وضعیت صف پردازنده و پردازشهای Blocked را بررسی کنید. دستور vmstat میتواند نشان دهد فشار بیشتر از نوع Runnable است یا انتظار I/O.
اگر تعداد وظایف Blocked زیاد است، با iostat وضعیت Latency و صف دیسک را بررسی کنید. سپس با pidstat، ps و WCHAN پردازشهای مرتبط را پیدا کنید. در صورت وجود Mountهای شبکهای، وضعیت NFS و پیامهای Kernel را هم تحلیل کنید.
شاخص I/O PSI نیز کمک میکند شدت انتظار منابع را با دقت بیشتری ببینید. در محیط VPS، بررسی Storage میزبان و Datastore نیز ممکن است ضروری باشد.
اصل نهایی: Load Average بالا همیشه به معنی کمبود CPU نیست. قبل از افزایش منابع، Restart یا Kill کردن پردازشها، مشخص کنید وظایف سیستم واقعاً منتظر چه چیزی هستند. راهحل پایدار از شناسایی همان گلوگاه آغاز میشود.






دیدگاهها (۰)