مجله ایرانیکاسرورآموزش سرور، هاست، وردپرس و شبکه
آموزشی

رفع خطای No Space Left on Device در لینوکس؛ وقتی دیسک خالی است اما Inode تمام شده!

فرض کنید سرور لینوکسی شما هنگام نصب یک پکیج، ذخیره فایل، آپلود تصویر یا ایجاد فایل‌های Cache با خطای No space left on device مواجه می‌شود. اولین کاری که انجام می‌دهید، بررسی فضای دیسک…

رفع خطای No Space Left on Device در لینوکس؛ وقتی دیسک خالی است اما Inode تمام شده!
خلاصه سریع این آموزش

فرض کنید سرور لینوکسی شما هنگام نصب یک پکیج، ذخیره فایل، آپلود تصویر یا ایجاد فایل‌های Cache با خطای No space left on device مواجه می‌شود. اولین کاری که انجام…

۲۲ دقیقه مطالعه ۰ دیدگاه ۱ آذر ۱۴۰۵ آخرین به‌روزرسانی

فرض کنید سرور لینوکسی شما هنگام نصب یک پکیج، ذخیره فایل، آپلود تصویر یا ایجاد فایل‌های Cache با خطای No space left on device مواجه می‌شود. اولین کاری که انجام می‌دهید، بررسی فضای دیسک با دستور df -h است؛ اما نتیجه نشان می‌دهد هنوز چندین گیگابایت فضای آزاد دارید. پس چرا سرور نمی‌تواند حتی یک فایل کوچک بسازد؟

یکی از علت‌های مهم این مشکل، تمام‌شدن Inodeهای فایل‌سیستم است. در لینوکس، نگهداری هر فایل و پوشه به اطلاعاتی در ساختار فایل‌سیستم نیاز دارد. اگر ظرفیت این ساختار به پایان برسد، ممکن است ایجاد فایل جدید غیرممکن شود، حتی زمانی که فضای ذخیره‌سازی از نظر حجم پر نشده باشد.

این وضعیت به‌خصوص در سرورهایی دیده می‌شود که تعداد بسیار زیادی فایل کوچک تولید می‌کنند؛ مانند فایل‌های Session، Cache، لاگ برنامه، فایل‌های موقت، خروجی پردازش‌ها و بعضی مسیرهای مربوط به Docker و سرویس‌های وب.

بااین‌حال، برای رفع مشکل Linux no space left inode نباید فرض کنیم هر خطای No space left on device از کمبود Inode ناشی شده است. فایل‌های حذف‌شده اما باز، محدودیت Quota، بلوک‌های رزروشده ext4 و پرشدن یک Mount مستقل نیز می‌توانند خطاهای مشابه ایجاد کنند.

در این مقاله، ابتدا تفاوت فضای دیسک و Inode را توضیح می‌دهیم؛ سپس با دستورات df -h، df -i، findmnt، du، find و lsof علت واقعی را پیدا می‌کنیم و روش بازیابی ایمن فضای فایل‌سیستم را بدون حذف تصادفی اطلاعات مهم سرور بررسی خواهیم کرد.

فهرست مطالب

Inode در لینوکس چیست و چه کاربردی دارد؟

Inode یا Index Node ساختاری در فایل‌سیستم‌های یونیکسی و لینوکسی است که اطلاعات مربوط به فایل‌ها را نگهداری می‌کند.

این اطلاعات می‌توانند شامل موارد زیر باشند:

  • نوع فایل، مانند فایل معمولی، پوشه یا لینک نمادین.
  • مالک فایل و گروه مربوط.
  • سطح دسترسی و مجوزهای فایل.
  • اندازه فایل.
  • زمان‌های مربوط به دسترسی و تغییر فایل.
  • تعداد Hard Linkها.
  • اطلاعات موردنیاز فایل‌سیستم برای دسترسی به داده‌های فایل.

نام فایل معمولاً در ورودی پوشه نگهداری می‌شود و به Inode مربوط اشاره می‌کند. به همین دلیل نام فایل و Inode دقیقاً یک مفهوم نیستند.

در فایل‌سیستم‌هایی مانند ext4، تعداد Inodeها معمولاً هنگام ایجاد فایل‌سیستم تعیین می‌شود. اگر تمام این Inodeها مصرف شوند، داشتن فضای آزاد برحسب گیگابایت به‌تنهایی برای ساخت فایل جدید کافی نیست.

نکته مهم اینکه یک فایل یک‌کیل وبایتی و یک فایل چندگیگابایتی، در حالت معمول هرکدام یک Inode دارند. بنابراین تعداد فایل‌ها از نظر مصرف Inode اهمیت بیشتری از حجم آن‌ها دارد.

البته Hard Linkهای یک فایل به Inode مشترک اشاره می‌کنند و نباید هر نام فایل را الزاماً یک Inode مستقل در نظر گرفت.

منبع رسمی:
GNU Coreutils – df و اطلاعات Inode.

تفاوت پرشدن فضای دیسک و تمام‌شدن Inode چیست؟

فایل‌سیستم برای ذخیره اطلاعات به دو نوع ظرفیت مهم نیاز دارد: فضای نگهداری داده‌ها و منابع لازم برای مدیریت فایل‌ها.

ویژگی پرشدن فضای دیسک تمام‌شدن Inode
محدودیت اصلی بلوک‌های قابل استفاده برای ذخیره داده ظرفیت نگهداری ساختار فایل‌های جدید
دستور اصلی بررسی df -h df -i
عامل رایج فایل‌های حجیم، بکاپ و لاگ تعداد بسیار زیاد فایل‌های کوچک
نشانه مهم Available نزدیک صفر IFree نزدیک صفر
راهکار معمول مدیریت داده‌های حجیم کاهش تعداد فایل‌های غیرضروری

برای مثال، ممکن است یک پارتیشن ۱۰۰ گیگابایتی فقط ۴۰ گیگابایت داده داشته باشد، اما به دلیل ایجاد میلیون‌ها فایل کوچک، تمام Inodeهای آن مصرف شده باشند.

در چنین شرایطی، حتی تلاش برای ایجاد یک فایل متنی کوچک هم ممکن است با ENOSPC شکست بخورد.

مرحله اول: بررسی هم‌زمان فضای دیسک و Inode

اولین و مهم‌ترین مرحله، بررسی هر دو نوع ظرفیت در مسیر واقعی مشکل است.

برای نمایش فضای دیسک:

df -hT

برای بررسی Inodeها:

df -i

در خروجی df -i ستون‌های زیر اهمیت دارند:

ستون معنی
Inodes تعداد کل Inodeهای گزارش‌شده
IUsed تعداد Inodeهای مصرف‌شده
IFree تعداد Inodeهای آزاد
IUse% درصد استفاده از Inodeها
Mounted on محل اتصال فایل‌سیستم

اگر IUse% برابر ۱۰۰ درصد و IFree صفر باشد، احتمالاً ظرفیت Inode فایل‌سیستم موردنظر تمام شده است.

البته در فایل‌سیستم‌هایی مانند XFS که مدیریت Inode متفاوتی دارند، باید خروجی را متناسب با ساختار همان فایل‌سیستم تفسیر کرد.

منبع:
Linux df Manual.

مثال: دیسک ۶۰ درصد پر است ولی هیچ فایلی ساخته نمی‌شود

فرض کنید خروجی دو دستور به شکل زیر باشد:

Filesystem  Size  Used  Avail  Use%  Mounted on
/dev/vda1   100G   60G    40G   60%  /

Filesystem   Inodes   IUsed   IFree  IUse% Mounted on
/dev/vda1   6000000 6000000       0   100% /

این خروجی فرضی نشان می‌دهد ۴۰ گیگابایت فضای دیسک آزاد است، اما هیچ Inode آزادی باقی نمانده است.

در نتیجه، مشکل اصلی افزایش ظرفیت برحسب گیگابایت نیست؛ باید علت ایجاد تعداد زیاد فایل‌ها را پیدا کنیم.

مرحله دوم: بررسی فایل‌سیستم واقعی مسیر مشکل‌دار

یکی از اشتباه‌های رایج این است که فقط پارتیشن ریشه یا / بررسی می‌شود؛ درحالی‌که برنامه ممکن است روی یک Mount دیگر فایل ایجاد کند.

برای مثال، شاید عملیات برنامه داخل /var، /tmp، /home یا یک Volume اختصاصی Docker انجام شود.

اگر خطا هنگام ایجاد فایل در /var/lib/myapp رخ می‌دهد، ابتدا همان مسیر را بررسی کنید:

df -hT /var/lib/myapp

df -i /var/lib/myapp

findmnt -T /var/lib/myapp

مسیر نمونه باید با دایرکتوری واقعی و موجود روی سرور جایگزین شود.

با این کار مشخص می‌شود فایل‌سیستم مربوط از نوع ext4، XFS، tmpfs، OverlayFS یا نوع دیگری است.

نکته: اگر خطا در یک کانتینر رخ داده، فضای آزاد فایل‌سیستم میزبان الزاماً با فضای قابل استفاده لایه نوشتنی کانتینر برابر نیست.

چه چیزهایی باعث مصرف بیش‌ازحد Inode می‌شوند؟

در سرورهای لینوکسی، مصرف غیرعادی Inode معمولاً به ایجاد تعداد زیادی فایل کوچک ارتباط دارد.

محل یا سرویس عامل احتمالی
Cache برنامه ایجاد فایل جداگانه برای هر درخواست یا نتیجه پردازش
Session Storage باقی‌ماندن Sessionهای قدیمی
وب‌سایت‌های PHP فایل‌های موقت و Cache فایل‌محور
سیستم ایمیل تعداد زیاد پیام‌ها در ساختار Maildir
Docker لایه‌ها، فایل‌های برنامه و داده‌های Volume
CI/CD وابستگی‌ها، پوشه‌های Build و Artifacts
Package Cache انباشت فایل‌های قدیمی و داده‌های کمکی
سیستم مانیتورینگ فایل‌های کوتاه‌عمر یا خروجی‌های متعدد
فایل‌های موقت پاک‌نشدن داده‌های قبلی
اسکریپت معیوب ساخت مداوم فایل در حلقه یا Cron Job

این جدول فقط محل‌های احتمالی را نشان می‌دهد. قبل از پاک‌سازی باید مشخص شود کدام فایل‌ها واقعاً غیرضروری هستند و چه برنامه‌ای مسئول ایجاد آن‌هاست.

مرحله سوم: پیدا کردن پوشه‌ای که بیشترین Inode را مصرف می‌کند

برای شناسایی پوشه‌های دارای تعداد زیاد فایل، می‌توان از قابلیت --inodes ابزار du استفاده کرد.

برای بررسی دایرکتوری /var:

sudo du --inodes -x -d 1 /var 2>/dev/null |
sort -nr |
head -n 20

در این دستور:

  • گزینه –inodes برای شمارش استفاده از Inodeهاست.
  • گزینه -x از عبور به فایل‌سیستم‌های دیگر جلوگیری می‌کند.
  • گزینه -d 1 گزارش را در عمق یک سطح محدود می‌کند.
  • sort -nr مسیرها را از بیشترین مصرف به کمترین مرتب می‌کند.

این روش را می‌توان برای مسیرهایی مانند /var/cache، /var/lib، /home یا دایرکتوری برنامه اجرا کرد.

هشدار عملکردی: اسکن میلیون‌ها فایل ممکن است CPU و I/O مصرف کند و در سرور پرترافیک زمان‌بر باشد. ابتدا یک مسیر محدود را بررسی کنید و فقط در صورت نیاز دامنه اسکن را افزایش دهید.

همچنین این دستور لزوماً همان آمار دقیق مصرف Inode در سطح فایل‌سیستم را برای همه شرایط خاص، از جمله فایل‌های حذف‌شده اما باز، بازسازی نمی‌کند.

مرحله چهارم: محدودکردن جست‌وجو به پوشه مقصر

فرض کنیم مشخص شده است /var/cache بیشترین تعداد فایل را دارد.

برای شناسایی زیرپوشه‌های پرمصرف:

sudo du --inodes -x -d 1 /var/cache 2>/dev/null |
sort -nr |
head -n 20

این بررسی را می‌توان مرحله‌به‌مرحله تا رسیدن به مسیر تولیدکننده فایل ادامه داد.

برای شمارش فایل‌های معمولی داخل یک پوشه مشخص:

sudo find /var/cache/myapp -xdev -type f -printf '.' |
wc -c

این مثال تعداد فایل‌های معمولی قابل پیمایش را می‌شمارد، نه همه انواع Inode. برای پوشه‌های بسیار بزرگ نیز اجرای آن می‌تواند زمان و منابع قابل توجهی مصرف کند.

پس از پیدا کردن مسیر، بررسی کنید فایل‌ها چه زمانی ایجاد شده‌اند، چه برنامه‌ای آن‌ها را می‌سازد و آیا طبق سیاست برنامه قابل پاک‌سازی هستند.

مرحله پنجم: آزادسازی Inode بدون حذف خطرناک اطلاعات

پس از شناسایی پوشه پرمصرف، پاک‌سازی باید متناسب با نوع داده انجام شود.

برای مثال، فایل Cache قابل بازسازی با فایل دیتابیس، Session فعال یا Maildir یکسان نیست.

پیش از حذف هر فایلی باید موارد زیر مشخص باشند:

  • مالک فایل‌ها کدام سرویس یا کاربر است؟
  • آیا برنامه هنوز از فایل‌ها استفاده می‌کند؟
  • آیا اطلاعات پس از حذف قابل بازسازی‌اند؟
  • آیا سیاست نگهداری یا انقضای فایل وجود دارد؟
  • آیا حذف فایل‌ها باعث Logout کاربران یا شکست Jobها می‌شود؟
  • آیا بکاپ معتبر در دسترس است؟

برای مشاهده فایل‌های قدیمی‌تر از هفت روز در یک Cache اختصاصی، ابتدا فقط پیش‌نمایش بگیرید:

sudo find /var/cache/myapp -xdev -type f \
-mtime +7 -print |
head -n 100

این دستور چیزی را حذف نمی‌کند. گزینه mtime بر اساس زمان تغییر فایل عمل می‌کند و به معنی تشخیص قطعی بی‌استفاده‌بودن فایل نیست.

اگر حذف فایل‌ها مجاز و ضروری بود، بهتر است از ابزار پاک‌سازی خود برنامه، سیاست Cache Expiration یا سرویس مدیریت‌کننده آن استفاده شود.

هشدار جدی: از اجرای دستورهای عمومی مانند rm -rf روی /var، /tmp، پوشه‌های دیتابیس، مسیرهای Docker یا داده‌های ناشناس خودداری کنید. حذف تعداد زیاد فایل فعال ممکن است آسیب عملیاتی ایجاد کند.

مرحله ششم: فایل حذف شده اما همچنان فضای دیسک مصرف می‌کند

گاهی df نشان می‌دهد فضای فایل‌سیستم مصرف شده است، اما du نمی‌تواند فایل‌های بزرگ مربوط را پیدا کند.

یکی از دلایل مهم این اختلاف، وجود فایل‌هایی است که نام آن‌ها حذف شده اما یک پردازش هنوز فایل را باز نگه داشته است.

در لینوکس، حذف نام فایل الزاماً به معنی آزادشدن فوری همه منابع فایل نیست. تا زمانی که آخرین ارجاع باز به فایل بسته نشده باشد، ممکن است داده‌ها و Inode مربوط همچنان وجود داشته باشند.

برای بررسی فایل‌های حذف‌شده اما باز:

sudo lsof -nP +L1

این دستور فایل‌های باز با تعداد Hard Link کمتر از یک را فهرست می‌کند.

در خروجی به نام پردازش، PID، File Descriptor، اندازه فایل و مسیر ثبت‌شده توجه کنید.

نکته مهم: این وضعیت معمولاً بیشتر برای توضیح اختلاف مصرف فضای دیسک بین df و du کاربرد دارد، اما فایل حذف‌شده و باز می‌تواند همچنان Inode خود را نیز اشغال کند. ضمن اینکه خروجی lsof ممکن است فایل‌های حافظه‌ای مانند memfd را هم شامل شود که مصرف دیسک فیزیکی ندارند.

منابع:
Lsof FAQ – Deleted Open Files
و
Lsof Manual.

چگونه فضای فایل حذف‌شده اما باز را آزاد کنیم؟

اگر مشخص شد یک برنامه فایل حذف‌شده بزرگی را باز نگه داشته، ابتدا باید تعیین کنیم آن File Descriptor متعلق به چه سرویس و عملیاتی است.

اگر برنامه ابزار داخلی برای بازکردن مجدد فایل‌های Log یا آزادسازی منابع دارد، استفاده از همان روش می‌تواند مناسب باشد.

در بعضی سرویس‌ها نیز Reload یا Restart کنترل‌شده باعث بسته‌شدن Descriptor و آزادشدن فضای مربوط می‌شود.

اما اجرای Restart روی یک دیتابیس یا سرویس حیاتی بدون برنامه نگهداری می‌تواند باعث اختلال شود.

توصیه نمی‌شود برای آزادسازی فوری فضا، به‌صورت کورکورانه فایل‌های باز داخل /proc/PID/fd را تغییر اندازه دهید. این کار ممکن است داده‌های در حال استفاده را تخریب کند یا رفتار برنامه را غیرقابل پیش‌بینی کند.

همچنین اگر فایل حذف‌شده بزرگی وجود ندارد، نباید صرفاً به دلیل پرشدن Inodeها فرض کرد lsof علت اصلی را نشان خواهد داد.

مرحله هفتم: بررسی Inode در ext4

در فایل‌سیستم ext4، تعداد Inodeها معمولاً هنگام ساخت فایل‌سیستم تعیین می‌شود.

اگر فایل‌سیستم برای نگهداری فایل‌های نسبتاً بزرگ طراحی شده باشد اما بعداً میلیون‌ها فایل بسیار کوچک در آن ایجاد شوند، ممکن است ظرفیت Inode زودتر از فضای بلوکی تمام شود.

برای بررسی نوع فایل‌سیستم:

findmnt -T / -o SOURCE,FSTYPE,TARGET

اگر فایل‌سیستم ext4 است، می‌توان اطلاعات ساختاری آن را با tune2fs مشاهده کرد.

پس از پیدا کردن دستگاه واقعی، نمونه دستور:

sudo tune2fs -l /dev/vda1 |
grep -Ei 'inode count|free inodes|inodes per group|reserved block count'

دستگاه /dev/vda1 فقط مثال است و نباید بدون بررسی روی سرور اجرا شود.

این فرمان در حالت نمایش اطلاعات، ساختار فایل‌سیستم را تغییر نمی‌دهد.

آیا می‌توان تعداد Inodeهای ext4 را افزایش داد؟

تعداد Inodeهای ext4 به ساختار ایجادشده هنگام Format وابسته است و تغییر نسبت Inode به حجم، پس از ساخت فایل‌سیستم، به‌سادگی با یک دستور معمول مدیریتی امکان‌پذیر نیست.

اگر مشکل دائماً تکرار می‌شود، معمولاً باید یکی از این گزینه‌ها را بررسی کرد:

  • اصلاح برنامه‌ای که فایل‌های کوچک و غیرضروری تولید می‌کند.
  • انتقال داده‌های دارای تعداد فایل بسیار زیاد به فایل‌سیستم اختصاصی.
  • طراحی فایل‌سیستم جدید ext4 با تعداد Inode مناسب.
  • مهاجرت به ساختار ذخیره‌سازی متناسب با Workload.
  • استفاده از روش Cache یا ذخیره‌سازی دیگری که تعداد فایل‌های مستقل کمتری ایجاد کند.

تغییر تنظیمات ساخت فایل‌سیستم با mkfs روی دیسک دارای داده، بدون طرح مهاجرت و بکاپ، می‌تواند تمام اطلاعات را از بین ببرد.

هشدار: دستور mkfs ابزار ایجاد فایل‌سیستم است، نه یک روش ساده و ایمن برای افزایش Inode فایل‌سیستم فعال. روی دیسک عملیاتی برای حل مستقیم این مشکل اجرا نشود.

منبع:
mke2fs – تنظیم تعداد و نسبت Inode هنگام ایجاد فایل‌سیستم.

مرحله هشتم: تفاوت رفتار Inode در XFS

مدیریت Inode در XFS با ext4 یکسان نیست. XFS از سازوکار تخصیص پویا استفاده می‌کند و محدودیت‌های آن به فضای آزاد، ساختار Allocation Group و تنظیمات فایل‌سیستم وابسته‌اند.

به همین دلیل نباید روش‌های افزایش Inode در ext4 را مستقیماً به XFS تعمیم داد.

برای بررسی وضعیت یک Mount از نوع XFS:

df -hT /var

df -i /var

findmnt -T /var

اگر XFS برای ایجاد فایل جدید خطا می‌دهد، علاوه بر Inode باید بلوک‌های آزاد، Quota، وضعیت متادیتا و خطاهای فایل‌سیستم بررسی شوند.

منبع:
Red Hat – Managing File Systems و XFS.

مرحله نهم: اتمام Inode در tmpfs

tmpfs فقط به اندازه ظرفیت بایتی محدود نیست؛ این فایل‌سیستم می‌تواند سقف تعداد Inode نیز داشته باشد.

بنابراین ممکن است /tmp یا یک Mount حافظه‌ای هنوز از نظر حجم فضای آزاد داشته باشد، اما ایجاد فایل جدید به‌دلیل رسیدن به محدودیت Inode ممکن نباشد.

برای بررسی:

findmnt -T /tmp -o TARGET,FSTYPE,OPTIONS

df -hT /tmp

df -i /tmp

اگر در گزینه‌های Mount مقدار nr_inodes تعیین شده باشد، سقف تعداد Inodeها ممکن است به همان تنظیم وابسته باشد.

برای مدیریت آن باید مصرف واقعی فایل‌های موقت و پیکربندی Mount بررسی شود. تغییر سقف tmpfs بدون بررسی RAM، Swap و سرویس‌های استفاده‌کننده می‌تواند مشکلات دیگری ایجاد کند.

منبع:
Linux Kernel – tmpfs و nr_inodes.

مرحله دهم: آیا محدودیت Quota باعث No Space Left on Device شده است؟

گاهی فضای آزاد و تعداد Inodeهای فایل‌سیستم هر دو مناسب هستند، اما یک کاربر، گروه یا پروژه از سهمیه اختصاصی خود عبور کرده است.

در چنین شرایطی، محدودیت Quota می‌تواند مانع ایجاد فایل جدید شود.

برای بررسی Quota کاربر فعلی، در سیستم‌هایی که ابزار مربوط نصب و فعال است:

quota -s

برای مشاهده تنظیمات Mount:

findmnt -T /var -o SOURCE,FSTYPE,OPTIONS

در محیط‌های XFS، ابزارهای اختصاصی XFS نیز می‌توانند برای مشاهده User، Group و Project Quota کاربرد داشته باشند.

نکته مهم این است که رسیدن به Quota ممکن است با پیام Disk quota exceeded یا خطای EDQUOT نمایش داده شود، نه الزاماً همان ENOSPC. بنابراین متن دقیق خطا و وضعیت فایل‌سیستم باید با هم بررسی شوند.

مرحله یازدهم: نقش بلوک‌های رزروشده ext4

در ext4 ممکن است بخشی از بلوک‌های فایل‌سیستم برای استفاده فرایندهای دارای امتیاز ویژه رزرو شده باشند.

در این وضعیت، یک کاربر عادی ممکن است نتواند داده جدید بنویسد، درحالی‌که هنوز مقداری فضای فیزیکی رزروشده در فایل‌سیستم وجود دارد.

برای مشاهده تنظیمات مربوط:

sudo tune2fs -l /dev/vda1 |
grep -Ei 'block count|free blocks|reserved block count|reserved block percentage'

دستگاه باید با نام واقعی فایل‌سیستم ext4 جایگزین شود.

توجه: بلوک‌های رزروشده و Inodeهای آزاد دو منبع متفاوت هستند. کاهش درصد بلوک‌های رزروشده، مشکل تمام‌شدن Inode را حل نمی‌کند.

همچنین تغییر درصد Reserve بدون بررسی سیاست فایل‌سیستم، ریسک پرشدن کامل دیسک و اختلال سرویس‌های سیستمی را افزایش می‌دهد.

مرحله دوازدهم: مشکل Inode در Docker و کانتینرها

در محیط‌های Docker، ممکن است خطای No space left on device هنگام Build Image، ایجاد Container، نصب وابستگی‌ها یا نوشتن Log مشاهده شود.

در این وضعیت باید محل واقعی ذخیره داده کانتینر مشخص شود.

برای مشاهده مسیر ذخیره‌سازی Docker:

docker info --format '{{.DockerRootDir}}'

برای مشاهده مصرف منابع Docker:

docker system df

پس از شناسایی مسیر واقعی Docker Root، همان فایل‌سیستم را از نظر فضای بلوکی و Inode بررسی کنید.

ممکن است Docker از لایه‌های OverlayFS استفاده کند یا داده‌ها در Volumeها و Mountهای دیگری نگهداری شوند.

هشدار بسیار مهم: از حذف مستقیم فایل‌های داخلی Docker در مسیر /var/lib/docker یا اجرای کورکورانه docker system prune –volumes خودداری کنید. این اقدامات ممکن است داده‌های موردنیاز کانتینرها، Imageها یا Volumeها را از بین ببرند.

منبع:
Docker – Prune و مدیریت منابع بلااستفاده.

مرحله سیزدهم: بررسی رشد فایل‌های Log و تعداد فایل‌ها

گاهی مشکل از یک سرویس است که در هر درخواست یا خطا، فایل جدیدی تولید می‌کند.

در چنین وضعیتی حتی اگر هر Log بسیار کوچک باشد، تعداد زیاد فایل‌ها می‌تواند مصرف Inode را بالا ببرد.

برای بررسی مسیرهای مربوط به Log:

sudo du --inodes -x -d 1 /var/log 2>/dev/null |
sort -nr |
head -n 20

برای بررسی فضای مصرف‌شده توسط Journal:

journalctl --disk-usage

توجه کنید مقدار Disk Usage ژورنال با تعداد Inodeهای مصرف‌شده آن یکسان نیست.

اگر سرویس لاگ‌های بسیار زیادی تولید می‌کند، بهتر است تنظیمات Log Rotation، سطح Log و سیاست نگهداری بررسی شوند.

برای بررسی وضعیت سرویس Logrotate، در سیستم‌های دارای Timer مربوط:

systemctl status logrotate.timer --no-pager

systemctl list-timers --all |
grep logrotate

اگر برنامه هزاران فایل مستقل ایجاد می‌کند، صرف فشرده‌سازی یک فایل بزرگ Log مشکل تعداد فایل‌ها را رفع نمی‌کند. باید سازوکار تولید و نگهداری همان داده اصلاح شود.

مرحله چهاردهم: چرا گاهی خطای ENOSPC اصلاً مربوط به دیسک نیست؟

متن No space left on device در سطح سیستم‌عامل می‌تواند برای بعضی محدودیت‌های منابع دیگر نیز ظاهر شود.

برای مثال، ممکن است ابزار مشاهده فایل‌ها با خطای زیر مواجه شود:

No space left on device

اما علت، رسیدن به محدودیت Inotify Watchها باشد، نه پرشدن فایل‌سیستم.

برای بررسی محدودیت‌های Inotify:

sysctl fs.inotify.max_user_watches

sysctl fs.inotify.max_user_instances

بنابراین باید مشخص شود خطا دقیقاً هنگام کدام عملیات اتفاق افتاده است: ساخت فایل، نوشتن داده، ایجاد Watch یا فعالیت دیگری در Kernel.

اگر df -h و df -i هر دو سالم‌اند، علت را نباید با حذف فایل‌های تصادفی دنبال کرد.

اسکریپت یکپارچه عیب‌یابی No Space Left on Device در لینوکس

اسکریپت زیر وضعیت فضای دیسک، Inodeها، فایل‌سیستم مسیر انتخاب‌شده، حافظه، Mountها و فایل‌های حذف‌شده اما باز را بررسی می‌کند.

این اسکریپت هیچ فایل یا پوشه‌ای حذف نمی‌کند، تنظیمات فایل‌سیستم را تغییر نمی‌دهد و سرویس‌ها را Restart نمی‌کند.

برای جلوگیری از خطای ذخیره گزارش هنگام پرشدن دیسک، خروجی به‌صورت مستقیم در ترمینال چاپ می‌شود.

#!/usr/bin/env bash
set -u

TARGET="${1:-/}"

if [ ! -e "$TARGET" ]; then
    echo "Target path does not exist: $TARGET" >&2
    exit 1
fi

echo "===== DATE ====="
date --iso-8601=seconds

echo "===== OS ====="
cat /etc/os-release

echo "===== TARGET PATH ====="
printf '%s\n' "$TARGET"

echo "===== TARGET FILESYSTEM ====="
findmnt -T "$TARGET" \
    -o SOURCE,FSTYPE,TARGET,OPTIONS

echo "===== DISK USAGE ====="
df -hT "$TARGET"

echo "===== INODE USAGE ====="
df -i "$TARGET"

echo "===== ALL FILESYSTEM INODES ====="
df -i

echo "===== TARGET MOUNT SOURCE ====="
findmnt -n -T "$TARGET" -o SOURCE

echo "===== MEMORY AND SWAP ====="
free -h
swapon --show

echo "===== OPEN DELETED FILES ====="
if command -v lsof >/dev/null 2>&1; then
    lsof -nP +L1 2>/dev/null | head -n 60
else
    echo "lsof is not installed"
fi

echo "===== JOURNAL DISK USAGE ====="
journalctl --disk-usage 2>/dev/null || true

echo "===== FILESYSTEM ERRORS ====="
journalctl -k -b --no-pager -n 300 \
    2>/dev/null |
grep -Ei \
'no space|enospc|inode|quota|ext4|xfs|i/o error' |
tail -n 50 || true

echo "===== DIAGNOSTICS COMPLETE ====="

برای استفاده، فایل را با نامی مانند linux-enospc-check.sh ذخیره و پس از بررسی آن اجرا کنید. مسیر واقعی مشکل‌دار را به‌عنوان پارامتر وارد کنید.

اگر نصب lsof روی سرور امکان‌پذیر نیست، بخش مربوط به آن اجرا نمی‌شود. در صورت نیاز می‌توانید از ابزارهای موجود در سیستم برای بررسی پردازش‌ها و File Descriptorها استفاده کنید.

خروجی ممکن است شامل آدرس Mountهای شبکه‌ای، مسیر فایل‌ها، نام سرویس‌ها و اطلاعات داخلی زیرساخت باشد؛ بنابراین قبل از ارسال آن به دیگران، اطلاعات حساس را بازبینی کنید.

جدول تشخیص سریع علت No Space Left on Device

نتیجه بررسی علت محتمل راهکار مناسب
df -h پر است و df -i طبیعی است کمبود بلوک‌های فضای ذخیره‌سازی شناسایی فایل‌های حجیم و سیاست نگهداری
df -h فضای آزاد دارد اما df -i پر است تمام‌شدن Inode شناسایی تولیدکننده تعداد زیاد فایل
df پر است اما du مصرف کمتری نشان می‌دهد احتمال فایل حذف‌شده اما باز یا داده پنهان زیر Mount بررسی lsof و ساختار Mountها
فقط یک کاربر نمی‌تواند فایل ایجاد کند احتمال محدودیت Quota یا مجوز بررسی سهمیه و پیام دقیق خطا
فقط /tmp خطا می‌دهد محدودیت tmpfs، Inode یا Quota بررسی Mount مستقل /tmp
خطا فقط داخل Docker رخ می‌دهد محدودیت لایه نوشتنی یا Volume بررسی Docker Root و فایل‌سیستم مربوط
ext4 ظرفیت Inode ثابت و ناکافی دارد طراحی نامناسب فایل‌سیستم برای فایل‌های کوچک مهاجرت یا ایجاد فایل‌سیستم متناسب با Workload
Disk quota exceeded نمایش داده می‌شود سهمیه کاربر، گروه یا پروژه بررسی Quota
خطا هنگام ایجاد File Watch دیده می‌شود احتمال محدودیت Inotify بررسی محدودیت‌های Inotify
بعد از پاک‌سازی مشکل به‌سرعت برمی‌گردد برنامه یا Job همچنان فایل غیرضروری تولید می‌کند اصلاح علت تولید و سیاست Lifecycle

چگونه از تمام‌شدن دوباره Inode در سرور جلوگیری کنیم؟

برای جلوگیری از تکرار مشکل، کافی نیست فقط تعدادی فایل قدیمی حذف شوند. باید نرخ رشد فایل‌ها و علت تولید آن‌ها نیز مشخص شود.

اقدامات پیشنهادی عبارت‌اند از:

  • پایش هم‌زمان فضای بلوکی و درصد مصرف Inode.
  • تعریف سیاست انقضا برای Cache و Sessionها.
  • بررسی Cron Jobها و اسکریپت‌هایی که فایل مستقل ایجاد می‌کنند.
  • تنظیم Log Rotation مناسب برای سرویس‌ها.
  • انتقال داده‌های پرشمار به فایل‌سیستم متناسب با نیاز برنامه.
  • استفاده از ابزار رسمی مدیریت منابع Docker.
  • بررسی طراحی فایل‌سیستم پیش از استقرار Workloadهای دارای میلیون‌ها فایل.
  • ثبت روند تعداد فایل‌ها و هشدار پیش از رسیدن به سقف.
  • داشتن بکاپ معتبر و فرآیند پاک‌سازی قابل بازگشت.

برای نمونه، بهتر است سامانه مانیتورینگ علاوه بر درصد فضای دیسک، درصد مصرف Inode را نیز بررسی کند.

مقدار هشدار نباید برای همه سرورها یکسان و بدون توجه به نرخ رشد باشد. سروری که در هر ساعت هزاران فایل جدید می‌سازد، ممکن است زودتر از سروری با تعداد فایل ثابت به ظرفیت بحرانی برسد.

۱۰ اشتباه رایج هنگام رفع خطای No Space Left on Device

۱. بررسی فقط df -h

فضای آزاد برحسب بایت به‌تنهایی نشان نمی‌دهد Inode کافی برای ایجاد فایل جدید وجود دارد.

۲. حذف تصادفی فایل‌های /tmp

ممکن است فایل‌ها هنوز توسط برنامه‌های فعال استفاده شوند.

۳. اجرای rm -rf روی پوشه‌های ناشناس

این اقدام می‌تواند اطلاعات برنامه، ایمیل‌ها، Sessionها یا داده‌های Docker را از بین ببرد.

۴. نادیده‌گرفتن Mount واقعی مسیر

ممکن است برنامه روی یک فایل‌سیستم مستقل یا Volume دیگری فایل بنویسد.

۵. یکسان‌دانستن ext4 و XFS

ساختار مدیریت و تخصیص Inode در این فایل‌سیستم‌ها متفاوت است.

۶. افزایش ظرفیت گیگابایتی بدون بررسی Inode

افزایش حجم دیسک لزوماً مشکل ساختاری تعداد Inodeهای ext4 را به روش مورد انتظار حل نمی‌کند.

۷. نادیده‌گرفتن فایل‌های حذف‌شده اما باز

ممکن است فضای موردنظر تا بسته‌شدن آخرین File Descriptor آزاد نشود.

۸. استفاده از ابزار پاک‌سازی Docker بدون بررسی

بعضی دستورها می‌توانند Imageها، کانتینرها یا داده‌های موردنیاز را حذف کنند.

۹. فرض اینکه هر ENOSPC مربوط به Inode است

Quota، tmpfs، محدودیت‌های منابع و مشکلات دیگر نیز می‌توانند پیام‌های مشابهی ایجاد کنند.

۱۰. پاک‌سازی بدون اصلاح منبع تولید فایل

اگر اسکریپت معیوب همچنان میلیون‌ها فایل می‌سازد، مشکل دوباره تکرار خواهد شد.

سؤالات متداول درباره Inode و No Space Left on Device در لینوکس

چرا دیسک لینوکس خالی است اما No Space Left on Device نمایش داده می‌شود؟

ممکن است Inodeهای فایل‌سیستم تمام شده باشند، فضای یک Mount دیگر پر شده باشد یا محدودیت Quota و منابع مشابه مانع نوشتن فایل شوند.

Inode در لینوکس چیست؟

ساختاری در فایل‌سیستم است که اطلاعات و فراداده فایل را نگهداری می‌کند. برای ایجاد فایل جدید معمولاً به Inode آزاد نیاز است.

چگونه مقدار Inode آزاد را بررسی کنیم؟

از دستور df -i استفاده کنید. ستون‌های IFree و IUse% نشان می‌دهند چه میزان ظرفیت باقی مانده است.

تفاوت df -h و df -i چیست؟

df -h ظرفیت ذخیره‌سازی را برحسب حجم نمایش می‌دهد؛ df -i وضعیت تعداد Inodeهای فایل‌سیستم را نشان می‌دهد.

چه چیزهایی باعث تمام‌شدن Inode می‌شوند؟

ایجاد تعداد بسیار زیاد فایل کوچک، Cacheهای بدون انقضا، Sessionهای قدیمی، داده‌های برنامه و بعضی ساختارهای کانتینری از عوامل رایج هستند.

چطور پوشه دارای بیشترین تعداد فایل را پیدا کنیم؟

می‌توان از du –inodes برای بررسی مرحله‌ای مسیرها استفاده کرد و سپس با find، پوشه مشکل‌دار را دقیق‌تر تحلیل کرد.

آیا حذف فایل‌های قدیمی مشکل را حل می‌کند؟

اگر فایل‌ها واقعاً غیرضروری باشند و Inode مصرف کنند، پاک‌سازی کنترل‌شده می‌تواند ظرفیت آزاد کند؛ اما علت تولید فایل‌ها نیز باید برطرف شود.

چرا فایل حذف‌شده هنوز فضا مصرف می‌کند؟

ممکن است پردازش هنوز File Descriptor باز داشته باشد. در این حالت منابع فایل تا بسته‌شدن آخرین ارجاع باقی می‌مانند.

آیا با افزایش حجم ext4 تعداد Inode هم زیاد می‌شود؟

رفتار تغییر اندازه ext4 و ظرفیت Inode به ساختار فایل‌سیستم وابسته است؛ افزایش ظرفیت دیسک به‌تنهایی نباید به‌عنوان راهکار قطعی رفع کمبود Inode فرض شود.

بهترین راه جلوگیری از پرشدن Inode در VPS چیست؟

پایش مصرف Inode، مدیریت Lifecycle فایل‌های موقت، اصلاح تولید غیرضروری فایل‌ها و انتخاب فایل‌سیستم مناسب برای نوع Workload.

جمع‌بندی؛ مشکل No Space Left on Device را چگونه اصولی حل کنیم؟

اگر سرور لینوکس خطای No space left on device نمایش می‌دهد اما فضای دیسک ظاهراً خالی است، اولین قدم بررسی هم‌زمان df -h و df -i در فایل‌سیستم واقعی مسیر مشکل‌دار است.

اگر Inodeها تمام شده‌اند، باید مشخص کنید کدام پوشه یا سرویس تعداد زیادی فایل ایجاد کرده است. ابزار du –inodes برای شناسایی مسیرهای پرمصرف مناسب است و می‌تواند جست‌وجو را مرحله‌به‌مرحله محدود کند.

اگر فضای دیسک مصرف شده اما فایل‌های بزرگ پیدا نمی‌شوند، فایل‌های حذف‌شده اما باز را با lsof بررسی کنید. اگر فضای بلوکی و Inode هر دو کافی هستند، محدودیت‌های Quota، tmpfs، Docker یا منابع دیگر را نیز در نظر بگیرید.

در نهایت، راهکار پایدار معمولاً ترکیبی از پاک‌سازی ایمن داده‌های غیرضروری، اصلاح برنامه تولیدکننده فایل و طراحی فایل‌سیستم متناسب با نیاز واقعی سرویس است.

اصل نهایی: فضای آزاد دیسک همیشه به معنی توانایی ساخت فایل جدید نیست. قبل از حذف اطلاعات یا افزایش ظرفیت سرور، مشخص کنید دقیقاً کدام منبع فایل‌سیستم به محدودیت رسیده است.

زیرساخت مناسب برای مدیریت داده‌های سرور

برای میزبانی فایل‌ها و برنامه‌های لینوکسی، Storage مناسب انتخاب کنید

پایداری سرویس‌های لینوکسی فقط به حجم فضای دیسک وابسته نیست؛ نوع فایل‌سیستم، تعداد فایل‌ها، عملکرد Storage و منابع پردازشی نیز اهمیت دارند. اگر برای اجرای برنامه‌ها، دیتابیس، سرویس‌های وب یا ذخیره‌سازی داده به VPS نیاز دارید، پلن‌های سرور مجازی ایرانیکاسرور را بررسی کنید و برای انتخاب منابع مناسب با پروژه خود مشاوره بگیرید.

اشتراک‌گذاری مقاله
گفت‌وگو درباره آموزش

دیدگاه‌ها (۰)

هنوز دیدگاهی ثبت نشده است.

دیدگاه یا سؤال خود را بنویسید

نشانی ایمیل شما منتشر نخواهد شد. بخش‌های موردنیاز علامت‌گذاری شده‌اند *