تصور کنید یک سرور لینوکسی دارید که فضای دیسک آن تقریباً پر شده است. پس از بررسی فایلها، یک لاگ ۲۰ گیگابایتی پیدا میکنید و آن را حذف میکنید. انتظار دارید فضای آزاد دیسک فوراً افزایش پیدا کند، اما وقتی دستور df -h را دوباره اجرا میکنید، هیچ تغییری مشاهده نمیشود. جالبتر اینکه فایل حذفشده دیگر با ls و du نیز دیده نمیشود.
این اتفاق یکی از مشکلات رایج مدیریت فضای ذخیرهسازی در Ubuntu، Debian و سایر توزیعهای لینوکس است. در بسیاری از موارد، دلیل آن وجود Deleted Open Files یا فایلهایی است که نام آنها از فایلسیستم حذف شده، اما یک پردازش هنوز آنها را باز نگه داشته است.
در لینوکس، حذف نام یک فایل الزاماً به معنی آزادشدن فوری فضای ذخیرهسازی آن نیست. تا زمانی که پردازش یا پردازشهایی به فایل بازشده ارجاع داشته باشند، ممکن است بلوکهای داده همچنان اشغال بمانند.
برای رفع مشکل Linux disk space not freed باید ابتدا پردازش نگهدارنده فایل حذفشده را پیدا کنیم. سپس مشخص کنیم فایل مربوط به یک Log معمولی، سرویس وب، دیتابیس، پردازش Backup یا فایل موقت برنامه است. روش آزادسازی فضای هرکدام متفاوت است و انتخاب روش اشتباه میتواند باعث از دست رفتن داده یا اختلال در سرویس شود.
در این راهنما با دستورهای df، du، lsof +L1، readlink و ابزارهای systemd علت مشکل را پیدا میکنیم. همچنین تفاوت Restart و Truncate، روش صحیح مدیریت Log Rotation و نکات امنیتی مربوط به فایلهای باز دیتابیس را بررسی خواهیم کرد.
چرا پس از حذف فایل، فضای دیسک آزاد نمیشود؟
برای درک این رفتار، باید تفاوت نام فایل، Inode و File Descriptor را بشناسیم.
وقتی برنامهای فایلی را باز میکند، Kernel یک File Descriptor در اختیار آن قرار میدهد. این شناسه به برنامه امکان میدهد با فایل بازشده کار کند.
وقتی دستور rm را روی فایل اجرا میکنید، در حالت معمول نام مربوط از دایرکتوری حذف میشود. اما اگر پردازشی فایل را همچنان باز نگه داشته باشد، Kernel نمیتواند منابع آن را فوراً آزاد کند.
پس از بستهشدن آخرین ارجاع باز و نبودن لینک باقیمانده، منابع فایل آزاد میشوند.
برای مثال، فرض کنید یک برنامه دائماً در فایل /var/log/myapp.log مینویسد. اگر این فایل هنگام اجرای برنامه حذف شود، ممکن است برنامه همچنان از File Descriptor قبلی استفاده کند و دادهها را در همان فایل بدون نام ادامه دهد.
در این حالت:
- نام فایل دیگر در دایرکتوری دیده نمیشود.
- ابزار du نمیتواند فایل را از مسیر معمول دایرکتوری پیدا کند.
- فضای اشغالشده همچنان در df محاسبه میشود.
- ممکن است برنامه به نوشتن در فایل حذفشده ادامه دهد.
- فضا با آزادشدن آخرین ارجاع به فایل قابل بازیابی خواهد بود.
این رفتار مطابق مستندات رسمی
unlink(2)
و
close(2)
در لینوکس است.
تفاوت df و du؛ چرا گزارش آنها یکسان نیست؟
دو دستور df و du اطلاعات متفاوتی ارائه میکنند.
| دستور | چه چیزی را بررسی میکند؟ |
|---|---|
| df -h | وضعیت بلوکهای مصرفشده و آزاد فایلسیستم |
| du -sh | فضای مصرفشده توسط فایلها و مسیرهای قابل پیمایش |
| lsof +L1 | فایلهای باز دارای Link Count کمتر از یک |
| df -i | تعداد Inodeهای آزاد و مصرفشده |
اگر فایلی حذف شده اما پردازش هنوز آن را باز نگه دارد، معمولاً فضای آن در df دیده میشود؛ درحالیکه du دیگر نمیتواند از مسیر معمول دایرکتوری به آن دسترسی پیدا کند.
بااینحال، اختلاف df و du همیشه به Deleted Open Files مربوط نیست. فایلهای پنهانشده زیر Mount Point، Snapshotها، ساختار فایلسیستم، بلوکهای رزروشده و روش محاسبه فضای اشتراکی نیز میتوانند نقش داشته باشند.
همچنین اگر در du فقط یک مسیر مشخص را بررسی کردهاید، نباید نتیجه آن را مستقیماً با مصرف کل فایلسیستم مقایسه کنید.
منبع:
GNU Coreutils FAQ – تفاوت df و du.
مرحله اول: بررسی فضای واقعی فایلسیستم
قبل از اجرای دستورهای بازیابی، مشخص کنید کدام فایلسیستم پر شده است.
df -hT
اگر فایل حذفشده قبلاً داخل /var/log بوده است، فایلسیستم واقعی همان مسیر را بررسی کنید:
df -hT /var/log
findmnt -T /var/log
نکته مهم این است که /var/log، /var/lib و حتی /tmp ممکن است روی فایلسیستمهای جداگانه قرار داشته باشند.
اگر یک فایل را از /var/log حذف کردهاید اما فضای /home را بررسی میکنید، نتیجه کمکی به عیبیابی نخواهد کرد.
مرحله دوم: بررسی مصرف فایلهای قابل مشاهده
برای مشاهده مصرف مسیر /var، بدون عبور به فایلسیستمهای دیگر:
sudo du -xhd 1 /var 2>/dev/null |
sort -h
برای مشاهده مصرف دایرکتوری لاگ:
sudo du -sh /var/log
فرض کنید df حدود ۹۰ گیگابایت فضای مصرفشده روی یک فایلسیستم نشان میدهد، اما جمع فایلهای قابل مشاهده بسیار کمتر است.
این اختلاف دلیل مناسبی برای بررسی فایلهای حذفشده اما باز است؛ ولی بهتنهایی اثبات نمیکند همه اختلاف مربوط به همین فایلهاست.
هشدار عملکردی: اجرای du روی میلیونها فایل میتواند زمانبر باشد و I/O ایجاد کند. در سرور پرترافیک، ابتدا مسیرهای محدود را بررسی کنید.
مرحله سوم: پیدا کردن Deleted Open Files با lsof +L1
مهمترین دستور این مقاله، دستور زیر است:
sudo lsof -nP +L1
این دستور فایلهای بازی را پیدا میکند که تعداد Hard Link آنها کمتر از یک است؛ یعنی Link Count آنها صفر شده است.
گزینههای مهم عبارتاند از:
+L1: انتخاب فایلهای باز با Link Count کمتر از یک.-n: جلوگیری از تبدیل آدرسهای شبکهای به نام از طریق DNS.-P: جلوگیری از تبدیل شماره پورتها به نام سرویس.sudo: افزایش امکان مشاهده فایلهای باز متعلق به پردازشهای دیگر، در محدوده مجوزهای سیستم.
اگر lsof نصب نیست، در Ubuntu و Debian میتوان آن را از مخازن معتبر نصب کرد؛ البته هنگام کمبود شدید فضای دیسک باید ابتدا شرایط سیستم برای نصب پکیج بررسی شود.
مستندات رسمی:
Lsof FAQ – Deleted Open Files.
چگونه خروجی lsof را تفسیر کنیم؟
خروجی فرضی زیر را در نظر بگیرید:
COMMAND PID USER FD TYPE DEVICE SIZE/OFF NLINK NAME
myapp 2841 app 7w REG 253,0 8589934592 0 /var/log/myapp.log (deleted)
این مثال، یک گزارش ساختگی آموزشی است.
| ستون | مفهوم |
|---|---|
| COMMAND | نام پردازشی که فایل را باز نگه داشته است |
| PID | شناسه پردازش |
| USER | کاربر مالک پردازش |
| FD | شناسه فایل باز و وضعیت دسترسی |
| TYPE | نوع فایل؛ مانند REG برای فایل معمولی |
| DEVICE | شناسه دستگاه مرتبط |
| SIZE/OFF | اندازه یا Offset گزارششده، بسته به فایل و شرایط |
| NLINK | تعداد لینکهای فایل؛ در این مثال صفر |
| NAME | اطلاعات مسیر یا نام گزارششده فایل |
در این مثال، پردازش myapp هنوز فایلی را باز نگه داشته که نام آن حذف شده است.
اما نباید مقدار SIZE/OFF را همیشه معادل فضای قابل بازیابی در نظر گرفت. اندازه منطقی فایل با بلوکهای واقعاً تخصیصیافته روی دیسک متفاوت است؛ مخصوصاً برای Sparse Fileها، فایلهای حافظهای و فایلسیستمهای خاص.
مرحله چهارم: جدا کردن فایلهای معمولی از موارد گمراهکننده
خروجی lsof +L1 ممکن است فقط شامل فایلهای بزرگ روی دیسک نباشد.
برای مثال، فایلهای حافظهای مانند memfd، فایلهای موقت مبتنی بر tmpfs و برخی اشیای خاص ممکن است در خروجی دیده شوند؛ اما آزادشدن آنها الزاماً فضای دیسک فیزیکی موردنظر شما را افزایش نمیدهد.
برای بررسی، ابتدا به ستون TYPE، شناسه DEVICE و مسیر فایل توجه کنید.
اگر فایل از نوع REG است، دستگاه مربوط را با فایلسیستم پرشده تطبیق دهید.
برای محدودکردن بررسی به یک فایلسیستم مشخص، در نسخههای پشتیبانیکننده lsof میتوان از ترکیب گزینههای مربوط به انتخاب فایلسیستم و Link Count استفاده کرد.
sudo lsof -nP +aL1 /var/log
این نمونه زمانی مفید است که /var/log روی فایلسیستم موردنظر قرار دارد. رفتار محدودسازی باید با مستندات و نسخه lsof نصبشده تطبیق داده شود.
نکته مهم: متن (deleted) در ستون NAME برای جستوجوی اولیه مفید است؛ اما معیار اصلی lsof برای این بررسی، Link Count صفر است. تکیه صرف بر جستوجوی متنی (deleted) ممکن است همه موارد را بهدرستی پوشش ندهد.
مرحله پنجم: مشخص کردن سرویس مالک فایل حذفشده
پس از پیدا کردن PID، باید مشخص شود پردازش متعلق به چه سرویسی است و آیا توقف یا Reload آن خطر دارد یا خیر.
برای PID فرضی 2841:
ps -p 2841 -o pid,ppid,user,stat,etime,args
systemctl status 2841 --no-pager
در صورت ارتباط با یک Unit از نوع systemd، میتوان نام سرویس، وضعیت فعلی، زمان اجرا و Processهای مربوط را بررسی کرد.
برای بررسی File Descriptor مشخص:
sudo readlink /proc/2841/fd/7
sudo cat /proc/2841/fdinfo/7
اگر پردازش از بین رفته یا File Descriptor بسته شده باشد، این مسیر دیگر وجود نخواهد داشت. همچنین شماره PID و FD ممکن است در طول زمان تغییر کنند؛ بنابراین قبل از هر عملیات، هویت پردازش را دوباره بررسی کنید.
در این مرحله هنوز هیچ نیازی به اجرای Kill، Restart یا Truncate وجود ندارد. هدف فقط شناسایی مالک فایل است.
مرحله ششم: بررسی اندازه واقعی فایل حذفشده
گاهی خروجی lsof یک فایل با اندازه منطقی چند گیگابایت را نشان میدهد، اما فضای واقعاً تخصیصیافته آن بسیار کمتر است.
برای بررسی فایل باز از طریق File Descriptor، میتوان در شرایط مناسب از stat استفاده کرد:
sudo stat -Lc \
'Size=%s bytes | Blocks=%b | BlockUnit=%B | Links=%h' \
/proc/2841/fd/7
در این خروجی:
- Size اندازه منطقی فایل است.
- Blocks تعداد بلوکهای تخصیصیافته گزارششده است.
- BlockUnit اندازه واحد شمارش بلوکها برحسب بایت است.
- Links تعداد Hard Linkهای فایل را نشان میدهد.
حاصلضرب Blocks در BlockUnit میتواند تخمینی از بلوکهای تخصیصیافته بدهد، اما برای فایلسیستمهای دارای Deduplication، Compression، Snapshot یا اشتراک بلوکها لزوماً معادل فضای آزادشونده پس از بستن فایل نیست.
این بررسی فقط خواندنی است. بااینحال، باید توجه کرد که وضعیت فایل ممکن است هنگام نمونهبرداری تغییر کند.
مرحله هفتم: روشهای ایمن آزادسازی فضای فایل حذفشده
بعد از شناسایی فایل و پردازش، سه روش کلی وجود دارد:
| روش | مناسب برای | ملاحظه مهم |
|---|---|---|
| Reopen یا Rotate داخلی برنامه | سرویسهایی که امکان بازکردن مجدد Log دارند | باید از روش مستند همان برنامه استفاده شود |
| Restart کنترلشده سرویس | برنامههایی که راه امن دیگری برای بستن FD ندارند | ممکن است باعث Downtime یا اختلال داده شود |
| Truncate فایل باز | فقط سناریوهای خاص و کاملاً تأییدشده | خطر تغییر و نابودی داده؛ راهکار عمومی نیست |
بهترین روش، روشی است که توسط خود برنامه برای مدیریت فایل باز پشتیبانی میشود.
برای مثال، بعضی سرویسها میتوانند بدون Restart کامل، فایل Log خود را ببندند و مجدداً باز کنند. این روش در صورت پشتیبانی و اجرای درست، میتواند با اختلال کمتری همراه باشد.
در مقابل، Restart کردن یک دیتابیس یا برنامه دارای Job فعال ممکن است پیامدهای عملیاتی داشته باشد.
مرحله هشتم: بازکردن مجدد فایلهای Log بهجای Restart کامل
اگر فایل حذفشده، یک Log معمولی است، ابتدا بررسی کنید برنامه مکانیزم داخلی برای Log Reopen یا Log Rotation دارد یا خیر.
سرویسهایی مانند Nginx و بعضی Daemonها مکانیزم مشخصی برای بازکردن مجدد Log دارند.
اما نام سیگنال یا دستور مربوط بین برنامهها یکسان نیست. ارسال تصادفی SIGHUP، SIGUSR1 یا سیگنالهای دیگر بدون مراجعه به مستندات سرویس ممکن است باعث رفتار ناخواسته شود.
اگر برنامه از مدیریت فایل Log توسط journald یا syslog استفاده میکند، باید مسیر واقعی نوشتن Log و سیاست Rotation مربوط به همان سیستم بررسی شود.
نکته: قبل از اجرای Reopen باید اطمینان حاصل کنید مسیر مقصد، مجوزها و فضای آزاد برای ساخت فایل Log جدید مناسباند؛ در غیر این صورت برنامه ممکن است نتواند فایل جدید را باز کند.
Restart یا Truncate؛ کدام برای آزادسازی فضای دیسک بهتر است؟
این دو روش از نظر فنی کاملاً متفاوتاند.
Restart چه کاری انجام میدهد؟
هنگامی که یک سرویس بهصورت کنترلشده متوقف میشود، File Descriptorهای پردازشهای خاتمهیافته بسته میشوند. اگر آخرین ارجاع به فایل حذفشده نیز بسته شود، منابع آن قابل آزادسازی خواهند بود.
اما Restart ممکن است:
- اتصال کاربران را قطع کند.
- Jobهای در حال اجرا را متوقف کند.
- باعث تاخیر در پاسخدهی سرویس شود.
- روی تراکنشهای فعال دیتابیس اثر بگذارد.
- در صورت پیکربندی نادرست، مانع بالا آمدن مجدد برنامه شود.
بنابراین پیش از Restart باید دستور رسمی توقف و راهاندازی سرویس، وضعیت وابستگیها و امکان بازیابی بررسی شود.
Truncate چه کاری انجام میدهد؟
Truncate اندازه منطقی فایل را تغییر میدهد و در بعضی شرایط میتواند بلوکهای تخصیصیافته را آزاد کند؛ اما اگر روی یک فایل باز و فعال انجام شود، ممکن است دادهها از بین بروند یا ادامه نوشتن برنامه رفتاری غیرمنتظره ایجاد کند.
دسترسی به فایل حذفشده از طریق /proc/PID/fd/FD نیز به معنی ایمن بودن تغییر آن نیست.
هشدار حیاتی: برای آزادسازی فضا، روی File Descriptorهای دیتابیس، WAL، فایلهای تراکنشی، فایلهای Backup یا دادههای ناشناخته دستورهای Truncate و Redirection اجرا نکنید. این کار میتواند باعث خرابی داده یا از دست رفتن اطلاعات شود.
در این راهنما عمداً دستور عمومی برای Truncate کردن فایلهای باز ارائه نمیشود؛ چون چنین دستوری بدون شناخت محتوای فایل، ابزار مناسبی برای سرور عملیاتی نیست.
مرحله نهم: اگر فایل حذفشده متعلق به دیتابیس است چه کنیم؟
این بخش از مهمترین نکات امنیت داده در عیبیابی Deleted Open Files است.
اگر lsof نشان میدهد فایلی متعلق به PostgreSQL، MySQL، MariaDB یا یک دیتابیس دیگر همچنان باز است، نباید آن را مانند یک Log متنی عادی مدیریت کرد.
فایل دیتابیس ممکن است شامل داده اصلی، فایل موقت Query، فایل تراکنشی، گزارش Write-Ahead Log یا اطلاعات موردنیاز Recovery باشد.
اقدامات غیرمجاز یا عجولانه ممکن است بازیابی پایگاه داده را دشوار یا غیرممکن کنند.
پیش از هر تغییر:
- نوع دقیق فایل را شناسایی کنید.
- مسیر اصلی و File Descriptor مرتبط را بررسی کنید.
- مشخص کنید فایل Log است یا بخشی از دادههای عملیاتی.
- وضعیت Backup معتبر و Recovery را بررسی کنید.
- از دستور رسمی دیتابیس برای مدیریت آن نوع فایل استفاده کنید.
- در صورت نیاز به Restart، زمان نگهداری و اثر بر کاربران را ارزیابی کنید.
برای مثال، PostgreSQL ابزار و قابلیتهای داخلی برای مدیریت Log دارد. اما مدیریت Log با فایلهای WAL و دادههای اصلی دیتابیس یکسان نیست.
منبع:
PostgreSQL – Log File Maintenance.
روش صحیح بررسی Log Rotation در PostgreSQL
اگر فایل حذفشده، Log واقعی PostgreSQL باشد، باید روش تنظیمشده برای Logging مشخص شود.
PostgreSQL میتواند از Logging Collector، Syslog یا روشهای دیگر استفاده کند.
در پیکربندیهایی که Logging Collector فعال و قابلیت موردنظر پشتیبانی میشود، PostgreSQL تابعی برای درخواست چرخش فایل Log دارد:
SELECT pg_rotate_logfile();
این دستور فقط برای سناریو و نسخه پشتیبانیشده، با مجوز مناسب، کاربرد دارد و نباید آن را راهکار عمومی تمام فایلهای PostgreSQL در نظر گرفت.
اگر فایل مربوط به WAL، داده اصلی یا فایل موقت تراکنشی است، باید مستندات همان زیرسیستم و شرایط دیتابیس بررسی شود.
هشدار: حذف یا Truncate دستی فایلهای WAL یا داده اصلی PostgreSQL برای آزادسازی سریع فضای دیسک، اقدام ایمنی نیست.
مرحله دهم: چرا Logrotate گاهی مشکل Deleted Open Files ایجاد میکند؟
ابزار logrotate برای مدیریت دورهای فایلهای Log استفاده میشود.
یکی از روشهای متداول Rotation، تغییر نام فایل قدیمی و ایجاد فایل جدید است.
اما اگر برنامه فایل Log را باز نگه دارد و پس از Rotation مجدداً آن را باز نکند، ممکن است همچنان به فایل قدیمی بنویسد.
اگر فایل قدیمی بعداً حذف شود، احتمال ایجاد Deleted Open File وجود دارد.
بنابراین تنظیم صحیح Logrotate فقط به فشردهسازی و حذف فایلهای قدیمی محدود نیست؛ رفتار برنامه در بازکردن مجدد فایل Log نیز اهمیت دارد.
برای بررسی پیکربندیهای موجود:
ls -lah /etc/logrotate.d/
sudo grep -RInE \
'copytruncate|postrotate|create|rotate|compress' \
/etc/logrotate.conf /etc/logrotate.d/
برای بررسی وضعیت اجرای زمانبندیشده، در صورت وجود Timer:
systemctl list-timers --all |
grep -i logrotate
منبع:
Logrotate Manual.
تفاوت copytruncate و Log Reopen چیست؟
گزینه copytruncate در logrotate ابتدا محتوای فایل Log را کپی میکند و سپس همان فایل اصلی را کوتاه میکند.
این روش برای برنامههایی طراحی شده که امکان بازکردن مجدد Log را بهصورت معمول ندارند؛ زیرا File Descriptor برنامه همچنان به همان فایل اصلی اشاره خواهد کرد.
بااینحال، copytruncate بدون محدودیت نیست.
طبق مستندات logrotate، بین کپیکردن فایل و کوتاهکردن آن یک فاصله زمانی کوتاه وجود دارد و در این بازه امکان ازدسترفتن بخشی از دادههای Log فراهم است.
در مقابل، روش مبتنی بر Rename و Log Reopen میتواند برای برنامههایی که این قابلیت را درست پشتیبانی میکنند مناسبتر باشد.
| روش | مزیت اصلی | محدودیت |
|---|---|---|
| Rename + Reopen | سازگاری بهتر با سرویسهای دارای مکانیزم بازکردن مجدد Log | نیازمند همکاری برنامه و تنظیم صحیح Rotation |
| copytruncate | عدم نیاز به بازکردن مجدد File Descriptor | احتمال ازدسترفتن داده Log در فاصله Copy و Truncate |
| Restart سرویس | بستن Descriptorهای پردازش خاتمهیافته | ریسک اختلال در سرویس و عملیات فعال |
پس برای هر سرویس باید روش متناسب با قابلیت رسمی همان برنامه انتخاب شود، نه اینکه copytruncate برای همه فایلها فعال شود.
مرحله یازدهم: چرا بعضی Deleted Open Files طبیعی هستند؟
وجود یک فایل حذفشده اما باز همیشه نشانه خرابی نیست.
بعضی برنامهها عمداً فایل موقتی ایجاد میکنند، نام آن را حذف میکنند و تا پایان کار از File Descriptor استفاده میکنند.
این رفتار میتواند برای مدیریت فایل موقت یا جلوگیری از باقیماندن داده پس از خاتمه پردازش مفید باشد.
همچنین فایلهای memfd و بعضی فایلهای tmpfs ممکن است رفتار متفاوتی نسبت به فایلهای معمولی روی دیسک داشته باشند.
به همین دلیل، برای تصمیمگیری باید سه سؤال پاسخ داده شود:
- آیا فایل واقعاً روی فایلسیستم پرشده قرار دارد؟
- آیا حجم بلوکهای تخصیصیافته آن بهاندازهای هست که مشکل را توضیح دهد؟
- آیا طول عمر فایل برای برنامه طبیعی است یا به دلیل اشکال در Rotation و مدیریت Descriptor ایجاد شده است؟
اگر یک فایل موقت کوچک بهصورت طبیعی باز است، معمولاً نیازی به Restart سرویس برای حذف آن وجود ندارد.
مرحله دوازدهم: فایل حذفشده در Docker و کانتینرها
در محیط Docker، ممکن است فایل داخل کانتینر حذف شود، اما یک پردازش در همان کانتینر هنوز آن را باز نگه داشته باشد.
اگر این فایل روی لایه نوشتنی کانتینر یا Volume قرار داشته باشد، مصرف Storage مرتبط میتواند ادامه پیدا کند.
برای شروع باید مشخص شود داده موردنظر در چه فضا و Mountی قرار دارد.
برای مشاهده محل داده Docker در میزبان:
docker info --format '{{.DockerRootDir}}'
docker system df
اگر برنامه داخل کانتینر اجرا میشود، باید وضعیت PID مربوط، Namespaceها، محل Mount و نوع فایلسیستم را بررسی کرد.
Restart کانتینر ممکن است File Descriptorهای پردازشهای آن را ببندد، اما این کار میتواند سرویس و دادههای در حال پردازش را تحت تأثیر قرار دهد.
هشدار: برای رفع مشکل Deleted Open Files، فایلهای داخلی Docker را مستقیماً از مسیرهای Runtime حذف نکنید و از اجرای کورکورانه دستورهای پاکسازی Container و Volume خودداری کنید.
مرحله سیزدهم: اگر lsof +L1 فایل بزرگی پیدا نکرد چه کنیم؟
اگر خروجی lsof فایل باز و حذفشده قابل توجهی نشان نمیدهد، نباید مشکل را به زور به این سناریو نسبت داد.
علت میتواند یکی از موارد دیگر باشد:
- فایلها زیر یک Mount Point جدید پنهان شدهاند.
- فایلسیستم از Snapshot یا ساختار Copy-on-Write استفاده میکند.
- فایلهای موجود در مسیر دیگری قرار دارند.
- دادهها در فایلسیستم دیگری قرار گرفتهاند.
- تفاوت حسابداری df و du به متادیتا یا بلوکهای رزروشده مربوط است.
- فایل حذفشده قبلاً بسته شده و مشکل فعلی علت دیگری دارد.
- حجم اصلی در Volume یا فضای ذخیرهسازی مستقل کانتینر است.
برای بررسی فایلسیستمها:
findmnt
lsblk -f
df -hT
df -i
اگر df -i نشان میدهد Inodeها تمام شدهاند، باید مسیر عیبیابی اتمام Inode را دنبال کنید؛ موضوعی که در مقاله جداگانه ایرانیکاسرور بررسی شده است.
اسکریپت تشخیص Deleted Open Files بدون تغییر در سرویس
اسکریپت زیر وضعیت فضای دیسک، Inodeها و فایلهای حذفشده اما باز را جمعآوری میکند. همچنین در صورت مشخصبودن PID و FD، میتوان از دستورهای مستقل بالا برای بررسی دقیقتر استفاده کرد.
اسکریپت هیچ فایل یا پوشهای را حذف نمیکند، هیچ پردازشی را Restart یا Kill نمیکند و هیچ File Descriptor را تغییر نمیدهد.
#!/usr/bin/env bash
set -u
TARGET="${1:-/}"
if [ ! -e "$TARGET" ]; then
echo "Target path does not exist: $TARGET" >&2
exit 1
fi
echo "===== DATE ====="
date --iso-8601=seconds
echo "===== OS ====="
cat /etc/os-release
echo "===== TARGET ====="
printf '%s\n' "$TARGET"
echo "===== FILESYSTEM ====="
findmnt -T "$TARGET" \
-o SOURCE,FSTYPE,TARGET,OPTIONS
echo "===== DISK USAGE ====="
df -hT "$TARGET"
echo "===== INODE USAGE ====="
df -i "$TARGET"
echo "===== ALL DISK USAGE ====="
df -hT
echo "===== DELETED OPEN FILES ====="
if command -v lsof >/dev/null 2>&1; then
lsof -nP +L1 2>&1 | head -n 100
else
echo "lsof is not installed"
fi
echo "===== LOGROTATE FILES ====="
ls -ld /etc/logrotate.conf \
/etc/logrotate.d 2>/dev/null || true
echo "===== FILESYSTEM WARNINGS ====="
journalctl -k -b --no-pager -n 300 2>/dev/null |
grep -Ei 'no space|enospc|ext4|xfs|btrfs|i/o error' |
tail -n 50 || true
echo "===== COMPLETE ====="
echo "Read-only diagnostics finished."
برای استفاده، فایل را با نام linux-deleted-open-check.sh ذخیره و پس از بررسی محتوا، در صورت نیاز با دسترسی مدیریتی اجرا کنید.
اگر فایلسیستم بسیار پر است، اجرای مستقیم خروجی در ترمینال از ایجاد فایل گزارش جدید روی همان دیسک جلوگیری میکند.
پیش از ارسال خروجی برای دیگران، نام پردازشها، مسیر فایلها و اطلاعات داخلی زیرساخت را بازبینی کنید.
جدول تصمیمگیری برای آزادسازی فضای حذفشده
| وضعیت | تفسیر محتمل | اقدام مناسب |
|---|---|---|
| df پر است، du کمتر نشان میدهد و lsof فایل حذفشده بزرگی دارد | Deleted Open File | شناسایی سرویس و آزادسازی FD به روش رسمی |
| فایل حذفشده مربوط به Log معمولی است | Log File Descriptor باز مانده | بررسی Log Reopen یا Rotation رسمی |
| فایل متعلق به دیتابیس است | احتمال فایل عملیاتی حساس | شناسایی نوع فایل و پیروی از روش رسمی دیتابیس |
| فایل داخل کانتینر است | Descriptor در Namespace کانتینر باز است | بررسی Container، Volume و توقف کنترلشده در صورت لزوم |
| lsof فایل memfd نشان میدهد | احتمال فایل حافظهای | تطبیق با فایلسیستم و مصرف واقعی دیسک |
| lsof فایل بزرگی نشان نمیدهد | احتمال علت دیگر برای اختلاف df و du | بررسی Mount، Snapshot، Quota و متادیتا |
| پس از Reopen فضای دیسک افزایش یافته است | ارجاع قدیمی به فایل احتمالاً آزاد شده | تأیید با df و lsof و اصلاح Log Rotation |
| پس از Restart هنوز فضا آزاد نشده | احتمال وجود ارجاع دیگر یا علت متفاوت | بررسی مجدد تمام PIDها و File Descriptorها |
چگونه از تکرار مشکل Deleted Open Files جلوگیری کنیم؟
برای جلوگیری از تکرار مشکل، باید نحوه تولید، چرخش و حذف فایلها در برنامه اصلاح شود.
مهمترین اقدامات پیشگیرانه عبارتاند از:
- فعالکردن Log Rotation متناسب با قابلیت رسمی برنامه.
- استفاده از مکانیزم Log Reopen در سرویسهای پشتیبانیکننده.
- مدیریت فایلهای موقت از طریق Lifecycle خود برنامه.
- خودداری از حذف دستی فایلهای Log فعال بدون بررسی.
- پایش همزمان مصرف فضای دیسک و حجم فایلهای Log.
- ثبت رشد غیرعادی فایلها و خطاهای نوشتن.
- بررسی دورهای Deleted Open Files در صورت وجود سابقه مشکل.
- داشتن سیاست مشخص برای Restart کنترلشده سرویسها.
- پایش فضای دیسک میزبان و Volumeها در محیط کانتینری.
- جلوگیری از دستکاری مستقیم فایلهای تراکنشی دیتابیس.
اگر برنامهای مدام فایلهای Log خود را بدون محدودیت بزرگ میکند، فقط آزادکردن فضای مصرفشده کافی نیست. باید علت رشد غیرعادی Log نیز برطرف شود.
اشتباههای رایج هنگام آزادسازی فضای فایل حذفشده
۱. حذف فایلهای بیشتر بدون بررسی lsof
اگر مشکل از File Descriptor باز باشد، حذف فایلهای نامرتبط فقط خطر ازدسترفتن اطلاعات را افزایش میدهد.
۲. فرض اینکه rm همیشه فضا را فوراً آزاد میکند
اگر فایل هنوز باز است، ممکن است بلوکهای آن تا بستهشدن آخرین ارجاع باقی بمانند.
۳. Restart کردن دیتابیس بدون بررسی
این اقدام میتواند باعث Downtime، توقف Job یا تأثیر بر عملیات حساس شود.
۴. Truncate کردن فایل باز از طریق /proc
اگر فایل متعلق به داده عملیاتی باشد، ممکن است اطلاعات حیاتی را از بین ببرد.
۵. یکساندانستن تمام خروجیهای lsof +L1
بعضی موارد فایل حافظهای یا موقتاند و فضای دیسک اصلی را اشغال نمیکنند.
۶. اتکا به SIZE/OFF بهعنوان فضای قطعی قابل آزادسازی
اندازه منطقی فایل همیشه با مقدار بلوک فیزیکی آزادشونده برابر نیست.
۷. تغییر Logrotate بدون شناخت برنامه
روش Rotation باید با رفتار File Descriptor و امکانات سرویس هماهنگ باشد.
۸. استفاده عمومی از copytruncate
این گزینه ممکن است در بعضی شرایط باعث ازدسترفتن بخشی از داده Log شود.
۹. بررسینکردن فایلسیستم واقعی
ممکن است فایل حذفشده روی Mount دیگری قرار داشته باشد.
۱۰. توجهنکردن به علت رشد Log
اگر یک خطای تکراری دائماً Log تولید میکند، مشکل فضای دیسک دوباره ظاهر خواهد شد.
سؤالات متداول درباره Linux disk space not freed
چرا بعد از حذف فایل در لینوکس فضای دیسک آزاد نمیشود؟
ممکن است پردازشی هنوز فایل حذفشده را از طریق File Descriptor باز نگه داشته باشد. در این وضعیت، دادههای فایل میتوانند تا بستهشدن آخرین ارجاع باقی بمانند.
چگونه فایلهای حذفشده اما باز را پیدا کنیم؟
دستور sudo lsof -nP +L1 برای شناسایی فایلهای باز با Link Count صفر کاربرد دارد.
چرا df و du مقدار متفاوتی نشان میدهند؟
df مصرف بلوکهای فایلسیستم را گزارش میکند، اما du بر اساس فایلها و مسیرهای قابل دسترسی اندازهگیری میکند. فایل حذفشده اما باز یکی از علتهای احتمالی اختلاف است.
آیا دستور rm فایل را بهطور کامل حذف میکند؟
rm در حالت معمول نام فایل را از دایرکتوری حذف میکند. اگر فایل همچنان باز باشد، آزادسازی نهایی منابع ممکن است تا بستهشدن آخرین ارجاع به تعویق بیفتد.
آیا Restart سرویس باعث آزادشدن فضا میشود؟
اگر آخرین ارجاع به فایل حذفشده با خاتمه پردازش بسته شود، فضای آن میتواند آزاد شود. البته Restart باید با توجه به حساسیت سرویس انجام شود.
آیا Truncate کردن فایل باز ایمن است؟
نه بهصورت عمومی. تغییر اندازه فایل باز، بهخصوص فایلهای دیتابیس یا تراکنشی، میتواند باعث ازدسترفتن اطلاعات شود.
اگر فایل حذفشده مربوط به PostgreSQL باشد چه کنیم؟
ابتدا باید نوع فایل مشخص شود. برای Log میتوان از قابلیتهای رسمی Logging استفاده کرد؛ اما فایلهای WAL و داده اصلی نباید دستی حذف یا Truncate شوند.
copytruncate در logrotate چیست؟
روشی است که فایل Log را کپی و سپس فایل اصلی را کوتاه میکند. این روش برای بعضی برنامهها کاربرد دارد، اما احتمال ازدسترفتن داده Log در بازه کوتاه بین کپی و Truncate وجود دارد.
آیا فایلهای حذفشده اما باز در Docker هم وجود دارند؟
بله. پردازش داخل کانتینر میتواند فایل حذفشدهای را باز نگه دارد و باعث ادامه مصرف فضای مرتبط شود.
اگر lsof +L1 خروجی مهمی نداشت چه کنیم؟
فایلسیستم واقعی، Mountها، Snapshotها، بلوکهای رزروشده و سایر دلایل اختلاف df و du باید بررسی شوند.
جمعبندی؛ فضای دیسک را بدون آسیب به سرویس آزاد کنیم
اگر پس از حذف فایل در لینوکس، فضای دیسک آزاد نمیشود، اولین قدم بررسی فایلسیستم موردنظر و مقایسه df و du است.
اگر اختلاف معناداری وجود دارد، با lsof +L1 فایلهای حذفشده اما باز را پیدا کنید. سپس نام پردازش، PID، File Descriptor، نوع فایل و دستگاه مربوط را بررسی کنید تا مطمئن شوید فایل واقعاً به فضای مصرفشده مربوط است.
برای فایلهای Log، استفاده از روش رسمی Log Reopen یا Rotation معمولاً انتخاب مناسبتری از Restart بیبرنامه است. در مقابل، برای فایلهای دیتابیس و دادههای تراکنشی باید از روشهای پشتیبانیشده همان نرمافزار استفاده شود.
در نهایت، بعد از آزادسازی فضا، مجدداً df و lsof را اجرا کنید و مطمئن شوید مشکل برطرف شده است. سپس تنظیمات Log Rotation و سیاست نگهداری فایلها را اصلاح کنید تا وضعیت دوباره تکرار نشود.
اصل نهایی: حذفشدن نام یک فایل به معنی بستهشدن تمام File Descriptorهای آن نیست. قبل از Restart، Truncate یا حذف فایلهای بیشتر، مشخص کنید کدام پردازش هنوز فایل را باز نگه داشته است.






دیدگاهها (۰)