Home > Linux > Изтриване на голямо количество файлове за минимално време

Изтриване на голямо количество файлове за минимално време

Наскоро намерих стари забрвени log файлове пълни с вече ненужна информация. Съответно трябваше да се предприемат мерки по изтриването им. Проблема беше в количеството на файловете – около 211 GB, състоящи се от повече от 600 000 файла. Самото изтриване трябваше да стане без да се натоварва машината, защото все пак е production server и не трябва да се нарушава работата му.

Започнах по най-стария и лесен начин, а именно:

rm logs/ -r

За около 1 минута load avearage на машината се качи от 1 до 16. Да, тук някой от вас ще кажат, че load-а не е определящ фактор, но все пак е някаква цифра, по която може да се водим за оптималната работа на сървъра.
Значително се усещаше натоварването при работа със сайта. Всичко се случваше изключително бавно, MySQL заявките се изпълняваха за невъзможни времена от сорта на +1 сек.
Опитах да пусна същата команда, но с различен nice:

nice -n 10 rm logs/ -r

Това просто отложи натоварването. След около 10 мин пак имаше проблем с машината и трябваше да търся ново решение. След кратко ровене в google, намерих няколко статии, гласящи, че може да се направи нещо като unlink на самата директория и тя да изчезне заедно с файловете в нея за около секунда 🙂 Да, но не. При подобно изтриване на директория/файлове, те не се изтриват физически от диска, а просто системата вече не линква към тях. Следователно не се освобождава място на диска. Другият възможен проблем е, че при рестартиране на машината, като се пусне fsck ще се опита да оправи проблемите, а именно да изтрие файловете, към който няма “референции”. Това може да доведе до счупване на цялата файлова система и да си навлечете още по-големи проблеми.

Моят съвет е – изтриите си файловете. Може да отнеме повече време (1-2-3 дни), но ще сте сигурни, че няма да имате проблеми в последствие.

Categories: Linux Tags:
Вижте всички статии от
Technology lover
Този автор е написал 156 статии

  • RM(1) User Commands RM(1)

    NAME
    rm – remove files or directories

    SYNOPSIS
    rm [OPTION]… FILE…

    ще си блъскаш главата в стената, когато някой ден линукс дистрибуциите започнат да спазват собствената си документацията (в случая rm от линуксия man на rm) или когато почнат да спазват posix както трябва 🙂

    т.е.:
    space@t61 space % touch /tmp/a
    space@t61 space % rm /tmp/a -r
    rm: -r: No such file or directory

  • Благомир Иванов

    Да, така е. Определено ще трябва да сменя начина си на структуриране на командите.