Linux Forum — Удаление большого количества файлов

Re: Удаление большого количества файлов

null@example.com (riso) — Tue, 30 Aug 2011 17:04:11 +0000

за find -maxdepth 1 спасибо. Ман читать лень же.

Re: Удаление большого количества файлов

null@example.com (drBatty) — Tue, 30 Aug 2011 15:47:31 +0000

riso пишет:

find . -print был ответ

-print это поведение по умолчанию. можно просто find.

riso пишет:

правда листинг будет рекурсивный.

find -maxdepth 1
если хочется 1й уровень.

aka пишет:

эм, dir и dir -l еще:)

dir это alias для ls.

Re: Удаление большого количества файлов

null@example.com (aka) — Tue, 30 Aug 2011 14:40:05 +0000

эм, dir и dir -l еще:)

Re: Удаление большого количества файлов

null@example.com (riso) — Tue, 30 Aug 2011 14:17:13 +0000

Казалось-бы, причём тут find?

find . -print был ответ, правда листинг будет рекурсивный. echo * конечно тоже можно.

Re: Удаление большого количества файлов

null@example.com (aka) — Tue, 30 Aug 2011 12:48:06 +0000

Удалилось ~110Гб, количество файлов 1723843, сервер был в продакшне, проблем не возникло кроме небольшого LA, что логично. Длилось около 1часа 20 минут, но думаю ,если бы не писал в файл и не продакт, то было бы быстрее.

Выглядело так:

Консоль:

find /mnt/dataf/ -mtime +183 -type f -delete -print 2>&1 >> /data/files_delete.report2

Спасибо всем большое!

Re: Удаление большого количества файлов

null@example.com (drBatty) — Mon, 29 Aug 2011 20:17:32 +0000

riso пишет:

подобная задача была на одном из собеседований в yandex.

не знаю как там на собеседовании (думаю также), но в продакшене такое сплошь и рядом. Когда какой-то криворукий идиот забыл сделать очистку, и ВНЕЗАПНО кончились inodes.
find самое быстрое. Но удалить миллионы файлов - это вам не фунт изюму.
Звёздочка ещё дольше, если конечно она вообще сработает (что не факт).

riso пишет:

Был еще вопрос в тему find : как можно посмотреть листинг каталога без помощи ls )

как вам:

Консоль:

$ echo *

?
Казалось-бы, причём тут find?

Re: Удаление большого количества файлов

null@example.com (riso) — Mon, 29 Aug 2011 18:59:11 +0000

подобная задача была на одном из собеседований в yandex. Был еще вопрос в тему find : как можно посмотреть листинг каталога без помощи ls )

Re: Удаление большого количества файлов

null@example.com (drBatty) — Mon, 29 Aug 2011 18:06:26 +0000

zvezdochots пишет:

я свой метод проверил, каталоги не удаляются.

zvezdochots пишет:

$ rm */*

zvezdochots пишет:

rm */*/*

э...
почти никакой разницы...

Re: Удаление большого количества файлов

null@example.com (zvezdochots) — Mon, 29 Aug 2011 17:59:50 +0000

drBatty, я свой метод проверил, каталоги не удаляются.

Консоль:

mihail@ProToshiba:~$ mkdir test
mihail@ProToshiba:~$ cd test
mihail@ProToshiba:~/test$ mkdir 1 2 3
mihail@ProToshiba:~/test$ touch 1/1 1/2 1/3
mihail@ProToshiba:~/test$ touch 2/1 2/2 2/3
mihail@ProToshiba:~/test$ touch 3/1 3/2 3/3
mihail@ProToshiba:~/test$ ls
1 2 3
mihail@ProToshiba:~/test$ ls 1 && ls 2 && ls 3
1 2 3
1 2 3
1 2 3
mihail@ProToshiba:~/test$ rm */*
mihail@ProToshiba:~/test$ ls
1 2 3
mihail@ProToshiba:~/test$ ls 1 && ls 2 && ls 3

Re: Удаление большого количества файлов

null@example.com (drBatty) — Mon, 29 Aug 2011 17:15:58 +0000

Ranyar пишет:

Для рекурсивного копирования файлов (на примере телефонов Nokia) использую такой скрипт:
Консоль:
find -type f -name '*' | xargs cp -t

выделенное лишнее.

Ranyar пишет:

Для удаления можно составить аналогично.

не нужно. удалять умеет сама find, без костыля xargs.

Fat-Zer пишет:

не говоря уже о том, что вообще не заработает.... скажет, что мол слишком много аргументов...

ну сначала повесит намертво сервак, а потом скажет :o
если OOM Killer не грохнет раньше :O

+ открыть спойлер

а вообще, свои "советы" проверять надо.

Re: Удаление большого количества файлов

null@example.com (Denlookh) — Mon, 29 Aug 2011 17:11:33 +0000

Удалял, как и Ranyar, при помощи find + xargs

Re: Удаление большого количества файлов

null@example.com (Fat-Zer) — Mon, 29 Aug 2011 17:01:41 +0000

drBatty пишет:

а вот тут будет листинг в памяти (много гигов ОЗУ потрачено будет), а потом уже удаление.
и каталоги тоже убьёте. Что недопустимо по условию.

не говоря уже о том, что вообще не заработает.... скажет, что мол слишком много аргументов...

Re: Удаление большого количества файлов

null@example.com (Ranyar) — Mon, 29 Aug 2011 17:01:10 +0000

Для рекурсивного копирования файлов (на примере телефонов Nokia) использую такой скрипт:

Консоль:

find -type f -name '*' | xargs cp -t

Нашёл здесь
Для удаления можно составить аналогично. Опции для поиска определённых типов файлов есть в man find

Re: Удаление большого количества файлов

null@example.com (drBatty) — Mon, 29 Aug 2011 16:46:25 +0000

aka пишет:

Руки чесали на find, но понимаю find делает сначала листинг, а потом только работает, что по мнению пробовавших около недели или больше при таких объемах)

вас ввели в заблуждение: find сразу удаляет (find -delete).

zvezdochots пишет:

rm */*/*
мне кажется так можно...

а вот тут будет листинг в памяти (много гигов ОЗУ потрачено будет), а потом уже удаление.
и каталоги тоже убьёте. Что недопустимо по условию.

aka пишет:

Куда смотреть, что бы корректно удалить все это множество?:)

man find

Re: Удаление большого количества файлов

null@example.com (zvezdochots) — Mon, 29 Aug 2011 16:21:09 +0000

rm */*/*

мне кажется так можно...