1 Тема от aka (29.08.2011 18:18:40 отредактировано aka)

  • aka
  • Новичок
  • Неактивен
  • Зарегистрирован: 06.07.2011
  • Сообщений: 19
  • Репутация : [ 0 | 0 ]

Понимаю, что тема стара как мир, но все же осмелюсь:)

Есть дерево директорий, три уровня вложенности. Необходимо удалить все файлы, но не папки в этом дереве в любой из поддиректорий полугодичной давности и больше.

Собственно проблема в том, что там около 2-3 миллионов файлов и это продакшн.

Руки чесали на find, но понимаю find делает сначала листинг, а потом только работает, что по мнению пробовавших около недели или больше при таких объемах) Сам я еще не пробовал, если честно...

Куда смотреть, что бы корректно удалить все это множество?:)

2 Ответ от zvezdochots

  • Откуда: Москва
  • Зарегистрирован: 22.02.2010
  • Сообщений: 115
  • Репутация : [ 1 | 0 ]
rm */*/*

мне кажется так можно...

iMac 21.5, Asus U36JC, iPad 2, iPhone 4S

Сайт zvezdochots

3 Ответ от drBatty

  • drBatty
  • drBatty
  • Пользователь
  • Неактивен
  • Откуда: Петербург
  • Зарегистрирован: 20.02.2010
  • Сообщений: 17,053
  • Репутация : [ 451 | 73 ]
aka пишет:

Руки чесали на find, но понимаю find делает сначала листинг, а потом только работает, что по мнению пробовавших около недели или больше при таких объемах)

вас ввели в заблуждение: find сразу удаляет (find -delete).

zvezdochots пишет:

rm */*/*
мне кажется так можно...

а вот тут будет листинг в памяти (много гигов ОЗУ потрачено будет), а потом уже удаление.
и каталоги тоже убьёте. Что недопустимо по условию.

aka пишет:

Куда смотреть, что бы корректно удалить все это множество?:)

man find

Карусель разнесло по цепочке за час
Всех известий — конец
Да, весна началась!
(всё к лицу подлецу, как родному отцу, не рассказывай, батя, и так всё пройдёт)

4 Ответ от Ranyar

  • Ranyar
  • Пользователь
  • Неактивен
  • Откуда: Улан-Батор
  • Зарегистрирован: 19.05.2010
  • Сообщений: 885
  • Репутация : [ 38 | 1 ]

Для рекурсивного копирования файлов (на примере телефонов Nokia) использую такой скрипт:

 Консоль:
find <old-catalog> -type f -name '*' | xargs cp -t <new-catalog>

Нашёл здесь
Для удаления можно составить аналогично. Опции для поиска определённых типов файлов есть в man find

Time flies like an arrow. Fruit flies like a banana.
Eats, shoots and leaves.

5 Ответ от Fat-Zer

  • Fat-Zer
  • Пользователь
  • Неактивен
  • Откуда: Москва
  • Зарегистрирован: 14.10.2010
  • Сообщений: 4,977
  • Репутация : [ 256 | 6 ]
drBatty пишет:

а вот тут будет листинг в памяти (много гигов ОЗУ потрачено будет), а потом уже удаление.
и каталоги тоже убьёте. Что недопустимо по условию.

не говоря уже о том, что вообще не заработает.... скажет, что мол слишком много аргументов...

95% процентов проблем находятся между клавиатурой и стулом.

6 Ответ от Denlookh

  • Denlookh
  • Denlookh
  • Пользователь
  • Неактивен
  • Откуда: Ufa-Moscow
  • Зарегистрирован: 05.08.2010
  • Сообщений: 474
  • Репутация : [ 9 | 0 ]

Удалял, как и Ranyar, при помощи find + xargs

Black-metal ist krieg!
Hochlast ist krieg!

7 Ответ от drBatty

  • drBatty
  • drBatty
  • Пользователь
  • Неактивен
  • Откуда: Петербург
  • Зарегистрирован: 20.02.2010
  • Сообщений: 17,053
  • Репутация : [ 451 | 73 ]
Ranyar пишет:

Для рекурсивного копирования файлов (на примере телефонов Nokia) использую такой скрипт:
Консоль:

find <old-catalog> -type f -name '*' | xargs cp -t <new-catalog>

выделенное лишнее.

Ranyar пишет:

Для удаления можно составить аналогично.

не нужно. удалять умеет сама find, без костыля xargs.

Fat-Zer пишет:

не говоря уже о том, что вообще не заработает.... скажет, что мол слишком много аргументов...

ну сначала повесит намертво сервак, а потом скажет  :o
если OOM Killer не грохнет раньше  :O

+ открыть спойлер

а вообще, свои "советы" проверять надо.

Карусель разнесло по цепочке за час
Всех известий — конец
Да, весна началась!
(всё к лицу подлецу, как родному отцу, не рассказывай, батя, и так всё пройдёт)

8 Ответ от zvezdochots

  • Откуда: Москва
  • Зарегистрирован: 22.02.2010
  • Сообщений: 115
  • Репутация : [ 1 | 0 ]

drBatty, я свой метод проверил, каталоги не удаляются.

 Консоль:

mihail@ProToshiba:~$ mkdir test
mihail@ProToshiba:~$ cd test
mihail@ProToshiba:~/test$ mkdir 1 2 3
mihail@ProToshiba:~/test$ touch 1/1 1/2 1/3
mihail@ProToshiba:~/test$ touch 2/1 2/2 2/3
mihail@ProToshiba:~/test$ touch 3/1 3/2 3/3
mihail@ProToshiba:~/test$ ls
1  2  3
mihail@ProToshiba:~/test$ ls 1 && ls 2 && ls 3
1  2  3
1  2  3
1  2  3
mihail@ProToshiba:~/test$ rm */*
mihail@ProToshiba:~/test$ ls
1  2  3
mihail@ProToshiba:~/test$ ls 1 && ls 2 && ls 3

iMac 21.5, Asus U36JC, iPad 2, iPhone 4S

Сайт zvezdochots

9 Ответ от drBatty

  • drBatty
  • drBatty
  • Пользователь
  • Неактивен
  • Откуда: Петербург
  • Зарегистрирован: 20.02.2010
  • Сообщений: 17,053
  • Репутация : [ 451 | 73 ]
zvezdochots пишет:

я свой метод проверил, каталоги не удаляются.

zvezdochots пишет:

$ rm */*

zvezdochots пишет:

rm */*/*

э...
почти никакой разницы...

Карусель разнесло по цепочке за час
Всех известий — конец
Да, весна началась!
(всё к лицу подлецу, как родному отцу, не рассказывай, батя, и так всё пройдёт)

10 Ответ от riso

  • riso
  • riso
  • Пользователь
  • Неактивен
  • Откуда: Украина г.Луганск
  • Зарегистрирован: 26.01.2011
  • Сообщений: 758
  • Репутация : [ 23 | 1 ]

подобная задача была на одном из собеседований в yandex. Был еще вопрос в тему find : как можно посмотреть листинг каталога без помощи ls )

— Ты кто?
— Часть силы той, что без числа
Творит добро, всему желая зла. © Фауст

11 Ответ от drBatty

  • drBatty
  • drBatty
  • Пользователь
  • Неактивен
  • Откуда: Петербург
  • Зарегистрирован: 20.02.2010
  • Сообщений: 17,053
  • Репутация : [ 451 | 73 ]
riso пишет:

подобная задача была на одном из собеседований в yandex.

не знаю как там на собеседовании (думаю также), но в продакшене такое сплошь и рядом. Когда какой-то криворукий идиот забыл сделать очистку, и ВНЕЗАПНО кончились inodes. ac
find самое быстрое. Но удалить миллионы файлов - это вам не фунт изюму.
Звёздочка ещё дольше, если конечно она вообще сработает (что не факт).

riso пишет:

Был еще вопрос в тему find : как можно посмотреть листинг каталога без помощи ls )

как вам:

 Консоль:
$ echo *

?
Казалось-бы, причём тут find? bx

Карусель разнесло по цепочке за час
Всех известий — конец
Да, весна началась!
(всё к лицу подлецу, как родному отцу, не рассказывай, батя, и так всё пройдёт)

12 Ответ от aka (30.08.2011 16:48:43 отредактировано aka)

  • aka
  • Новичок
  • Неактивен
  • Зарегистрирован: 06.07.2011
  • Сообщений: 19
  • Репутация : [ 0 | 0 ]

Удалилось ~110Гб, количество файлов 1723843, сервер был в продакшне, проблем не возникло кроме небольшого LA, что логично. Длилось около 1часа 20 минут, но думаю ,если бы не писал в файл и не продакт, то было бы быстрее.

Выглядело так:

 Консоль:
find /mnt/dataf/ -mtime +183 -type f -delete -print 2>&1 >> /data/files_delete.report2

Спасибо всем большое! ab

13 Ответ от riso

  • riso
  • riso
  • Пользователь
  • Неактивен
  • Откуда: Украина г.Луганск
  • Зарегистрирован: 26.01.2011
  • Сообщений: 758
  • Репутация : [ 23 | 1 ]

Казалось-бы, причём тут find?

find . -print был ответ, правда листинг будет рекурсивный. echo * конечно тоже можно.

— Ты кто?
— Часть силы той, что без числа
Творит добро, всему желая зла. © Фауст

14 Ответ от aka

  • aka
  • Новичок
  • Неактивен
  • Зарегистрирован: 06.07.2011
  • Сообщений: 19
  • Репутация : [ 0 | 0 ]

эм, dir и dir -l еще:)

15 Ответ от drBatty

  • drBatty
  • drBatty
  • Пользователь
  • Неактивен
  • Откуда: Петербург
  • Зарегистрирован: 20.02.2010
  • Сообщений: 17,053
  • Репутация : [ 451 | 73 ]
riso пишет:

find . -print был ответ

-print это поведение по умолчанию. можно просто find.

riso пишет:

правда листинг будет рекурсивный.

find -maxdepth 1
если хочется 1й уровень.

aka пишет:

эм, dir и dir -l еще:)

dir это alias для ls.

Карусель разнесло по цепочке за час
Всех известий — конец
Да, весна началась!
(всё к лицу подлецу, как родному отцу, не рассказывай, батя, и так всё пройдёт)
+ riso

16 Ответ от riso

  • riso
  • riso
  • Пользователь
  • Неактивен
  • Откуда: Украина г.Луганск
  • Зарегистрирован: 26.01.2011
  • Сообщений: 758
  • Репутация : [ 23 | 1 ]

за find -maxdepth 1 спасибо. Ман читать лень же.

— Ты кто?
— Часть силы той, что без числа
Творит добро, всему желая зла. © Фауст