Linux Forum — Недостаточно памяти для копирования

Re: Недостаточно памяти для копирования

null@example.com (drBatty) — Thu, 26 Sep 2013 05:42:57 +0000

fragment⇓ пишет:

А сделать своевременный сброс кэша, чтобы не было ситуаций подобных моей - это, видимо, задача просто титанического труда, сродни созданию теории струн.

нет. Это также просто как libastral.so.

fragment⇓ пишет:

Или у ядрокодеров руки из [CENSORED] местами. Даже не знаю что вероятнее.

ну разработка Linux ядра открыта. Давай ты сделаешь? Уж поверь, Линус такой патч СРАЗУ примет.

Re: Недостаточно памяти для копирования

null@example.com (fragment) — Thu, 26 Sep 2013 05:29:22 +0000

drBatty пишет:

Дело всё в том, что копирование всегда идёт через память.

А сделать своевременный сброс кэша, чтобы не было ситуаций подобных моей - это, видимо, задача просто титанического труда, сродни созданию теории струн. Или у ядрокодеров руки из [CENSORED] местами. Даже не знаю что вероятнее.

Re: Недостаточно памяти для копирования

null@example.com (drBatty) — Thu, 26 Sep 2013 04:45:49 +0000

fragment⇓ пишет:

Так и не узнаю, что это было и как это лечить.

так и лечить. Никак
Дело всё в том, что копирование всегда идёт через память. Как и любая запись. Т.е. файлы читаются в память, потому вы говорите "пиши", и она "пишет". Вот только это отложенная запись, никто не ждёт, пока файл запишется, а читает дальше. Вот кеш и забивается. Можно в принципе делать sync после каждого файла, но вы состаритесь пока это всё скопируется.

Задача записи нетривиальна, перед тем, как записать файлы, система их особым образом группирует, что-бы потом быстро прочитать. В маздае такого нет, потому пишется быстрее (алгоритм тупой из 80х), но из-за этого диск фрагментируется, и потом тупит уже на чтении. Нужна дефрагментация. В линуксе "дефрагментация" УЖЕ есть в алгоритме записи. Потому запись дольше, и требует память. Лучше это НЕ менять, ибо будет скорее всего только хуже.

Помогает покупка памяти (если её мало) и покупка SSD, ибо для SSD задача расфасовки файлов значительно проще(к тому же она всё равно решена на уровне контроллера).

Re: Недостаточно памяти для копирования

null@example.com (fragment) — Thu, 26 Sep 2013 04:16:21 +0000

У меня кончилось терпение и я скопировал каталог по кускам. Так и не узнаю, что это было и как это лечить.

Re: Недостаточно памяти для копирования

null@example.com (drBatty) — Thu, 26 Sep 2013 01:26:15 +0000

fragment⇓ пишет:

Игрались, выставил его в 0, чтобы ядро не кидало страницы в своп при живой оперативке.

facepalm

Hint: верните на место.

Re: Недостаточно памяти для копирования

null@example.com (bobr) — Wed, 25 Sep 2013 15:46:43 +0000

Попробовать ядро с дефолтным конфигом, который предлагает genkernel. Закомментировать все шаманства, связанные с диском и памятью из /etc/sysctl.conf, /etc/sysctl.d/* а потом по одному их обратно раскомментировать и проверять.

Re: Недостаточно памяти для копирования

null@example.com (ormorph) — Sun, 22 Sep 2013 08:54:44 +0000

fragment пишет:

Версию поменять? Или FreeBSD накатить?

Ктож его знает...
Можно еще шаманский бубен привлечь, но это уже крайний случай!
Зы: на ядро FreeBSD без бубна ни как!

Re: Недостаточно памяти для копирования

null@example.com (fragment) — Sun, 22 Sep 2013 08:35:53 +0000

ormorph пишет:

fragment⇓ пишет:
В том-то и дело, что никакой процесс не потребляет при копировании больше, чем обычно.
Ну тогда наверное стоит посмотреть в сторону сборки другого ядра.

Версию поменять? Или FreeBSD накатить?

Re: Недостаточно памяти для копирования

null@example.com (ormorph) — Sun, 22 Sep 2013 08:26:23 +0000

fragment⇓ пишет:

В том-то и дело, что никакой процесс не потребляет при копировании больше, чем обычно.

Ну тогда наверное стоит посмотреть в сторону сборки другого ядра.

Re: Недостаточно памяти для копирования

null@example.com (fragment) — Sun, 22 Sep 2013 08:01:33 +0000

В том-то и дело, что никакой процесс не потребляет при копировании больше, чем обычно.

Re: Недостаточно памяти для копирования

null@example.com (ormorph) — Sun, 22 Sep 2013 07:25:32 +0000

fragment⇓ пишет:

Есть возможность указать размер кэша вручную?

Тыц

fragment⇓ пишет:

Судя по всему, ядро не может правильно определить количество свободной памяти при выделении под дисковый кэш.

Я бы не делал поспешных выводов...
Надо бы понаблюдать за процессами в момент копирования, какой процесс потребляет наибольшее количество оперативной памяти.
Например при копировании возможно влияет virtuoso и nepomuk , так как обеспечивают быстрый поиск.
Так как в данном случае я так понял используются кеды, то сделать это можно через гуй ksysguard.

Re: Недостаточно памяти для копирования

null@example.com (fragment) — Sun, 22 Sep 2013 06:12:29 +0000

Судя по всему, ядро не может правильно определить количество свободной памяти при выделении под дисковый кэш. Есть возможность указать размер кэша вручную?

Re: Недостаточно памяти для копирования

null@example.com (fragment) — Sun, 22 Sep 2013 05:43:00 +0000

Это уже нифига не смешно - система виснет и при копировании через mc. Что за бред-то вообще, как мне теперь перенести данные с харда на хард?

Re: Недостаточно памяти для копирования

null@example.com (fragment) — Sun, 22 Sep 2013 03:07:53 +0000

Это, конечно, всё печально.

Re: Недостаточно памяти для копирования

null@example.com (ormorph) — Sat, 21 Sep 2013 18:07:50 +0000

fragment⇓ пишет:

Игрались, выставил его в 0, чтобы ядро не кидало страницы в своп при живой оперативке.

Можно увеличить быстродействие системы и количество используемой памяти, используя в качестве свопа сжатие zram, не выставляя при этом swappiness в ноль.
Тут немного обсуждали тыц

fragment⇓ пишет:

А что это за фантастическое взаимодействие kio_file и swappiness такое?

Понятия не имею, распределением оперативной памяти занимается ядро, а вот утечки оперативной памяти(переполнение буфера), могут возникать из за работы программ, на то она и нестабильная ветка.