Linux Forum — Самый быстрый способ выборки случайного файла из директории

Re: Самый быстрый способ выборки случайного файла из директории

null@example.com (valet) — Mon, 04 Feb 2013 18:07:16 +0000

-=Serj=- пишет:

Попробуйте убрать эту проверку

Спасибо, так работает и похоже правильно.
Позже потестирую еще по скорости, но на глазок опять таки Питон рулит!

Re: Самый быстрый способ выборки случайного файла из директории

null@example.com (-=Serj=-) — Mon, 04 Feb 2013 17:40:55 +0000

Попробуйте убрать эту проверку

-=Serj=- пишет:

if isfile(f):

Re: Самый быстрый способ выборки случайного файла из директории

null@example.com (valet) — Mon, 04 Feb 2013 17:08:38 +0000

Не работает.
Запустил, все это очень долго стояло, я думал шуршит, а потом думаю дай гляну сколько уже сделало - смотрю в html_out - а там пусто.
на Ctrl+C убил скрипт - выдало следующее:

$ ./start 
^CTraceback (most recent call last):
  File "./start", line 26, in 
    if isfile(f):
  File "/usr/lib/python2.6/genericpath.py", line 31, in isfile
    return False
KeyboardInterrupt

Re: Самый быстрый способ выборки случайного файла из директории

null@example.com (-=Serj=-) — Sat, 02 Feb 2013 10:50:03 +0000

Пробуйте

#!/usr/bin/env python
#-*- coding: utf-8 -*-

from os import listdir, remove
from os.path import isfile, join 
from re import compile 

PATT = compile(r'|||')
PATT2 = compile(r'href=\"(.+?)\"')

def conv(f):
    desc = open(join('./html_in', f), 'r')
    data = desc.read()
    data = PATT.sub('', data)
    data = PATT2.sub(r'href="http://site.ru/redir.php?\1"', data)
    desc.close()
    desc = open(join('./html_out', f), 'w')
    desc.write(data)
    desc.close()
    remove(join('./html_in', f))

while True:
    files = listdir('./html_in')
    if len(files) > 0:
        for f in files:
            if isfile(f):
                conv(f)
    else:
        break

Скрипт запускать из директории, содержащей html_in и html_out.

Re: Самый быстрый способ выборки случайного файла из директории

null@example.com (valet) — Sat, 02 Feb 2013 09:32:45 +0000

-=Serj=- пишет:

http://site.ru/redir.php?

именно так
то есть каждое вхождение:

href="http://

меняется на

href="http://site.ru/redir.php?http://

Re: Самый быстрый способ выборки случайного файла из директории

null@example.com (-=Serj=-) — Sat, 02 Feb 2013 08:51:03 +0000

Я sed не знаю, поэтому здесь

valet пишет:

прописывает все ссылки через редирект

поподробнее. Ко всем ссылкам добавляет

http://site.ru/redir.php?

Re: Самый быстрый способ выборки случайного файла из директории

null@example.com (valet) — Sat, 02 Feb 2013 06:07:12 +0000

-=Serj=- пишет:

Что делает этот второй скрипт?

Убирает из файла все теги

И прописывает все ссылки через редирект

Вот код этого sed-скрипта:

#!/bin/sed -rf

s~~∑~gi
s~([^∑]+)∑~\1~gi
s~~∑~gi
s~([^∑]+)∑~\1~gi
s~(href=")([^"]+)~target="_blank" href="http://site.ru/redir.php?\2~gi
s~∑~~gi

Re: Самый быстрый способ выборки случайного файла из директории

null@example.com (-=Serj=-) — Fri, 01 Feb 2013 16:46:59 +0000

valet пишет:

Второй скрипт обрабатывает sed'ом файлы из html_in и ложит их в html_out

-=Serj=- пишет:

Что должен делать сторонний скрипт?

Что делает этот второй скрипт?

Re: Самый быстрый способ выборки случайного файла из директории

null@example.com (valet) — Fri, 01 Feb 2013 16:45:31 +0000

-=Serj=- пишет:

Либо опишите задачу полностью. Что должен делать сторонний скрипт? Тогда можно попробовать всё на Python переписать, без костылей

Я это сделал еще в первом посте.

Задача такая - имеется один скрипт, который постоянно складывает файлы в каталог html_in. Второй скрипт обрабатывает sed'ом файлы из html_in и ложит их в html_out

Re: Самый быстрый способ выборки случайного файла из директории

null@example.com (valet) — Fri, 01 Feb 2013 16:24:56 +0000

-=Serj=- пишет:

Неа:)

я вижу ))

Re: Самый быстрый способ выборки случайного файла из директории

null@example.com (-=Serj=-) — Fri, 01 Feb 2013 16:21:07 +0000

Либо опишите задачу полностью. Что должен делать сторонний скрипт? Тогда можно попробовать всё на Python переписать, без костылей...

valet пишет:

Просто был приведен пример сначала одного питон-скрипта - ошибка, потом другого вроде как с иправлением - тоже не работает

Я первый вариант и исправил - Самый быстрый способ выборки случайного файла из директории

Re: Самый быстрый способ выборки случайного файла из директории

null@example.com (valet) — Fri, 01 Feb 2013 16:09:53 +0000

Fat-Zer пишет:

пользуйся башем или изучай питон...

да я и пользуюсь вообще-то
Просто был приведен пример сначала одного питон-скрипта - ошибка, потом другого вроде как с иправлением - тоже не работает
У меня видать питон какой-то неправильный раз вы говорите УМВР

Re: Самый быстрый способ выборки случайного файла из директории

null@example.com (Fat-Zer) — Fri, 01 Feb 2013 12:00:31 +0000

valet пишет:

Да не работают, ребята, ваши варианты. Как я понимаю вот эта переменная %s не подставляется:

УМВР.
пользуйся башем или изучай питон...

Re: Самый быстрый способ выборки случайного файла из директории

null@example.com (-=Serj=-) — Fri, 01 Feb 2013 07:57:52 +0000

xxblx пишет:

Вот интересно стало, может лучше call делать.

Бизли:

call(args, **parms)
Эта функция выполняет те же действия, что и функция Popen(), за исклю-
чением того, что она просто выполняет команду и возвращает код заверше-
ния (то есть она не возвращает объект класса Popen). Эту функцию удобно
использовать, когда требуется всего лишь выполнить команду и нет необ-
ходимости получать от нее вывод или управлять ею каким-либо способом.
Аргументы имеют тот же смысл, что и в функции Popen().

valet пишет:

Вы хоть сами проверяете что пишите?

Неа:)

Re: Самый быстрый способ выборки случайного файла из директории

null@example.com (valet) — Thu, 31 Jan 2013 23:31:20 +0000

Да не работают, ребята, ваши варианты. Как я понимаю вот эта переменная %s не подставляется:

/bin/sed: can't read %s: No such file or directory

Вы хоть сами проверяете что пишите?