Уважаемые посетители!

valet · 31.01.2013 23:02:37

valet
Пользователь
Неактивен

Зарегистрирован: 27.11.2010
Сообщений: 546
Репутация : [ 2 | 0 ]

Было бы интересно все таки попробовать полностью питоновский скрипт, очень интересно как он себя покажет, подозреваю что он может быстрее работать.

xxblx · 31.01.2013 23:07:45

xxblx
Пользователь
Неактивен

Зарегистрирован: 14.05.2011
Сообщений: 3,437
Репутация : [ 147 | 1 ]

valet пишет:

это cd html_in для моего случая, как это будет на питоне понятия не имею

#!/usr/bin/env python
#-*- coding: utf-8 -*-

from os import listdir, remove
from subprocess import call

while True:
    files = listdir('./html_in')
    if len(files) > 0:
        for f in files:
            call('./script %s > ./html_out/%s' % f, shell = True)
            remove(f)
    else:
        break

. = текущий каталог
./html_in = каталог html_in лежащий внутри текущего каталога

Fedora GNOME3

valet · 31.01.2013 23:30:17

valet
Пользователь
Неактивен

Зарегистрирован: 27.11.2010
Сообщений: 546
Репутация : [ 2 | 0 ]

Все та же ошибка:

Traceback (most recent call last):
  File "./obrabotka", line 11, in <module>
    call('./script %s > ./html_out/%s' % f, shell = True)
TypeError: not enough arguments for format string

xxblx · 31.01.2013 23:59:46

xxblx
Пользователь
Неактивен

Зарегистрирован: 14.05.2011
Сообщений: 3,437
Репутация : [ 147 | 1 ]

valet пишет:

Все та же ошибка:

а если не call попробовать

#!/usr/bin/env python
#-*- coding: utf-8 -*-

from os import listdir, remove
from subprocess import Popen

while True:
    files = listdir('./html_in')
    if len(files) > 0:
        for f in files:
            cmd = './script %s > ./html_out/%s'
            cmd_run = Popen(cmd, shell = True)
            cmd_run.poll()
            cmd_run.wait()
            remove(f)
    else:
        break

Fedora GNOME3

Fat-Zer · 01.02.2013 00:30:58

Fat-Zer
Пользователь
Неактивен

Откуда: Москва
Зарегистрирован: 14.10.2010
Сообщений: 4,977
Репутация : [ 256 | 6 ]

xxblx, ошибку принципиально не хочешь прочесть?

как-то так:

valet пишет:

call('script %s > html_out/%s' % (f, f), shell = True)

valet пишет:

То есть тут должен быть переход в каталог обработки, на bash'е это cd html_in для моего случая, как это будет на питоне понятия не имею, может поэтому и ошибка, потому что я привел скрипт к виду:

os.chdir(); не забудь его импортировать в начале...
а вообще это не важно: скрипт можно вызвать из любого каталога... только нормально путь к sed-скрипту надо прописать или в PATH добавить...

ЗЫ: если хочешь перенести всё включая седовую часть, то лучше на перловку - туда сед на порядок проще портируется...
хотя там и возможны вредные для психики эффекты...
но это на любителя... пользуйся лучше тем, что знаешь...

95% процентов проблем находятся между клавиатурой и стулом.

-=Serj=- · 01.02.2013 00:46:33

-=Serj=-
Пользователь
Неактивен

Откуда: Москва
Зарегистрирован: 18.03.2011
Сообщений: 3,277
Репутация : [ 143 | 0 ]

Fat-Zer пишет:

call('script %s > html_out/%s' % (f, f), shell = True)

Ага, извиняюсь... Поправил.

Да, у меня Ubuntu.
Нет, не глючит.

xxblx · 01.02.2013 01:25:32

xxblx
Пользователь
Неактивен

Зарегистрирован: 14.05.2011
Сообщений: 3,437
Репутация : [ 147 | 1 ]

Fat-Zer пишет:

xxblx, ошибку принципиально не хочешь прочесть?

Блин, точно. Сам себе поражаюсь - пока носом не тыкнули, не увидел ошибку.
Спасибо за замечание.

Кстати, вопрос, сразу по call и Popen, для подобного скрипта - однофигственно что использовать или call все-таки предпочтительней? Сам я обычно просто всегда делаю
cmd = 'команда'
cmd_run = Popen(cmd, shell = True)
cmd_run.poll()
cmd_run.wait()
Вот интересно стало, может лучше call делать.

Fedora GNOME3

valet · 01.02.2013 03:31:20

valet
Пользователь
Неактивен

Зарегистрирован: 27.11.2010
Сообщений: 546
Репутация : [ 2 | 0 ]

Да не работают, ребята, ваши варианты. Как я понимаю вот эта переменная %s не подставляется:

/bin/sed: can't read %s: No such file or directory

Вы хоть сами проверяете что пишите?

-=Serj=- · 01.02.2013 11:57:52

-=Serj=-
Пользователь
Неактивен

Откуда: Москва
Зарегистрирован: 18.03.2011
Сообщений: 3,277
Репутация : [ 143 | 0 ]

xxblx пишет:

Вот интересно стало, может лучше call делать.

Бизли:

call(args, **parms)
Эта функция выполняет те же действия, что и функция Popen(), за исклю-
чением того, что она просто выполняет команду и возвращает код заверше-
ния (то есть она не возвращает объект класса Popen). Эту функцию удобно
использовать, когда требуется всего лишь выполнить команду и нет необ-
ходимости получать от нее вывод или управлять ею каким-либо способом.
Аргументы имеют тот же смысл, что и в функции Popen().

valet пишет:

Вы хоть сами проверяете что пишите?

Неа:)

Да, у меня Ubuntu.
Нет, не глючит.

+ xxblx

Fat-Zer · 01.02.2013 16:00:31

Fat-Zer
Пользователь
Неактивен

Откуда: Москва
Зарегистрирован: 14.10.2010
Сообщений: 4,977
Репутация : [ 256 | 6 ]

valet пишет:

Да не работают, ребята, ваши варианты. Как я понимаю вот эта переменная %s не подставляется:

УМВР.
пользуйся башем или изучай питон...

95% процентов проблем находятся между клавиатурой и стулом.

valet · 01.02.2013 20:09:53

valet
Пользователь
Неактивен

Зарегистрирован: 27.11.2010
Сообщений: 546
Репутация : [ 2 | 0 ]

Fat-Zer пишет:

пользуйся башем или изучай питон...

да я и пользуюсь вообще-то
Просто был приведен пример сначала одного питон-скрипта - ошибка, потом другого вроде как с иправлением - тоже не работает
У меня видать питон какой-то неправильный раз вы говорите УМВР

-=Serj=- · 01.02.2013 20:21:07

-=Serj=-
Пользователь
Неактивен

Откуда: Москва
Зарегистрирован: 18.03.2011
Сообщений: 3,277
Репутация : [ 143 | 0 ]

Либо опишите задачу полностью. Что должен делать сторонний скрипт? Тогда можно попробовать всё на Python переписать, без костылей...

valet пишет:

Просто был приведен пример сначала одного питон-скрипта - ошибка, потом другого вроде как с иправлением - тоже не работает

Я первый вариант и исправил - Самый быстрый способ выборки случайного файла из директории

Да, у меня Ubuntu.
Нет, не глючит.

valet · 01.02.2013 20:24:56

valet
Пользователь
Неактивен

Зарегистрирован: 27.11.2010
Сообщений: 546
Репутация : [ 2 | 0 ]

-=Serj=- пишет:

Неа:)

я вижу ))

valet · 01.02.2013 20:45:31

valet
Пользователь
Неактивен

Зарегистрирован: 27.11.2010
Сообщений: 546
Репутация : [ 2 | 0 ]

-=Serj=- пишет:

Либо опишите задачу полностью. Что должен делать сторонний скрипт? Тогда можно попробовать всё на Python переписать, без костылей

Я это сделал еще в первом посте.

Задача такая - имеется один скрипт, который постоянно складывает файлы в каталог html_in. Второй скрипт обрабатывает sed'ом файлы из html_in и ложит их в html_out

-=Serj=- · 01.02.2013 20:46:59

-=Serj=-
Пользователь
Неактивен

Откуда: Москва
Зарегистрирован: 18.03.2011
Сообщений: 3,277
Репутация : [ 143 | 0 ]

valet пишет:

Второй скрипт обрабатывает sed'ом файлы из html_in и ложит их в html_out

-=Serj=- пишет:

Что должен делать сторонний скрипт?

Что делает этот второй скрипт?

Да, у меня Ubuntu.
Нет, не глючит.

valet · 02.02.2013 10:07:12

valet
Пользователь
Неактивен

Зарегистрирован: 27.11.2010
Сообщений: 546
Репутация : [ 2 | 0 ]

-=Serj=- пишет:

Что делает этот второй скрипт?

Убирает из файла все теги

<strong> </strong> <b> </b>

И прописывает все ссылки через редирект

Вот код этого sed-скрипта:

#!/bin/sed -rf

s~</b>~∑</b>~gi
s~<b>([^∑]+)∑</b>~\1~gi
s~</strong>~∑</strong>~gi
s~<strong>([^∑]+)∑</strong>~\1~gi
s~(href=")([^"]+)~target="_blank" href="http://site.ru/redir.php?\2~gi
s~∑~~gi

-=Serj=- · 02.02.2013 12:51:03

-=Serj=-
Пользователь
Неактивен

Откуда: Москва
Зарегистрирован: 18.03.2011
Сообщений: 3,277
Репутация : [ 143 | 0 ]

Я sed не знаю, поэтому здесь

valet пишет:

прописывает все ссылки через редирект

поподробнее. Ко всем ссылкам добавляет

http://site.ru/redir.php?

?

Да, у меня Ubuntu.
Нет, не глючит.

valet · 02.02.2013 13:32:45

valet
Пользователь
Неактивен

Зарегистрирован: 27.11.2010
Сообщений: 546
Репутация : [ 2 | 0 ]

-=Serj=- пишет:

http://site.ru/redir.php?

именно так
то есть каждое вхождение:

href="http://

меняется на

href="http://site.ru/redir.php?http://

-=Serj=- · 02.02.2013 14:50:03

-=Serj=-
Пользователь
Неактивен

Откуда: Москва
Зарегистрирован: 18.03.2011
Сообщений: 3,277
Репутация : [ 143 | 0 ]

Пробуйте

#!/usr/bin/env python
#-*- coding: utf-8 -*-

from os import listdir, remove
from os.path import isfile, join 
from re import compile 

PATT = compile(r'<b>|</b>|<strong>|</strong>')
PATT2 = compile(r'href=\"(.+?)\"')

def conv(f):
    desc = open(join('./html_in', f), 'r')
    data = desc.read()
    data = PATT.sub('', data)
    data = PATT2.sub(r'href="http://site.ru/redir.php?\1"', data)
    desc.close()
    desc = open(join('./html_out', f), 'w')
    desc.write(data)
    desc.close()
    remove(join('./html_in', f))

while True:
    files = listdir('./html_in')
    if len(files) > 0:
        for f in files:
            if isfile(f):
                conv(f)
    else:
        break

Скрипт запускать из директории, содержащей html_in и html_out.

Да, у меня Ubuntu.
Нет, не глючит.

valet · 04.02.2013 21:08:38

valet
Пользователь
Неактивен

Зарегистрирован: 27.11.2010
Сообщений: 546
Репутация : [ 2 | 0 ]

Не работает.
Запустил, все это очень долго стояло, я думал шуршит, а потом думаю дай гляну сколько уже сделало - смотрю в html_out - а там пусто.
на Ctrl+C убил скрипт - выдало следующее:

$ ./start 
^CTraceback (most recent call last):
  File "./start", line 26, in <module>
    if isfile(f):
  File "/usr/lib/python2.6/genericpath.py", line 31, in isfile
    return False
KeyboardInterrupt

-=Serj=- · 04.02.2013 21:40:55

-=Serj=-
Пользователь
Неактивен

Откуда: Москва
Зарегистрирован: 18.03.2011
Сообщений: 3,277
Репутация : [ 143 | 0 ]

Попробуйте убрать эту проверку

-=Serj=- пишет:

if isfile(f):

Да, у меня Ubuntu.
Нет, не глючит.

valet · 04.02.2013 22:07:16

valet
Пользователь
Неактивен

Зарегистрирован: 27.11.2010
Сообщений: 546
Репутация : [ 2 | 0 ]

-=Serj=- пишет:

Попробуйте убрать эту проверку

Спасибо, так работает и похоже правильно.
Позже потестирую еще по скорости, но на глазок опять таки Питон рулит!

Уважаемые посетители!

Самый быстрый способ выборки случайного файла из директории (Страница 2 из 2)

Сообщений с 31 по 52 из 52

31 Ответ от valet 31.01.2013 23:02:37

32 Ответ от xxblx 31.01.2013 23:07:45 (31.01.2013 23:09:08 отредактировано xxblx)

33 Ответ от valet 31.01.2013 23:30:17

34 Ответ от xxblx 31.01.2013 23:59:46

35 Ответ от Fat-Zer 01.02.2013 00:30:58

36 Ответ от -=Serj=- 01.02.2013 00:46:33 (01.02.2013 00:49:22 отредактировано -=Serj=-)

37 Ответ от xxblx 01.02.2013 01:25:32

38 Ответ от valet 01.02.2013 03:31:20

39 Ответ от -=Serj=- 01.02.2013 11:57:52 (01.02.2013 11:59:59 отредактировано -=Serj=-)

40 Ответ от Fat-Zer 01.02.2013 16:00:31

41 Ответ от valet 01.02.2013 20:09:53

42 Ответ от -=Serj=- 01.02.2013 20:21:07 (01.02.2013 20:31:37 отредактировано -=Serj=-)

43 Ответ от valet 01.02.2013 20:24:56

44 Ответ от valet 01.02.2013 20:45:31

45 Ответ от -=Serj=- 01.02.2013 20:46:59 (01.02.2013 20:49:09 отредактировано -=Serj=-)

46 Ответ от valet 02.02.2013 10:07:12 (02.02.2013 10:07:35 отредактировано valet)

47 Ответ от -=Serj=- 02.02.2013 12:51:03 (02.02.2013 13:23:58 отредактировано -=Serj=-)

48 Ответ от valet 02.02.2013 13:32:45

49 Ответ от -=Serj=- 02.02.2013 14:50:03

50 Ответ от valet 04.02.2013 21:08:38

51 Ответ от -=Serj=- 04.02.2013 21:40:55

52 Ответ от valet 04.02.2013 22:07:16

Сообщений с 31 по 52 из 52

Просматривают тему: 1 гость, 0 пользователей