wget & cookies

[ex-orcanoid937.livejournal.com]

Почему если указываю куку, скачивается файл правильно, но всего один?

Патаюсь вытянуть журнал c подзамочными записями, которые доступны только после авторизации:
wget -r --load-cookies ./cookies.txt --keep-session-cookies http://_имя_.livejournal.com/

Comments

[marazmatik.livejournal.com]

Черт его знает....попробуйте включить verbose и посмотреть, на чем он останавливается

[ex-orcanoid937.livejournal.com]

-v, --verbose be verbose (this is the default).
так что ничего не видно

[marazmatik.livejournal.com]

А там нет ничего вроде -vvv? Я с wget-ом очень давно не работал, не помню уже.

[ex-orcanoid937.livejournal.com]

есть все, просто глючило у меня
уже все сделал :)

спасибо

[krolchatina.livejournal.com]

С -d интереснее получается.
в конце пишет:

Deciding whether to enqueue "http://xxxxxxxx.livejournal.com/".
Already on the black list.
Decided NOT to load it.
Redirection "http://xxxxxxxx.livejournal.com/" failed the test.

При --html-extension вытащилось больше -- попробуйте, я подозрвеаю, что комбинацией опций можно добиться человеческого результата.

думаю нужно отключить обработку robots.txt и разобраться с вопросом почему же xxx.livejournal.com/?skip=20" попадает в blacklist

livejournal loves you

[krolchatina.livejournal.com]

--html-extension -e robots=off

и все качает.

[ex-orcanoid937.livejournal.com]

что качает? :))

wget -r --html-extension -e robots=off --load-cookies ./cookies.txt --keep-session-cookies http://xxxx.livejournal.com/



22:31:21 (46.20 KB/s) - `xxxx.livejournal.com/index.html' saved [60233/60233]

FINISHED --22:31:21--
Downloaded: 60,233 bytes in 1 files

[krolchatina.livejournal.com]

хм =)
у меня полная строка в рез-те эеспериментов получилась такая:
wget -r --verbose --load-cookies ./cookies.txt --keep-session-cookies -d --save-cookies ./cookies.txt --html-extension -e robots=off http://xxxxx.livejournal.com

качнуло index.html, index.html?skip=20.html, пошел качать комменты, френдленту, дальше меня задолбало :)

GNU Wget 1.10

[ex-orcanoid937.livejournal.com]

да, все заработало кажется :))))

Большое Спасибо!!!