15-07-2014 12:44 Alexvn » По поводу форума kamrad.ru
Через неделю, 22 июля, истекает срок нашего договора с хостингом, где размещен сервер kamrad.ru. Перенос форума на новую платформу, где теперь расположен сайт journals.ru, не планируется - это большая работа, на которую у меня просто нет времени и, учитывая активность на форуме - мотивации. Таким образом, с 22 июля форум прекратит свое существование.
Если вы хотите сделать бэкап каких то дискуссий и тем, сейчас самое время этим заняться.
Если у вас есть какие то вопросы или предложения по данной теме, пишите на support@journals.ru.
Такие дела.
Если вы хотите сделать бэкап каких то дискуссий и тем, сейчас самое время этим заняться.
Если у вас есть какие то вопросы или предложения по данной теме, пишите на support@journals.ru.
Такие дела.
Группы: [ организационное ]
Комментарии:
GoldenAndy
17-07-2014 23:53
Дневник • Хочухи • Профиль
Alexvn А можно выгрузить из БД (в том текстовом виде, в каком лежат там записи Поля Битвы - один пост-одна запись) и куда то положить ?
в любом виде , XML, CSV...
Что б я потом это мог структурировать и втянуть куда то...
в любом виде , XML, CSV...
Что б я потом это мог структурировать и втянуть куда то...
goldenandy - пожалуйста, дамп треда в формате XML (без верстки, только данные, 18 МБ в архиве):
http://kamrad.ru/pole.tar.gz
http://kamrad.ru/pole.tar.gz
спасибо. Завтра попробую скормить это дело оракловой БД 
пусть там поживет
пусть там поживет
KooZeeN
напомни, ти из какова [раёна] города?
Новороссийские мы - в смысле не из новой республики Новороссия, а из старого города Новороссийска, что в Краснодарском крае.
Извини, что раньше не ответил - у провайдера авария случилась. Целые сутки украли у меня, гады. Ну, ничего, сейчас докачка продолжается, надеюсь успеть.
напомни, ти из какова [раёна] города?
Новороссийские мы - в смысле не из новой республики Новороссия, а из старого города Новороссийска, что в Краснодарском крае.
Извини, что раньше не ответил - у провайдера авария случилась. Целые сутки украли у меня, гады. Ну, ничего, сейчас докачка продолжается, надеюсь успеть.
Skiminok
а из старого города Новороссийска, что в Краснодарском крае.
О как здорово! Теперь буду знать, с кем можно скоротать время в ожидании поезда после отпуска в Геленджике.
а из старого города Новороссийска, что в Краснодарском крае.
О как здорово!
Теперь буду знать, с кем можно скоротать время в ожидании поезда после отпуска в Геленджике. Skiminok - ты главное присматривай, чтоб он у тебя по ссылке из какого нибудь поста не пошел гугл выкачивать, и так далее 
Опытный ворчун
Skiminok Ты HTTrack-ом качаешь? Меню Mirror -> Modify Options -> таб Limits - впиши в Max Transfer Rate столько, сколько воображение подскажет - тогда эта несчастная полудохлая программулина начинает хоть немного шевелиться. Качать в несколько потоков она, по-моему, не может в результате родовой травмы. У автора. Старый добрый Teleport Pro вертится в гробу, глядя на эту жалкую поделку.
JimmyM
Старый добрый Teleport Pro не хочет брать камрад...
Я ж с него и начинал. Моментально заканчивается, ничего не скачав, выдает что-то типа "Ошибка соединения"...
UPD. Телепорт-таки запустил - там косяки с файрволлом были... Поставил качать впараллель с HTTrack (канал 50 Мбит/с, им и вместе его выбрать не получится). Поглядим, что теперь будет.
Старый добрый Teleport Pro не хочет брать камрад...
Я ж с него и начинал. Моментально заканчивается, ничего не скачав, выдает что-то типа "Ошибка соединения"...UPD. Телепорт-таки запустил - там косяки с файрволлом были... Поставил качать впараллель с HTTrack (канал 50 Мбит/с, им и вместе его выбрать не получится). Поглядим, что теперь будет.
отредактировано: 19-07-2014 03:35 - Skiminok
Черт, не получается пока...
Оба вылетели с ошибкой - превышено максимальное количество URL (65000)
Пробую дальше - уменьшил число внутренних вложений до 3 (было 4), запретил внешние ссылки. Для скорости качаю только текст.
Смотрим дальше...
Оба вылетели с ошибкой - превышено максимальное количество URL (65000)
Пробую дальше - уменьшил число внутренних вложений до 3 (было 4), запретил внешние ссылки. Для скорости качаю только текст.
Смотрим дальше...
Опытный ворчун
Skiminok 
ох-ох... я то думал, что эпоха двухбайтовых переменных прошла...
ох-ох... я то думал, что эпоха двухбайтовых переменных прошла...JimmyM
Ото ж... Сакральное дьявольское число 65535... Дохленькое 666 отдыхает.
Если верить анализатору Телепорта, при уровне вложения 3 ссылок будет чуть больше 58000... Значит в двухбайтовое пространство влезаем.
Ото ж... Сакральное дьявольское число 65535... Дохленькое 666 отдыхает.
Если верить анализатору Телепорта, при уровне вложения 3 ссылок будет чуть больше 58000... Значит в двухбайтовое пространство влезаем.
Опытный ворчун
У меня закончилось тем же, HTTrack сказал, что URL-ей больше 100к и у него паника. И при этом открываются только списки, а самих постов нет. Чудесная программа, да.
..................
отредактировано: 19-07-2014 15:25 - Агни
То же самое - переполнение URL-ов...
Я его все равно добью!!!
Включаем в поле Exclution следующий лист:
http://kamrad.ru/postings.php*
http://kamrad.ru/editpost.php*
http://kamrad.ru/sendtofriend.php*
http://kamrad.ru/printthread.php*
http://kamrad.ru/member2.php?*
http://kamrad.ru/search.php*
http://kamrad.ru/member.php*
http://kamrad.ru/private.php*
http://kamrad.ru/postings.php*
http://kamrad.ru/newreply.php*
http://kamrad.ru/moderator.php*
http://kamrad.ru/photolist.php*
http://kamrad.ru/buddylist.php*
http://kamrad.ru/memberlist.php*
http://kamrad.ru/calendar.php*
http://kamrad.ru/register.php*
http://kamrad.ru/usercp.php*
http://kamrad.ru/index.php*
http://kamrad.ru/photolist-2.php*
http://kamrad.ru/photolist-3.php*
http://kamrad.ru/misc.php*
http://kamrad.ru/forumconfig.php*
Теперь обрабатываются только URL, содержащие ссылки на showthread.php и forumdisplay.php
Запускаем. Ждем...
Я его все равно добью!!!
Включаем в поле Exclution следующий лист:
http://kamrad.ru/postings.php*
http://kamrad.ru/editpost.php*
http://kamrad.ru/sendtofriend.php*
http://kamrad.ru/printthread.php*
http://kamrad.ru/member2.php?*
http://kamrad.ru/search.php*
http://kamrad.ru/member.php*
http://kamrad.ru/private.php*
http://kamrad.ru/postings.php*
http://kamrad.ru/newreply.php*
http://kamrad.ru/moderator.php*
http://kamrad.ru/photolist.php*
http://kamrad.ru/buddylist.php*
http://kamrad.ru/memberlist.php*
http://kamrad.ru/calendar.php*
http://kamrad.ru/register.php*
http://kamrad.ru/usercp.php*
http://kamrad.ru/index.php*
http://kamrad.ru/photolist-2.php*
http://kamrad.ru/photolist-3.php*
http://kamrad.ru/misc.php*
http://kamrad.ru/forumconfig.php*
Теперь обрабатываются только URL, содержащие ссылки на showthread.php и forumdisplay.php
Запускаем. Ждем...
Ну что...
Литература сдернулась ПОЧТИ полностью - недокачало около 200 файлов из запрошенных. Ошибка - та же... И вырезать из проекта уж нечего...
Но это - похоже, референтные ссылки внутри тредов (переход со страницы N на страницу M) - в принципе не страшно. Главное, что странички ВСЕ в наличии, а ссылки - роскошь.
А вот что делать со Звездными войнами - НЕ ЗНАЮ.
ПБ - 2857 страниц!!! Это какой же телепорт потянет?!
Весь SW - 106 страниц!
Ну и насочиняли вы...
Короче, делаю следующее:
Скачиваю отдельно ПБ с уровнем вложенности 2 без картинок и отдельно SW без ПБ. Что получится - НЕ ЗНАЮ...
Литература сдернулась ПОЧТИ полностью - недокачало около 200 файлов из запрошенных. Ошибка - та же...
И вырезать из проекта уж нечего... Но это - похоже, референтные ссылки внутри тредов (переход со страницы N на страницу M) - в принципе не страшно. Главное, что странички ВСЕ в наличии, а ссылки - роскошь.
А вот что делать со Звездными войнами - НЕ ЗНАЮ.
ПБ - 2857 страниц!!! Это какой же телепорт потянет?!
Весь SW - 106 страниц!
Ну и насочиняли вы...
Короче, делаю следующее:
Скачиваю отдельно ПБ с уровнем вложенности 2 без картинок и отдельно SW без ПБ. Что получится - НЕ ЗНАЮ...
Skiminok ПБ можешь не качать. Alexvn же его отдал в виде текстов.
Там вполне пристойный XML, его отпарсить и превратить в хтмл, в принципе, не сложно ...
а если вгружать в какой то форум, то, возможно, и особо парсить не надо
Там вполне пристойный XML, его отпарсить и превратить в хтмл, в принципе, не сложно ...
а если вгружать в какой то форум, то, возможно, и особо парсить не надо
goldenandy
Ну хорошо...
Правда, скачалось уже много - около 4 гигов. Точно не нужно, убивать?
Ну хорошо...
Правда, скачалось уже много - около 4 гигов. Точно не нужно, убивать?
Skiminok, ПБ можешь не качать - его только ленивый не бэкапит. А вот остальной форум было бы крайне желательно сдернуть.
Несмеяна
Остальной форум - увы, не по зубам...
Слишком много: "Литература" (64 страницы) полностью не скачалась, а у вас - 106, да и вложенные треды там есть по 100, по 200 страниц...
Полностью не сдернется - 100%.
Могу, конечно, поставить на скачку - сколько возьмется столько и возьмется. Вам как - такая практически случайная выборка-огрызок нужна?
Остальной форум - увы, не по зубам...
Слишком много: "Литература" (64 страницы) полностью не скачалась, а у вас - 106, да и вложенные треды там есть по 100, по 200 страниц...
Полностью не сдернется - 100%.
Могу, конечно, поставить на скачку - сколько возьмется столько и возьмется. Вам как - такая практически случайная выборка-огрызок нужна?
Skiminok, я имею в виду остальной ЗВ-форум. Если тебе, конечно, не сложно.
Если тебе, конечно, не сложно.