elmortem
21:21 15-10-2005 RSS
Сделал RSS-импорт записей из дневников.

Сменился адрес!..
http://elmortem.mirgames.ru/tools/r...=22591&count=10 - Дневник
http://elmortem.mirgames.ru/tools/b...=22591&count=10 - Лента друзей

userid - id пользователя, имеющего дневник\клуб на http://journals.ru
count - количество импортируемых записей. Не больше 100

Приятного юзания!!! (:

[upd] Было написано "импортируемых функций". Чёрт, я совсем запрограммился... Слова ничинаю путать. (: Но "покой нам только снится"! (:
[upd2] Работает только для тех дневников\клубов у которых включена поддержка print-версии. Т.к. грабится именно она.
[upd3] Исправлена одна очень неприятная ошибка. Странно, что её до сих пор никто не заметил...

Грабить основной дизайн у меня нету никакого желания. Ибо нагрузка на сервер в этом случае возрастёт весьма. Если и сделаю, то получат этот чудо-адресок только избранные, хыхы.

Всё тут: http://elmortem.mirgames.ru/?path=php
Всё заного на месте!

отредактировано: 21-09-2006 00:39 - Mortem

Комментарии:
Murchik
14:03 17-10-2005
только, наверное, экспорт, а не импорт %))
хотя если смотреть как на светофор... %)))

один вопрос: парсишь от "гостя" или от какого-то конкретного юзверя?
elmortem
15:47 17-10-2005
В моём случае скорее всё же импорт. Т.к. тут идёт процесс сграбливания и конверчения в формат RSS. Как если бы вы импортировали это всё в спец.прогу. (:

Парсю от гостя. Т.к. для принт-версии "титулы" побоку! (:
okolot
16:00 28-11-2005
Да скрипт хороший, спасибо.

У меня есть возможность прикрутить скрипт на своем сервере, нельзя ли выложить исходники?
Зачем напрягать Ваш сервер.
elmortem
18:13 28-11-2005
Можно, http://reijii.mirg.ru/?id=1&ind=3.
Программерская отмазка.. (: Делал на скорость, поэтому код по принципу "не трогай - всё работает". А "как" работает - меня не волнует! (:

отредактировано: 28-11-2005 18:24 - ПсихЪ

okolot
18:31 28-11-2005
Гранд мерси.

Перед тем как писать я там смотрел -- не было.

Еще раз спасибо
elmortem
18:46 28-11-2005
Не было, буквально 30 минут назад закинул.. (:
Гость
16:32 21-12-2005
Отлично, спсибо.

Только ещё одна просьба: присобачить рядышком скрипт, который грабит не _юзверя_ а _френдленту_ , которая "bookmarks.php?action=print&userid=***"

Ежли нетрудно, ага.

// pakt
elmortem
16:51 21-12-2005
Подумаю над этим, спасибо за проявленный интерес. (:
Гость
17:03 21-12-2005
ПсихЪ
интерес -- это не то слово )) полдня на розыски убил, прежде чем догадался на камрад зайти )) жаль, http://rssproxy.ru сдох -- там такое парсилось махом.

ps а на том единственном найденном мной бесплатном хостере, который поддерживает fopen, случился облом: инклюдные банеры ломают структуру. Такое лечится, или в морг?

// pakt
elmortem
19:59 21-12-2005
Попробую решить проблему с баннером, но ничего не обещаю.
Юзай пока приведённую мной ссылку, она без баннеров. (:
Френдленту поковыряю, вроде там почти то же самое.
elmortem
21:31 21-12-2005
В качестве теста выложил парсер френд-ленты.
http://reijii.mirg.ru/j/brss.php?userid=22591&count=10

userid - id пользователя, имеющего дневник\клуб на http://journals.ru
count - количество импортируемых записей. Не больше 100

Дату добавлю попозже. Обо всех ошибках - сюда!
elmortem
21:32 21-12-2005
Скорость традиционно оставляет желать лучшего. (:
Гость
22:27 21-12-2005
ПсихЪ
скорость не сильно критична, поскольку, если я все правильно понимаю, яндекс.лента рсс кеширует ) Это значит да, -- в яндекс впихнулось. Только как-то странно лента вылезла -- свежие записи появились, а старых нету. Ну и ладно в принципе. Главное, что всё в куче, всё читается ))

tnx
elmortem
23:32 21-12-2005
Не за что. Может в ближайшее время отполирую. А глючит потому, что так пока время не указывается - оттого невозможно нормально обновить. Всё будет, но позже. (:
okolot
09:22 22-12-2005
Привет.

От меня стандартная просьба, исходники выложишь?
elmortem
12:04 22-12-2005
Уже выложил, в том же архиве. Но там ещё дату нужно сделать. Как сделаю - обновлю.
Гость
18:40 22-12-2005
ПсихЪ не, в яндекс-ленте не пашет. Как на момент добавления ленты была одна запись вчера, так и осталась.

Жду версию с датой )))

// pakt
elmortem
19:50 22-12-2005
Тестите грабилку ленты с датой. Архив с исходниками обновлён. Немного подправлена грабилка самого дневника. Так же прошу обратить внимание на дату в грабилке дневника. Здаётся мне она немного некорректна.
Результаты прошу сюда отписать.
elmortem
23:58 22-12-2005
Умные люди сказали, что с бесплатным хостингом ничё поделать нельзя. XML останется невалидным.. ): Так что либо ищите хостинг без баннеров, либо используйте мою ссылку, заменив значения на нужные вам.
Martin Riggs
21:07 20-01-2006
Молодец!
То, что надо!
Большое спасибо!
elmortem
21:23 20-01-2006
Без проблем, всегда пожалуйста. (:
Я открыт для новых идей по модернизации этого скрипта или написания ещё чего-нибудь не очень сложного. (:
Martin Riggs
16:37 21-01-2006
ПсихЪ это потом
пока что вот
elmortem
17:29 21-01-2006
Martin Riggs
Я так понял, что проблема в том, что предложенный сервис сейчас не пашет? Сочувствую. Я терпеть не могу ЖЖ и даже пальцем не пошевелю, чтобы сделать что-то для этого комьюнити! (:


http://lobster-hunter.livejournal.com/
Martin Riggs
14:27 22-01-2006
крутой лобстер :)

Тот сервис пахал, пока он обрабатывал несколько сотен лент. А сейчас он вынужден ежесуточно пинговать тысячи адресов. Естественно, уже не успевает. А его автор не разделяет идеологии опенсоурс...
elmortem
15:50 22-01-2006
Ну и сам он себе тогда злобный Буратино значит. (:
elmortem
01:56 16-02-2006
Обновление!!!
Исправлен очень неприятный баг!
Новые версии традиционно тут: http://reijii.mirg.ru/?id=1&ind=3
Гость
18:15 03-04-2006
Привет! Я Флинт. Я скачал с помощью твей программы часть своего дневника. Но как же его просмотреть? И потом, я думал, что у меня очень много страниц в дневнике, но у тебя намного обльше! Мотодец!
Гость
18:16 03-04-2006
Извини за опечатки. И спасибо за программу!
elmortem
19:25 03-04-2006
Думаю ты уже во всём сам разобрался... (:
elmortem
19:23 06-05-2006
Из-за некоторых проблем на старом хостинге поменялся адрес сервиса. Обновите свои RSS-ссылки.
Извиняюсь за доставленное беспокойство.
elmortem
19:31 06-05-2006
О, нашёл ошибку. Если в общей ленте есть пост с голосовалкой, то отображается он криво. Исправлять лень. Вот буду свой R&Q RSS Plugin переписывать - вот тогда может и парсинг дневников подправлю. Хотя я решительно не понимаю, зачем такие сложности?

Сомневаюсь, что нижеидещий текст прочитает кто-либо из администрации проекта Journals.ru, но тайно надеюсь на это.
1. Сделать человеческую RSS-трансляцию дневника и ленты друзей не должнобыть для вас проблемой. Ибо это элементарно и позволит более удобно пользоваться предоставляемыми услугами.
2. Сделать человеческую систему аплоада (и последующего их размещения в записях) картинок. Т.е. если не по три за пост. Т.к. если человеку нужно будет показать 10 картинок, то он так или иначе их покажет. В 4 постах. Но зачем это нужно? Когда всё можно сделать более элегантно и красиво. В крайнем случае поставить ограничение на общий размер или количество файлов и дать возможность удалять ненужные.

Эх, всё равно никто не прислушается к голосу разума... ):
DeadMorozz
12:20 17-08-2006
Спасибо громадное ;)
elmortem
02:14 19-08-2006
Не за что... (:
DeadMorozz
11:06 19-08-2006
Mortem а не пробовал с такой фишкой подкатиться с к админам? Просто вопрос.
Я, помнится, долго у админов на ушах висел - дескать, дайте ньюсфид. Отмалчивались. Видимо, rss может сократить количество показов баннеров, а это бабки. Что-то так показалось :yogi:
okolot
11:58 19-08-2006
DeadMorozz -- количество показов баннеров -- это можно обрезать и без rss (например в Опере или Мозиле -- себе лично, или проксиком -- всей фирме)
DeadMorozz
12:06 19-08-2006
okolot фильтр на проксе - это, конечно, пять с плюсом. Но если прикинуть, сколько таких фильтров стоит вообще, и сопоставить с количеством юзеров, которые ходят через дественно чистую проксю, и не жужжат -- количество показов превращается в нефиговый фактор.

Ты сколько знаешь блондинок, которые юзают оперу, лису или мозиллу? А сколько из них баннера в ней запрещают? :lol: Для очень большого числа людей понятия "ворд", "эксель", "интернет" и "почта" - это один большой черный ящик по имени "пуск" или "мой компьютер" :shuffle:

Баннера -- сила :yes:
Но чуваков с джорналсов можно стильно кидать на баннера еще и таким стильным и замысловатым способом: юзать текстовый броузер из консоли, что-то типа lynx.
okolot
13:56 19-08-2006
B]DeadMorozz[/B]
сколько таких фильтров --В Squid фильтр один а записей для блокировки 3294 (в отдельном файле).

через дественно чистую проксю -- юзеры будут ходить через ту проксю, через которую я им поставлю, и будут просить меня, чтобы я почаще пополнял бан-лист, ибо это их трафик, а он у них лимитирован.

знаешь блондинок, которые юзают -- дома блондинка (и не только) пусть юзает, что хочет, а в офисе будет юзать -- то что скажут, в том числе и ОпенОфис.
DeadMorozz
14:04 19-08-2006
okolot ааа, вот оно что.
Хорошо иметь рута и мэйкать проксю так, как нравится :yogi:

А оупенофис - для блондинок является диким шоком. Видал, как народ устраивал бабские забастовки по этой кислой теме из-за того, чтоу них там кнопки не в том месте появились, и вообще всепрапаломама©

А вот, к примеру, из дома кто ходит? Через DSL? :yogi: Я по своей жене сужу: никак не могла перейти с эксплорера на оперу - три года упиралась. И, что характерно, перешла. Но картинки не отключает и с баннерами не борется. Говорит -- а нафига? ;) Дома ведь выделенка стоит, и все такое.

А вот запишусь-ка я к тебе в пч. Рульный ты мужик и уважаю патамушта.
okolot
14:23 19-08-2006
DeadMorozz
бабские забастовки -- очень убедительным аргументом является предложение приобрести для работы МС офис, за свои деньги, а фирме он не нужен, набирать текст вполне можно и в ОпенОфисе.

из дома кто ходит -- дома за свои деньги, и в гораздо меньшем объеме -- личное дело всех и каждого.

запишусь-ка я к тебе -- милости просим
elmortem
15:47 19-08-2006
Харэ флудить! (:
Гость
12:15 31-08-2006
Hi.
Может быть пропустил в комментариях.
Не появилась ли НЕ_print версия дневника (не френдленты)?
Спасибо за информацию.
elmortem
21:48 31-08-2006
Я начинал её писать, но сырцы сейчас в другом городе и я пока не уверен, что попаду туда в ближайший месяц, чтобы доделать её.
Но оно будет, так что следите за обновлениями... (:
elmortem
01:44 21-09-2006
1. Изменена ссылка на RSS.
2. Восстановлен архив для установки скрипта на свой сайт.
3. Исправлены косяки, связанные с изменением дизайна Journals.ru.

На очереди RSS-парсинг основного дизайна. НЕ_print-версии дневников. Уже скоро.

Интересно, кто-нибудь это дело юзает? ^__^
DeadMorozz
10:55 21-09-2006
Mortem я юзаю. С громадным удовольствием, между прочим :shuffle:
elmortem
16:04 21-09-2006
Гут.
Хочу в парсинге основного дизайна сделать ещё и сцылку на аватарку, как в ЖирноЖопковской RSS сделано... (:
Гость
03:56 24-09-2006
Юзает.
НЕ_print-версия - звучит интересно.
2 текущих минуса -
1) сменился ваш хостинг :), а синдикатный аккаунт в жж менять трудно
2) судя по истории поста ты этот самый жж по какой-то причине "не любишь", а было бы классно почистить/поменять парсер: структура тэгов, кажется, не совсем корректная была. Вылезали </p> и типа того.
Но в любом случае спасибо. Удачи в дальнейшей разработке.

http://lyalikov.livejournal.com
elmortem
09:35 24-09-2006
</p> - это скорее всего косяки ЖЖшного аргрегатора. Т.к. именно в таком виде в XML публикуется HTML. (:
А хостинг хоть и сменился, но на старом хостинге я пока удалять файлики не буду. Так что есть время до конца года, чтобы найти, как там сцылка меняется. (:

Спасибо за интерес.
Гость
18:16 24-09-2006
Если старый хостинг работает _до_сих_пор_ по тем же адресам, то это меняет дело.
Проблем несколько:
1) синдикатный аккаунт в жж могут создавать только платные юзеры (и управлять, если управлять, т.е. менять урл, вообще возможно - пытаюсь это сейчас выяснить через знакомого, который как раз создал синдикатный аккаунт).
2) у меня нет жорналс.ру дневника и покупать лишних 500 р нет :)
3) тестить твои скрипты на твоем хостинге тоже затруднительно (&

Описание видимой части проблемы:
1. в августе был создан синдикатный аккаунт в жж:
http://syndicated.livejournal.com/opel_jr/profile
как источник rss был указан твой скрипт для дневника (не френдленты). Точный урл не помню :(, пытаюсь сейчас восстановить.
Адрес соответствующего жорналс.ру дневника:
journals.ru/journals.php?userid=23742
Количество записей для парсера было указано 10.
1 сентября и некоторое время после этого все работало. Кривенько (контент съезжал и содержимое постов было в заголовке, а не в теле. Также тэги плэинтекстом показывались некоторые.) , но вся цепочка работала!
А через некоторое время отвалилось :\
ЖЖ вроде проверяет новые данные раз в день. Текущая ошибка (некорректный rss или xml) указана по тому же адресу:
http://syndicated.livejournal.com/opel_jr/profile

Если сможешь помочь со столь скудным баг репортом - буду признателен.

http://lyalikov.livejournal.com
elmortem
18:39 24-09-2006
Я так не врубился до конца, что же такое синдикатный аккаунт. Но зато ваш пост навёл меня на мысль, что после того, как я исправлял последние ошибки в скрипте, связанные с изменением дизайна жорналса, и переезжал на новый хостинг - забыл обновить скрипты на старом сайте. Обновил. Если это поможет - гут. Нет - попытайтесь объяснить поподробнее, где я накосячил, я постараюсь исправить. (:
Гость
20:59 24-09-2006
Вот! Теперь гораздо лучше :)
Текущий результат (жж-агрегатор обновил данные синдикатного аккаунта час назад. Т.е. прочитал результат твоего рсс) можно видеть в моей жж-френд-ленте:
http://lyalikov.livejournal.com/friends

Нету поротых тэгов, содержание в теле поста, а не в заголовке и проч.
Два пожелания на скорую руку:
сделать так чтобы жж-ссылки:
"link" и "post comment" шли на жорналс.ру, а не в жж. Иначе смысл теряется. Хотя не уверен, что это задается в рсс.

Уточнил адрес с которого сейчас берется рсс:
http://ghostsoftware.ru/reijii/rss....=23742&count=10

Он, если я правильно понял, не будет обновляться и к новому году совсем закроется?
Проблема в том, что возможно синдикатный аккаунт (ссылку на рсс) обновлять нельзя. Точно пока не знаю. А его уже зафрендили жж-френды опеля. В ходе целенаправленной трудоемкой "рекламной компании" ; )

Примечание: жж-синдикатный аккаунт - это жж-юзер, которого можно создать, но нельзя изменять. При создании (а создать его может только платный :( жж-юзер) указывается линк валидного рсс. С него жж-движок потом раз в день собирает инфу. А другие жж-юзеры могут фрэндить синдикатный аккаунт - что удобно : можно читать посты друга с жорналс в своей жж-френдленте.

http://lyalikov.livejournal.com
elmortem
00:39 25-09-2006
На счёт невозможности изменить - соболезную, но ничем помочь не могу. Старый хостинг пренадлежит не мне и продлевать его пока никто не собирается. Хотя вполне возможно, что продлят.

"link" и "post comment" - чисто ЖЖшные фишки, тут я ничем помочь не могу. ):

Как вариант - купить свой хостинг, скачать скрипт импорта, залить его на свой сайт и не зависить от моих заморочек. (:

А ваще: ЖЖ - отстой! ^______^
Гость
16:50 07-10-2006
до "нового года" http://ghostsoftware.ru/reijii/rss.php?userid=... не дожил. Уже не отвечает.
elmortem
21:34 07-10-2006
Ну, видимо такова судьба...
Есть желание оплатить домен? ^___^
Гость
16:07 09-10-2006
нету : )
пытаюсь прикрутить новый урл...
кстати новый на сколько расчитан ориентировочно? (http://elmortem.mirgames.ru/tools/rss.php?...)
Гость
16:57 09-10-2006
в супорте поменяли урл. Теперь если http://elmortem.mirgames.ru/tools/rss.php?... не отвалится - все ок будет : )
спасибо за комментарии и помощь.
elmortem
00:37 10-10-2006
Ну тот хостинг у меня по знакомству, так что если я надолго из Сети не пропаду или у тех ребят каких-нибудь фатальных проблем не возникнет - то всё будет нормально. Т.е. я надеюсь НАДОЛГО. (:
Приятного юзания.
elmortem
04:12 12-10-2006
Для пользователя http://lyalikov.livejournal.com (:
Не мог бы ты создать и для меня синдикатный аккаунт на ЖЖ, раз уж ты платник там. (:
А то мои знакомые тож хотят меня читать, но платников там нету нифига. Если можешь с этим помочь - буду очень признателен. ^___^
Гость
13:22 26-10-2006
я тоже не платник. В этом одна из проблем.
Вопрос: тебе на reijiisobakadarthmancom приходят письма? Я парочку послал. А то в форуме не очень удобно : )
elmortem
21:16 01-11-2006
Просто я тут малость переезжаю и поэтому писем пока ещё не читал. А так-то да, приходят. (:
Постараюсь в ближайшее время прочитать всё.
kaveeva
19:14 02-11-2006
да, весьма полезная фича. она что-то у меня не вполне работает, очень бы хотелось. ЖЖ геморный какой-то :/
elmortem
13:35 08-11-2006
Я сейчас на жопорезке торчу. Как только человеческий инет появится - буду разбираться. Если кому не влом - гляньте в валидаторах всяких, чего там не так, и где косяки. Сдаётся мне опять администрация чего-то там с дизигном натворила. Хотя могу ошщибаться...
Murchik
14:03 08-11-2006
нормально всё, злые языки врут %))