14-03-2006 14:00 LocalSearch
Тем временем, пока caliban делает свой чудо-юдо индексёр, я проведу вас окольной варезной тропой прямиком в те кущи, в которых я пасусь уже незнамо сколько времени.
Блин, кто б знал, что народу это нужно. Я б ещё год назад поделился )))
Фигура первая.
Мало (пока что) чего понимая, полюбоваться на скриншот1:
Фигура вторая.
Пройти на кпнемо и скачать нужный софт (~2мб).
Фигура третья.
Воспользоваться программой. Методом дружелюбного пошагового мастера натравить её на индексируемый сайт.
Т.к. у меня journals зарублен файрволом, я натравливал софтину по ip-адресу. Через час понял, что если что-нибудь не предприму, она проиндексирует мне весь journals с камрадом впридачу. Остановил принудительно. База получилась 42 метра (см. скриншот1)
Фигура четвертая.
Воспользоваться получившейся базой. Полюбоваться на скриншот2:
Для лучшего результата ознакомиться с синтаксисом.
***
Крутить фонарики.
Блин, кто б знал, что народу это нужно. Я б ещё год назад поделился )))
Фигура первая.
Мало (пока что) чего понимая, полюбоваться на скриншот1:
Фигура вторая.
Пройти на кпнемо и скачать нужный софт (~2мб).
Фигура третья.
Воспользоваться программой. Методом дружелюбного пошагового мастера натравить её на индексируемый сайт.
Т.к. у меня journals зарублен файрволом, я натравливал софтину по ip-адресу. Через час понял, что если что-нибудь не предприму, она проиндексирует мне весь journals с камрадом впридачу. Остановил принудительно. База получилась 42 метра (см. скриншот1)
Фигура четвертая.
Воспользоваться получившейся базой. Полюбоваться на скриншот2:
Для лучшего результата ознакомиться с синтаксисом.
***
Крутить фонарики.
Комментарии:
the_Dark_One
14-03-2006 14:06
Дневник • Хочухи • Профиль
Жжошь, сцуко.
И молчал. :D
И молчал. :D
мичман
в отставке
в отставке
necros см. второй абзац )
Мда, забавная шняга...
Но хороша ложка к обеду: когда было надо, не знал. Теперь же в цЫтатник, вдруг опять понадобится?
Спасибо
Но хороша ложка к обеду: когда было надо, не знал. Теперь же в цЫтатник, вдруг опять понадобится?
Спасибо
Ура! только я попробовал тот индексер, кот. он делал и возник вопрос: а в чем цимес-то?
мичман
в отставке
в отставке
Великий Комендаторе дык в поиске и цимес. Вот помнишь, что чёто где-то было в записях/каментах, а где точно - не помнишь. А тут - хопана - и нашлось.
pakt ууу, а я то думал,что чего-то грандиозное упустил))) вообще, полезная конечно вещь.
very useful...
в цитатник однозначно 
pakt, вот, стоит отвлечься на денёк... Сразу как понаписывают гадостей... А мне отмазываться. :)
Ладно, отброшу неконструктивные «я что, дурак, да?» или «сам дурак!».
У меня, к сожалению, сейчас ужас-ужас на работе и не на работе, потому я пока не скачивал и не смотрел на этот поиск изнутри. Там тоже вопросы: есть ли индексатор под что-то, кроме Windows (у меня дома небезлимитный дорогой трафик, в отличие от моего сервера), как он хранит индекс (в своём формате, как я понял из их сайта), какими способами в нём ищет etc.
Потому скажу только про одно. journals.org.ua лучше потому, что он предназначен для дневников Journals.ru, а не для сайтов вообще. Search Engine Studio, в самом лучшем случае, будет как Яндекс (если представить, что Яндекс проиндексировал те дневники, что вы ему указали) — он индексирует (а потом ищет) веб-странички, а не дневниковые записи.
Написать подобный «индексатор» займёт даже меньше получаса:
1. $s = file_get_contents($url)
2. Выделяем список ссылок для рекурсивного повторения этого всего.
3. $s = strip_tags($s);
4. Ложим текст в БД, указывая УРЛ и время индексации.
5. Рекурсивно повторяем пп. 1-4 для каждой найденной в тексте ссылки.
Всё, 20-30 строчек кода.
Мой же индексатор узнаёт, где тут запись, где автор, где дата написания записи, где её группы и сколько у неё комментариев. Потому на индексатор я потратил не полчаса, а выходные (и ещё есть что улучшать, см. todo). Поэтому вторая часть сервиса (собственно, поиск по проиндексированным записям) оперирует другими сущностями: запись, камрад, дневник, комментарий, группа (а не «веб-страница» и «УРЛ», как и Яндекс, и все эти поиски, которые я ставил много раз по работе). Благодаря этому, можно давать пользователям разнообразную интересную информацию о связях между этими сущностями (например, облако дневников).
Такие дела.
Ладно, отброшу неконструктивные «я что, дурак, да?» или «сам дурак!».
У меня, к сожалению, сейчас ужас-ужас на работе и не на работе, потому я пока не скачивал и не смотрел на этот поиск изнутри. Там тоже вопросы: есть ли индексатор под что-то, кроме Windows (у меня дома небезлимитный дорогой трафик, в отличие от моего сервера), как он хранит индекс (в своём формате, как я понял из их сайта), какими способами в нём ищет etc.
Потому скажу только про одно. journals.org.ua лучше потому, что он предназначен для дневников Journals.ru, а не для сайтов вообще. Search Engine Studio, в самом лучшем случае, будет как Яндекс (если представить, что Яндекс проиндексировал те дневники, что вы ему указали) — он индексирует (а потом ищет) веб-странички, а не дневниковые записи.
Написать подобный «индексатор» займёт даже меньше получаса:
1. $s = file_get_contents($url)
2. Выделяем список ссылок для рекурсивного повторения этого всего.
3. $s = strip_tags($s);
4. Ложим текст в БД, указывая УРЛ и время индексации.
5. Рекурсивно повторяем пп. 1-4 для каждой найденной в тексте ссылки.
Всё, 20-30 строчек кода.
Мой же индексатор узнаёт, где тут запись, где автор, где дата написания записи, где её группы и сколько у неё комментариев. Потому на индексатор я потратил не полчаса, а выходные (и ещё есть что улучшать, см. todo). Поэтому вторая часть сервиса (собственно, поиск по проиндексированным записям) оперирует другими сущностями: запись, камрад, дневник, комментарий, группа (а не «веб-страница» и «УРЛ», как и Яндекс, и все эти поиски, которые я ставил много раз по работе). Благодаря этому, можно давать пользователям разнообразную интересную информацию о связях между этими сущностями (например, облако дневников).
Такие дела.
caliban
> у меня дома небезлимитный дорогой трафик, в отличие от моего сервера
Что закачивать самому не надо - это приятно!
TODO: Хм, а так чтобы с куками, или хотя бы завел тестового пользователя на journals и под него для всех организовал поиск с уровнем доступа "пользователь journals.ru"?
> у меня дома небезлимитный дорогой трафик, в отличие от моего сервера
Что закачивать самому не надо - это приятно!
TODO: Хм, а так чтобы с куками, или хотя бы завел тестового пользователя на journals и под него для всех организовал поиск с уровнем доступа "пользователь journals.ru"?
Brig
а так чтобы с куками
Что с куками?
или хотя бы завел тестового пользователя на journals и под него для всех организовал поиск с уровнем доступа "пользователь journals.ru"
То есть: «журнал мой открыт только для зарегистрированных, а искать в нём могут все», да?
а так чтобы с куками
Что с куками?
или хотя бы завел тестового пользователя на journals и под него для всех организовал поиск с уровнем доступа "пользователь journals.ru"
То есть: «журнал мой открыт только для зарегистрированных, а искать в нём могут все», да?
caliban да, неувязочка...