Хочу написать поисковик
Пользователи, просматривающие топик: none
|
Зашли как: Guest
|
Имя  |
| Сообщение |
<< Старые топики Новые топики >> |
|
|
Хочу написать поисковик - 2009-02-06 16:13:27.950000
|
|
|
azimzaim
Сообщений: 320
Оценки: 0
Присоединился: 2009-01-04 22:14:32.760000
|
Я знаю, что вы скажете, что я раскатал губу… Возможно, но иногда там "нудно" самому серфать нэт, что бы найти что-то интересное. Я знаю, что поисковая система стоят ОООООООГРОМЕНЙШИЕ деньги, но все же может кто-то хоть небольшим скриптиком поделится. Смысл в том, что бы скрипт скачивал сайт, находил то, что просят, находил рилейтив УРЛ и шел по ним дальше.
Принципе ничего сложного, но я не знаю, как сказать боту скопировать код индекс страницы какого-то сайта, а дальше все будет просто.
|
|
|
|
|
RE: Хочу написать поисковик - 2009-02-06 17:21:57.353333
|
|
|
kristalsummers
Сообщений: 63
Оценки: 0
Присоединился: 2008-11-28 19:38:12.070000
|
:D:D
ты реально думаешь что поисковик состоит из одного паука и обработчика? Или тебе обычный парсер нужен?
Такие задачи во первых на php не пишутся, а делаются в основном на прикладном уровне зачастую на C. Как и морфологические анализаторы, и другие составные. Поэтому это и называется _Система_.
> как сказать боту скопировать код индекс страницы
ты о file_get_contents(сайт) говоришь )) или что? Не понятно предложение.
|
|
|
|
|
RE: Хочу написать поисковик - 2009-02-06 19:51:14.230000
|
|
|
magistr_bender
Сообщений: 977
Оценки: 0
Присоединился: 2008-02-22 20:10:21.133333
|
file_get_contents
вещь то хорошая, но для таких целей лучше пользоваться сокетами на мой взгляд… тем более не все хостеры поддерживают данную функцию
кстати.. задача на самом то деле на пхп решается очень просто и для маленького поисковичка С нафиг ненадо…
Masun почитай мою тему про парсер… писал дня два назад.. может на чтото и натолкнёт :)
вообще я сам щас занимаюсь написанием подобной весчи :) и могу подсказать если что как реализовать то что ты хочеш. у меня например есть скрипт для рекурсивного перебора всех ссылокна сайте и индексации страниц находящихся на этих ссылках… а поиск сделать потом по полученным индексам не так уж и сложно..я какраз пишу скрипт поиска по индексам :) могу поделиться как напишу.. или читай этот раздел на днях выложу
|
|
|
|
|
RE: Хочу написать поисковик - 2009-02-06 20:02:01.070000
|
|
|
oRb
Сообщений: 4044
Оценки: 597
Присоединился: 2007-03-28 18:45:06.630000
|
quote:
тем более не все хостеры поддерживают данную функцию
чо чо?
По сабжу: бред. ТС просто не догадывается какие это расходы.
|
|
|
|
|
RE: Хочу написать поисковик - 2009-02-06 20:06:13.626666
|
|
|
magistr_bender
Сообщений: 977
Оценки: 0
Присоединился: 2008-02-22 20:10:21.133333
|
quote:
ORIGINAL: oRb
quote:
тем более не все хостеры поддерживают данную функцию
чо чо?
тебе смешно?
вот каков был ответ например на укрхостинге на запрос о переконфигурировании
quote:
От: support@ukrhosting.com
Кому: ***********@enabea.com>
Тема: Re: переконфигурированиее сервера #405507
Дата: Tue, 03 Feb 2009 16:45:11 +0200
Tech Support has replied to your ticket 'переконфигурированиее сервера'.
======8<========= Cut Here =========8<======
Assigned To: Viktoriya Burlaka
[February 3, 2009, 4:45 pm]
Answer: Здравствуйте!
allow_url_fopen выключено из соображений безопасности и стабильности.
и включить они категорически отказываются
|
|
|
|
|
RE: Хочу написать поисковик - 2009-02-06 20:57:38.110000
|
|
|
stalker2011
Сообщений: 315
Оценки: 0
Присоединился: 2008-11-21 11:49:42.400000
|
У тебя хоть какой камп? Тут серверы нужны, интернет хорошый, а ето большые расходы.
|
|
|
|
|
RE: Хочу написать поисковик - 2009-02-06 21:52:16.960000
|
|
|
kristalsummers
Сообщений: 63
Оценки: 0
Присоединился: 2008-11-28 19:38:12.070000
|
magistr_bender тут речь не об этом, поддерживает хостер или нет конкретные директивы настроек, вы бы еще бы на народ.ру поставили свой "поисковик". Просто oRb прав. Вы либо не представляете сами обработчики, либо предполагаете что сервер на связке PHP и MySQL вытянет нагрузки с несколько миллионов записей, и сложные вычисления индексов и их позиций. А несколько миллионов это как раз и не большие поисковички.
и да рекурсивный перебор(примеры) лежит почти в каждой функции для работы с файлами в манах php, смотрите маны. Их сюда копипастить смысла нет.
magistr_bender ясно у тебя обычный парсер, причем тут "маленький поисковичок" не ясно.
|
|
|
|
|
RE: Хочу написать поисковик - 2009-02-06 22:52:55.546666
|
|
|
Cep}|{
Сообщений: 1396
Оценки: 0
Присоединился: 2007-06-26 01:11:51.416666
|
quote:
тем более не все хостеры поддерживают данную функцию Ха-ха, у хостера решил запустить скрипт, который будет и днем и ночью индексить все ))))
Вот приколист…
|
|
|
|
|
RE: Хочу написать поисковик - 2009-02-07 00:20:48.740000
|
|
|
magistr_bender
Сообщений: 977
Оценки: 0
Присоединился: 2008-02-22 20:10:21.133333
|
quote:
ORIGINAL: Cep}|{
quote:
тем более не все хостеры поддерживают данную функцию Ха-ха, у хостера решил запустить скрипт, который будет и днем и ночью индексить все ))))
Вот приколист…
ненуашо.:)
помоиму очень интересная идея :)
и канал хороший и не напрягает..
|
|
|
|
|
RE: Хочу написать поисковик - 2009-02-07 00:41:52.243333
|
|
|
kernel357
Сообщений: 17
Оценки: 0
Присоединился: 2009-01-18 20:14:02.376666
|
ExtremeExecutive.Limited.Edition.v7.0
|
|
|
|
|
RE: Хочу написать поисковик - 2009-02-07 19:46:22.986666
|
|
|
oRb
Сообщений: 4044
Оценки: 597
Присоединился: 2007-03-28 18:45:06.630000
|
quote:
ORIGINAL: magistr_bender
quote:
ORIGINAL: oRb
quote:
тем более не все хостеры поддерживают данную функцию
чо чо?
тебе смешно?
вот каков был ответ например на укрхостинге на запрос о переконфигурировании
quote:
От: support@ukrhosting.com
Кому: ***********@enabea.com>
Тема: Re: переконфигурированиее сервера #405507
Дата: Tue, 03 Feb 2009 16:45:11 +0200
Tech Support has replied to your ticket 'переконфигурированиее сервера'.
======8<========= Cut Here =========8<======
Assigned To: Viktoriya Burlaka
[February 3, 2009, 4:45 pm]
Answer: Здравствуйте!
allow_url_fopen выключено из соображений безопасности и стабильности.
и включить они категорически отказываются
ты уже определись про что говоришь: про функцию или про конфигурационные директивы.
|
|
|
|
|
RE: Хочу написать поисковик - 2009-02-08 02:04:46.026666
|
|
|
azimzaim
Сообщений: 320
Оценки: 0
Присоединился: 2009-01-04 22:14:32.760000
|
quote:
ORIGINAL: oRb
quote:
тем более не все хостеры поддерживают данную функцию
чо чо?
По сабжу: бред. ТС просто не догадывается какие это расходы.
конечно знаю. В обед запускаешь бота, а к вечеру приходит сообщение на почту, что у вас осталось 5% свободного места на хостинге :D. А нагрузка не сервер меня не волнует, я же плачу за него, пусть это волнует хостинг-провайдера.
|
|
|
|
|
RE: Хочу написать поисковик - 2009-02-08 06:20:06.660000
|
|
|
kristalsummers
Сообщений: 63
Оценки: 0
Присоединился: 2008-11-28 19:38:12.070000
|
quote:
А нагрузка не сервер меня не волнует, я же плачу за него, пусть это волнует хостинг-провайдера.
С таким отношением будет 3 варианта:
а) Если нормальный провайдер, то попросит отключить скрипт ссылаясь на нагрузку.
б) Снизит пропускной канал на инет.
в) Если вариант А не выполнишь. Снесет все и скажет что бэкапа нет. Сервер дал сбой дампы БД пропали или сломали.
И ничего не докажешь. Все взято из жизни и не только на мелких хостах. Крупные даже чаще так делают.
|
|
|
|
|
RE: Хочу написать поисковик - 2009-02-08 13:57:30.570000
|
|
|
magistr_bender
Сообщений: 977
Оценки: 0
Присоединился: 2008-02-22 20:10:21.133333
|
quote:
ORIGINAL: oRb
ты уже определись про что говоришь: про функцию или про конфигурационные директивы.
вообщето без этой дериктивы та функция не работает :)
|
|
|
|
|
RE: Хочу написать поисковик - 2009-02-08 15:50:31.763333
|
|
|
oRb
Сообщений: 4044
Оценки: 597
Присоединился: 2007-03-28 18:45:06.630000
|
quote:
ORIGINAL: kristalsummers
quote:
А нагрузка не сервер меня не волнует, я же плачу за него, пусть это волнует хостинг-провайдера.
С таким отношением будет 3 варианта:
а) Если нормальный провайдер, то попросит отключить скрипт ссылаясь на нагрузку.
б) Снизит пропускной канал на инет.
в) Если вариант А не выполнишь. Снесет все и скажет что бэкапа нет. Сервер дал сбой дампы БД пропали или сломали.
И ничего не докажешь. Все взято из жизни и не только на мелких хостах. Крупные даже чаще так делают.
Еще проще, стоит специальная система, которая рубит прожорливые процессы.
quote:
ORIGINAL: magistr_bender
quote:
ORIGINAL: oRb
ты уже определись про что говоришь: про функцию или про конфигурационные директивы.
вообщето без этой дериктивы та функция не работает :)
она используется не только для http протокола.
|
|
|
|
|
RE: Хочу написать поисковик - 2009-02-11 15:54:21.710000
|
|
|
azimzaim
Сообщений: 320
Оценки: 0
Присоединился: 2009-01-04 22:14:32.760000
|
А вы не думали, что поисковик можно запустим на localhoste и парсить результаты по FTP при помощи скрипта, который был описан на форуме не помню кем пару страниц назад. При этом вы не только не спалите свой хост, но и не будете его нагружать.
|
|
|
|
|
|
