Могут ли забанить робота?
Пользователи, просматривающие топик: none
|
Зашли как: Guest
|
Имя  |
| Сообщение |
<< Старые топики Новые топики >> |
|
|
Могут ли забанить робота? - 2007-10-18 18:47:11.480000
|
|
|
evshi
Сообщений: 4
Оценки: 0
Присоединился: 2006-11-10 23:02:22.270000
|
Предложили сделать робота, который будет по расписанию ходить на сайт и смотреть, обновились ли новости.
Проблем в реализации подобного скрипта не вижу. Не понятно только одно - могут ли его забанить владельцы сайта, где робот будет проверять новости? Точнее даже не то, что могут или не могут (понятно, что могут), а как они его могут вычислить? Посещаемость сайта несколько тысяч уников в сутки. Роботу необходимо делать порядка 30 заходов в сутки. Т.к. запускаться планирую по крону, то обращения будут, примерно раз в час.
1) Какого вероятность, что его отловят, если я буду отдавать корректный user-agent, делать заходы в определенно время, раз в час?
2) Существуют ли какие-нибудь средства, отлавливающие посещаемость одних и тех же запросов в одно и тоже время? Если да, то что это за средства?
|
|
|
|
|
RE: Могут ли забанить робота? - 2007-10-18 18:55:36.630000
|
|
|
dx
Сообщений: 337
Оценки: 0
Присоединился: 2006-12-15 13:35:49.700000
|
1) сделай, чтоб он заходил не строго по расписанию, а с некоторым рандомом, например, +-20 мин
2) юзер-агента выбирай из некоторого списка опять-таки рандомом.
Тогда я думаю не отловят точно.
|
|
|
|
|
RE: Могут ли забанить робота? - 2007-10-19 13:57:51.183333
|
|
|
evshi
Сообщений: 4
Оценки: 0
Присоединился: 2006-11-10 23:02:22.270000
|
quote:
ORIGINAL: dx
1) сделай, чтоб он заходил не строго по расписанию, а с некоторым рандомом, например, +-20 мин
2) юзер-агента выбирай из некоторого списка опять-таки рандомом.
Тогда я думаю не отловят точно.
1) Не уверен, что так можно, т.к. хостер в crone, кажется, не предоставляет запуск по рандому, а только в четко назначенное время. В самом скрипте (PHP) тоже особо не разойдешься, т.к. execute time limit = 30 секунд.
|
|
|
|
|
RE: Могут ли забанить робота? - 2007-10-19 15:42:39.790000
|
|
|
dx
Сообщений: 337
Оценки: 0
Присоединился: 2006-12-15 13:35:49.700000
|
time limit можно сделать неограниченным: set_time_limit(0);
(Если эта функция разрешена)
А вообще, я думаю, если user-agent менять рандомно, то уже вычислить, что это бот, будет очень сложно
|
|
|
|
|
RE: Могут ли забанить робота? - 2007-10-19 15:52:59.440000
|
|
|
0v3r10rd
Сообщений: 211
Оценки: 0
Присоединился: 2007-06-28 18:47:52.503333
|
товарищ dx сказал верно рандом, ещё crone умеют рандомизироваться сами…
ещё такой нюанс робот сра3у в страницу новостей а большинство юзеров заходят с главной…
если правильно настроить то по идее не должен спалиться
|
|
|
|
|
RE: Могут ли забанить робота? - 2007-10-19 19:37:55.773333
|
|
|
evshi
Сообщений: 4
Оценки: 0
Присоединился: 2006-11-10 23:02:22.270000
|
quote:
ORIGINAL: dx
time limit можно сделать неограниченным: set_time_limit(0);
(Если эта функция разрешена)
А вообще, я думаю, если user-agent менять рандомно, то уже вычислить, что это бот, будет очень сложно
я все волнуюсь, что вычислят по IP. Ведь если рандомно запускать не получится (они этого не предоставляют), то запуск будет примерно в одно и тоже время (могу чуть-чуть рандомизировать за счет set_time_limit=30). Наверняка есть какие-нубудь средства, отслеживающие подобные штуки. Тем более если у меня будет 3-5 запросов за запуск одного скрипта, то влогах это будет очень хорошо видно по IP и случайный UA здесь не поможет, т.к. они могут зайти по полученному IP и увидеть, что это сервер, а не человек…
Кстати, кажется cron вообще не умеет рандомно запускаться. Пробовал в гугле искать на эту тему, не нашел. Может дать ссылку или пример?
Потом если еще имитировать путь пользователя (главная-новости-подробный просмотр), то 30 сек. точно не хватит:((((
|
|
|
|
|
RE: Могут ли забанить робота? - 2007-10-19 20:11:12.640000
|
|
|
dx
Сообщений: 337
Оценки: 0
Присоединился: 2006-12-15 13:35:49.700000
|
quote:
я все волнуюсь, что вычислят по IP
Юзай curl и прокси
quote:
cron вообще не умеет рандомно запускаться
Cron запускает команды или скрипты строго по расписанию заданному
А вообще - неужели админам так надо выслеживать этого робота? Если они так трясутся за свои новости, то зачем же тогда они вообще выкладывают их в инет?
|
|
|
|
|
RE: Могут ли забанить робота? - 2007-10-19 23:06:11.780000
|
|
|
mxxm
Сообщений: 253
Оценки: 0
Присоединился: 2004-03-13 08:39:42
|
А вот я не согласен с тем, что надо изменять user-agent. Ведь IP-то не меняется.
Это выходит "Человек интересующийся новостями заходит раз в час со своего компьютера, но меняет браузеры…"
Подозрительно.
Вот если бы каждому IP, с которого делается запрос, соответствовал свой User-Agent, тогда другое дело.
|
|
|
|
|
RE: Могут ли забанить робота? - 2007-10-20 13:27:37.110000
|
|
|
dx
Сообщений: 337
Оценки: 0
Присоединился: 2006-12-15 13:35:49.700000
|
Вообще-то на одном ip могут сидеть 100 человек. Число ip адресов ограничено, поэтому ничего подозрительного в этом нет.
|
|
|
|
|
RE: Могут ли забанить робота? - 2007-10-21 03:34:00.466666
|
|
|
furiousangel
Сообщений: 1116
Оценки: 0
Присоединился: 2005-05-28 06:31:47
|
ага… у нас так вся общага под одним ипом сидит… неудобно…. рядом сидит друг с компом… когда в ганджу рубились (еще с гпрс) то могли заходить в один бой, и организованно валить врага… а щас даже в боях друг друга не видим:D:D:D:D
|
|
|
|
|
RE: Могут ли забанить робота? - 2007-10-24 01:13:32.860000
|
|
|
mxxm
Сообщений: 253
Оценки: 0
Присоединился: 2004-03-13 08:39:42
|
quote:
Вообще-то на одном ip могут сидеть 100 человек. Число ip адресов ограничено, поэтому ничего подозрительного в этом нет.
Такое бывает, когда все сидят через прокси или vpn провайдера. (У меня нет ни того, ни другого. Слава Богу!) Вот я и не подумал. Но прокси - это повод для дополнительных размышлений по поводу http-запроса, может роботу следует изображать прокси-сервер, через который заходят все пользователи…
|
|
|
|
|
|
