Как разпознать бота на РНР
Пользователи, просматривающие топик: none
|
Зашли как: Guest
|
Имя  |
| Сообщение |
<< Старые топики Новые топики >> |
|
|
Как разпознать бота на РНР - 2007-07-22 15:00:30.106666
|
|
|
Bios_inside
Сообщений: 626
Оценки: 0
Присоединился: 2007-02-23 10:44:18.170000
|
107
|
|
|
|
|
RE: Как разпознать бота на РНР - 2007-07-22 15:09:37.630000
|
|
|
Technologist
Сообщений: 3590
Оценки: 0
Присоединился: 2006-10-28 20:28:06.943333
|
Поищи код в исходнике IPB :)
|
|
|
|
|
RE: Как разпознать бота на РНР - 2007-07-22 15:53:01.553333
|
|
|
DiFor
Сообщений: 49
Оценки: 0
Присоединился: 2007-05-26 15:45:17.710000
|
Включить моск и скурить ман по $_SERVER, а конкретно по $_SERVER['USER_AGENT']
|
|
|
|
|
RE: Как разпознать бота на РНР - 2007-08-03 01:20:11.140000
|
|
|
3N3RJ1
Сообщений: 215
Оценки: 0
Присоединился: 2007-06-05 02:38:12.423333
|
quote:
ORIGINAL: Bios_inside
Скажите пожалуста как на РНР выяснить, что вашу страницу посетил гуглбот, яндексбот и другие боты???
Лутше всего напишите кодом
А тебе зачем ето надо? Статистику наваять хочешь? Или что?
|
|
|
|
|
RE: Как разпознать бота на РНР - 2007-08-03 12:17:40.670000
|
|
|
Bios_inside
Сообщений: 626
Оценки: 0
Присоединился: 2007-02-23 10:44:18.170000
|
108
|
|
|
|
|
RE: Как разпознать бота на РНР - 2007-08-03 12:29:42.036666
|
|
|
Crack_Master
Сообщений: 1622
Оценки: 0
Присоединился: 2007-01-10 20:23:25.416666
|
на форумах внизу страницы показывается…
|
|
|
|
|
RE: Как разпознать бота на РНР - 2007-08-03 16:44:46.046666
|
|
|
michey
Сообщений: 295
Оценки: 0
Присоединился: 2006-11-22 16:31:33.043333
|
если я правильно понял,то тебя интересует индексируют твой сайт или нет…
Если да,то в самом распространенном веб-сервере Apache'е это делается по средством конфигурирования самого веб-сервера!
|
|
|
|
|
RE: Как разпознать бота на РНР - 2007-08-03 18:54:43.236666
|
|
|
furiousangel
Сообщений: 1116
Оценки: 0
Присоединился: 2005-05-28 06:31:47
|
Короче пару номеров назад Крис выложил имена основных поисковых ботов. ищи в ХА от 95 до 99 номера статью чет типа у гугла под колпаком или чет в этом роде (точно не помню, давно это было)
|
|
|
|
|
RE: Как разпознать бота на РНР - 2007-08-03 21:09:40.026666
|
|
|
Yashin
Сообщений: 964
Оценки: 0
Присоединился: 2007-05-09 20:18:01.153333
|
quote:
ORIGINAL: Bios_inside
quote:
ORIGINAL: 3N3RJ1
quote:
ORIGINAL: Bios_inside
Скажите пожалуста как на РНР выяснить, что вашу страницу посетил гуглбот, яндексбот и другие боты???
Лутше всего напишите кодом
А тебе зачем ето надо? Статистику наваять хочешь? Или что?
Ну впринципе статистика нужна. Хотя я не совсем понимаю что ты подразумиваеш под словом "наваять"? Мне просто интересно куда лазят поисковые боты на моем сайте, а куда нет, и что их больше всего интересует.
Да мир перевернулся, люди уже сами ничего не хотят, вслед за форумами для ботов начинают появлятся сайты для Ботов.
|
|
|
|
|
RE: Как разпознать бота на РНР - 2007-08-03 22:16:02.593333
|
|
|
Bios_inside
Сообщений: 626
Оценки: 0
Присоединился: 2007-02-23 10:44:18.170000
|
109
|
|
|
|
|
RE: Как разпознать бота на РНР - 2007-08-04 01:49:28.633333
|
|
|
DiFor
Сообщений: 49
Оценки: 0
Присоединился: 2007-05-26 15:45:17.710000
|
$bot_list = array ("googlebot", "slurp@inktomi", "archive_org", "Ask Jeeves", "Lycos", "WhatUSeek", "ia_archiver", "GigaBlast", "Gigabot", "Yandex", "Yahoo!", "Yahoo-MMCrawler", "TurtleScanner", "TurnitinBot", "ZipppBot", "StackRambler", "oBot", "rambler", "Jetbot", "NaverBot", "libwww", "aport", "msnbot", "MnoGoSearch", "booch", "Openbot", "scooter", "WebCrawler", "WebZIP", "GetSmart", "grub-client", "Vampire", "appie", "architext", "jeeves", "bjaaland", "ferret", "googlebot", "gulliver", "harvest", "htdig", "linkwalker", "lycos_", "moget", "muscatferret", "myweb", "nomad", "scooter", "voyager", "weblayers", "antibot", "digout4u", "echo", "fast-webcrawler", "ia_archiver", "jennybot", "mercator", "msnbot", "netcraft", "petersnews", "unlost_web_crawler", "voila", "webbase", "wisenutbot", "fish", "abcdatos", "acme.spider", "ahoythehomepagefinder", "alkaline", "anthill", "arachnophilia", "arale", "araneo", "aretha",
"ariadne", "arks", "aspider", "atn.txt", "atomz", "auresys", "backrub", "bbot", "bigbrother", "blackwidow", "blindekuh", "bloodhound", "borg-bot", "brightnet", "bspider", "cactvschemistryspider", "calif", "cassandra", "cgireader", "checkbot", "christcrawler", "churl", "cienciaficcion", "collective", "combine", "conceptbot", "coolbot", "core", "cosmos", "cruiser", "cusco", "cyberspyder", "desertrealm", "deweb", "dienstspider", "digger", "diibot", "direct_hit", "dnabot", "download_express", "dragonbot", "dwcp", "e-collector", "ebiness", "elfinbot", "emacs", "emcspider", "esther", "evliyacelebi", "fastcrawler", "fdse", "felix", "fetchrover", "fido", "finnish", "fireball", "fouineur", "francoroute", "freecrawl", "funnelweb", "gama", "gazz", "gcreep", "getbot", "geturl", "golem", "grapnel", "griffon", "gromit", "gulperbot", "hambot",
"havindex", "hometown", "htmlgobble", "hyperdecontextualizer", "iajabot", "iconoclast", "ilse", "imagelock", "incywincy", "informant", "infoseek", "infoseeksidewinder", "infospider", "inspectorwww", "intelliagent", "irobot", "iron33", "israelisearch", "javabee", "jbot", "jcrawler", "jobo", "jobot", "joebot", "jubii", "jumpstation", "kapsi", "katipo", "kilroy", "ko_yappo_robot", "labelgrabber.txt", "larbin", "legs", "linkidator", "linkscan", "lockon", "logo_gif", "macworm", "magpie", "marvin", "mattie", "mediafox", "merzscope", "meshexplorer", "mindcrawler", "mnogosearch", "momspider", "monster", "motor", "muncher", "mwdsearch", "ndspider", "nederland.zoek", "netcarta", "netmechanic", "netscoop", "newscan-online", "nhse", "northstar", "nzexplorer", "objectssearch", "occam", "octopus", "openfind", "orb_search", "packrat", "pageboy",
"parasite", "patric", "pegasus", "perignator", "perlcrawler", "phantom", "phpdig", "piltdownman", "pimptrain", "pioneer", "pitkow", "pjspider", "plumtreewebaccessor", "poppi", "portalb", "psbot", "python", "raven", "rbse", "resumerobot", "rhcs", "road_runner", "robbie", "robi", "robocrawl", "robofox", "robozilla", "roverbot", "rules", "safetynetrobot", "search-info", "search_au", "searchprocess", "senrigan", "sgscout", "shaggy", "shaihulud", "sift", "simbot", "site-valet", "sitetech", "skymob", "slcrawler", "smartspider", "snooper", "solbot", "speedy", "spider_monkey", "spiderbot", "spiderline", "spiderman", "spiderview", "spry", "ssearcher", "suke", "suntek", "sven", "tach_bw", "tarantula", "tarspider", "techbot", "templeton", "titan", "titin", "tkwww", "tlspider", "ucsd", "udmsearch", "urlck", "valkyrie", "verticrawl", "victoria",
"visionsearch", "voidbot", "vwbot", "w3index", "w3m2", "wallpaper", "wanderer", "wapspider", "webbandit", "webcatcher", "webcopy", "webfetcher", "webfoot", "webinator", "weblinker", "webmirror", "webmoose", "webquest", "webreader", "webreaper", "websnarf", "webspider", "webvac", "webwalk", "webwalker", "webwatch", "whatuseek", "whowhere", "wired-digital", "wmir", "wolp", "wombat", "worm", "wwwc", "wz101", "xget", "aport", "awbot", "baiduspider", "bobby", "boris", "bumblebee", "cscrawler", "daviesbot", "exactseek", "ezresult", "gigabot", "gnodspider", "grub", "henrythemiragorobot", "holmes", "internetseer", "justview", "linkbot", "linkchecker", "mediapartners-google", "metager-linkchecker", "microsoft_url_control", "nagios", "msiecrawler", "perman", "pompos", "rambler", "redalert", "shoutcast", "slysearch", "surveybot", "turnitinbot",
"turtle", "turtlescanner", "ultraseek", "webclipping.com", "webcompass", "wonderer", "yahoo-verticalcrawler", "yandex", "zealbot", "zyborg");
в связке с preg_match и буедт всё что хочешь, в массиве могут быть дубли, собирал в сове время с миру по нитке, человек просил подмен контента если на сайт пришол бот.
|
|
|
|
|
RE: Как разпознать бота на РНР - 2007-08-04 07:06:05.446666
|
|
|
Crack_Master
Сообщений: 1622
Оценки: 0
Присоединился: 2007-01-10 20:23:25.416666
|
Bios_inside вор тут нашёлся,бери и смотри код в Ipb,умник:D:D:Dржу
|
|
|
|
|
RE: Как разпознать бота на РНР - 2007-08-04 13:32:14.660000
|
|
|
Bios_inside
Сообщений: 626
Оценки: 0
Присоединился: 2007-02-23 10:44:18.170000
|
110
|
|
|
|
|
RE: Как разпознать бота на РНР - 2007-08-04 18:15:01.686666
|
|
|
Crack_Master
Сообщений: 1622
Оценки: 0
Присоединился: 2007-01-10 20:23:25.416666
|
искать надо искать
|
|
|
|
|
RE: Как разпознать бота на РНР - 2007-11-16 13:55:57.396666
|
|
|
7bioz
Сообщений: 182
Оценки: 0
Присоединился: 2007-11-01 22:42:52.160000
|
quote:
ORIGINAL: DiFor
Включить моск и скурить ман по $_SERVER, а конкретно по $_SERVER['USER_AGENT']
курил, но почему-то, ничего не курится. Вот вчера только счётчик запустил.
Сами гляньте —> Счётчик здесь
Login: -XAOC-
Pass: 8362
Я читал, что поисковые боты индексируют страницу раз в неделю, возможно ещё ни один бот не зашол, но ведь рефереры приходят от них, значит должны заходить и боты.
|
|
|
|
|
RE: Как разпознать бота на РНР - 2007-11-16 23:27:39.506666
|
|
|
7bioz
Сообщений: 182
Оценки: 0
Присоединился: 2007-11-01 22:42:52.160000
|
оно должно быть так:
$n=$_SERVER['USER_AGENT'];
if (isset($n) and $n!="")
{
if (strstr($n, "Aport")) { $n="spider Aport (ru)"; }
if (strstr($n, "Convera")) { $n="spider Convera (com)"; }
if (strstr($n, "Dyatel")) { $n="spider Ya.Dyatel (ru)"; }
if (strstr($n, "e-Society")){ $n="spider e-Society (jp)"; }
if (strstr($n, "eStyleSe")) { $n="spider eStyleSearch (?)"; }
if (strstr($n, "FAST")) { $n="spider FAST (no)"; }
if (strstr($n, "Findexa")) { $n="spider Findexa (no)"; }
if (strstr($n, "Goku")) { $n="spider Goku (ru)"; }
if (strstr($n, "Google")) { $n="spider Google (com)"; }
if (strstr($n, "Gigabot")) { $n="spider Gigabot (?)"; }
if (strstr($n, "Girafa")) { $n="spider Girafa (com)"; }
if (strstr($n, "ia_archiver")){ $n="spider ia_archiver (?)"; }
if (strstr($n, "ichiro")) { $n="spider ichiro (jp)"; }
if (strstr($n, "msnbot")) { $n="spider MSN (com)"; }
if (strstr($n, "psbot")) { $n="spider PicSearch (com)"; }
if (strstr($n, "Rambler")) { $n="spider Rambler (ru)"; }
if (strstr($n, "Space")) { $n="spider Space Bison (?)"; }
if (strstr($n, "Teoma")) { $n="spider Ask Teoma (com)"; }
if (strstr($n, "Turnitin")) { $n="spider Turnitin (com)"; }
if (strstr($n, "Turtle")) { $n="spider TurtleScanner (?)"; }
if (strstr($n, "Yahoo")) { $n="spider Yahoo (com)"; }
if (strstr($n, "Yandex")) { $n="spider Yandex (ru)"; }
if (strstr($n, "ZyBorg")) { $n="spider ZyBorg (com)"; }
unset($key);
If (is_file($bots) and is_readable($bots))
{
$file = file($bots);
$i=count($file);
for($l = 0; $l < $i; $l++)
{$line = explode("::","$file[$l]");
if($n == $line[0])
{$str = "$line[0]::$line[1]::$line[2]::$line[3]::::\r\n";
$line[1] = $line[1] + 1;
$to = "$line[0]::$line[1]::$where::".$time."-".$date."::::\r\n";
$key=$l;
}
}
if (isset($key) and $key!="")
{$f=fopen($bots,"a+");
flock($f,LOCK_EX); // Говорим, что дальше будем работать только мы
$new=fread($f,filesize($bots)); // Читаем значение, сохраненное в файле
$new=str_replace($str, $to, $new);
ftruncate($f,0); // Стираем файл
fwrite($f,$new); // Записываем новое значение
fflush($f); // Сбрасываем файловый буфер
flock($f,LOCK_UN); // Отключаемся от блокировки
fclose($f); // Закрываем файл
}
else
{$txt = "$n::1::$where::".$time."-".$date."::::\r\n";
$fp=fopen($bots,"a+");
flock ($fp,LOCK_EX);
fputs($fp,"$txt");
flock ($fp,LOCK_UN);
fclose($fp);
@chmod("$bots", 0644);
}
}
}
но что-то не катит
|
|
|
|
|
|
