Как выдернуть ссылку?
Пользователи, просматривающие топик: none
|
Зашли как: Guest
|
Имя  |
| Сообщение |
<< Старые топики Новые топики >> |
|
|
Как выдернуть ссылку? - 2010-02-16 22:40:44.173333
|
|
|
mkth
Сообщений: 8
Оценки: 0
Присоединился: 2010-02-16 22:35:57.446666
|
Пусть при обращении перлом к сайту он отдает два урла (в теле страницы) вида src='http://site1.com' и src='http://site2.com'. Причем, первый урл постоянно меняется, а во втором урле домен не меняется…
Можно ли, используя это, как-нибудь выдернуть ссылку src='http://site2.com' и перейти по ней, скажем, через 30 сек.,чтобы при парсинге не влететь в бан? Очень прошу помочь, заранее спасибо за помощь!
|
|
|
|
|
RE: Как выдернуть ссылку? - 2010-02-16 22:50:50.360000
|
|
|
Sрam
Сообщений: 2863
Оценки: 372
Присоединился: 2009-01-16 15:23:43.276666
|
Вообще функции есть для поиска подстроки… а нас счет задержки нужно помозговать!
|
|
|
|
|
RE: Как выдернуть ссылку? - 2010-02-17 00:45:34.760000
|
|
|
Pashkela
Сообщений: 3756
Оценки: 736
Присоединился: 2007-01-03 06:19:40.900000
|
можно, точный код спарсенной страницы с сылками двумя в студию
|
|
|
|
|
RE: Как выдернуть ссылку? - 2010-02-17 02:23:17.920000
|
|
|
furiousangel
Сообщений: 1116
Оценки: 0
Присоединился: 2005-05-28 06:31:47
|
Эм…. Регекспы?
|
|
|
|
|
RE: Как выдернуть ссылку? - 2010-02-17 02:51:15.540000
|
|
|
rgo
Сообщений: 7170
Оценки: 281
Присоединился: 2004-09-25 05:14:25
|
quote:
ORIGINAL: Sрam
а нас счет задержки нужно помозговать!
Чё там мозговать? sleep (30);
|
|
|
|
|
RE: Как выдернуть ссылку? - 2010-02-17 03:00:58.433333
|
|
|
mkth
Сообщений: 8
Оценки: 0
Присоединился: 2010-02-16 22:35:57.446666
|
quote:
ORIGINAL: Pashkela
можно, точный код спарсенной страницы с сылками двумя в студию
var fr=''; document.write("iframe='http://somesite.php' id='gfdtrtrtre'></iframe>");
var fr=''; document.write("<iframe src='' id='gfdtrtrtre'></iframe>");
setTimeout("document.getElementById('iframe').src='http://goodsite.ru/php?sid=64564563&sesslid=Gtr216846hgf11'", 30000);
Как то так… Запрашивается страница, отдается скриптом два урла, первый полностью меняется, во втором-меняются только идентификаторы сессии, а сам домен не меняется…
|
|
|
|
|
RE: Как выдернуть ссылку? - 2010-02-17 03:05:13.600000
|
|
|
mkth
Сообщений: 8
Оценки: 0
Присоединился: 2010-02-16 22:35:57.446666
|
#!/usr/bin/perl
use LWP::UserAgent;
my $ua = LWP::UserAgent->new;
$ua->agent('Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; .NET CLR 1.1.4322)');
$ua->default_header('Referer' => "http://mysite.ru");
$ua->default_header('Accept' => "text/html");
$ua->default_header('Accept-Charset' => "windows-1251,utf-8");
my $response = $ua->get('http://site.com');
if ($response->is_success) {
print $response->decoded_content;
}
else {
die $response->status_line;
}
Запросом забрал данные в теле страницы и вывел их на печать. А как дальше быть - не знаю… Как перейти по второму урлу с задержкой…[sm=ak.gif]
|
|
|
|
|
RE: Как выдернуть ссылку? - 2010-02-17 03:17:07.280000
|
|
|
furiousangel
Сообщений: 1116
Оценки: 0
Присоединился: 2005-05-28 06:31:47
|
RTFM PCRE
|
|
|
|
|
RE: Как выдернуть ссылку? - 2010-02-17 20:04:37.226666
|
|
|
mkth
Сообщений: 8
Оценки: 0
Присоединился: 2010-02-16 22:35:57.446666
|
quote:
ORIGINAL: furiousangel
RTFM PCRE
Прошу помочь кодом[sm=ak.gif]
|
|
|
|
|
RE: Как выдернуть ссылку? - 2010-02-17 21:07:10.350000
|
|
|
rgo
Сообщений: 7170
Оценки: 281
Присоединился: 2004-09-25 05:14:25
|
quote:
ORIGINAL: mkth
quote:
ORIGINAL: furiousangel
RTFM PCRE
Прошу помочь кодом[sm=ak.gif]
В чём проблема-то? В том как выдернуть url из текста? Читай про perl'овые регекспы, которые ещё до pcre сокращают вечно. Там текста многа, но ничего сложного нету. А знать их должен любой уважающий себя человек. Тем более программирующий на перле. Так что очень рекомендую почитать.
Или в том, как сделать задержку? Я ж говорю тебе:sleep (30);Воткни эту строчку туда, где должна быть задержка, и программа заснёт на 30 секунд.
|
|
|
|
|
RE: Как выдернуть ссылку? - 2010-02-17 22:12:53.103333
|
|
|
mkth
Сообщений: 8
Оценки: 0
Присоединился: 2010-02-16 22:35:57.446666
|
quote:
В чём проблема-то? В том как выдернуть url из текста? Читай про perl'овые регекспы, которые ещё до pcre сокращают вечно. Там текста многа, но ничего сложного нету. А знать их должен любой уважающий себя человек. Тем более программирующий на перле. Так что очень рекомендую почитать.
Или в том, как сделать задержку? Я ж говорю тебе:sleep (30);Воткни эту строчку туда, где должна быть задержка, и программа заснёт на 30 секунд.
Спасибо, попробую…
|
|
|
|
|
RE: Как выдернуть ссылку? - 2010-02-17 22:46:55.416666
|
|
|
mkth
Сообщений: 8
Оценки: 0
Присоединился: 2010-02-16 22:35:57.446666
|
#!/usr/bin/perl
use LWP::UserAgent;
my $ua = LWP::UserAgent->new;
$ua->agent('Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; .NET CLR 1.1.4322)');
$ua->default_header('VIA' => "someproxy.ru");
$ua->default_header('Referer' => "http://mysite.ru");
$ua->default_header('Accept' => "text/html");
$ua->default_header('Accept-Charset' => "windows-1251,utf-8");
my $response = $ua->get('http://site.com');
$_ = ;
if ($input{'siteurl'} =~ #http://#) {
print $input{'siteurl'};
}
Вот взял для примера, почему то вылетает с ошибкой [sm=ac.gif]
|
|
|
|
|
RE: Как выдернуть ссылку? - 2010-02-18 22:22:40.030000
|
|
|
NEWS
Сообщений: 224
Оценки: 0
Присоединился: 2009-11-18 10:40:28.283333
|
попробуй чарльзом ( Charles ) .. сканирует все ссылки которые подключаютса *
|
|
|
|
|
RE: Как выдернуть ссылку? - 2010-02-18 22:30:18.716666
|
|
|
mkth
Сообщений: 8
Оценки: 0
Присоединился: 2010-02-16 22:35:57.446666
|
quote:
ORIGINAL: NEWS
попробуй чарльзом ( Charles ) .. сканирует все ссылки которые подключаютса *
Спасибо, чарли у меня есть…
|
|
|
|
|
RE: Как выдернуть ссылку? - 2010-02-18 22:32:23.100000
|
|
|
mkth
Сообщений: 8
Оценки: 0
Присоединился: 2010-02-16 22:35:57.446666
|
Подумал я, кто не рискует, тот не пьет шампанское… Взял и воткнул код в скрипт
$response->decoded_content =~ m%document\.getElementById\('iframe'\)\.src\s*=\s*'\s*(.*?)\s*'%s;
print "$1\n";
Но че то не произошло ниче путного…[sm=ac.gif]
|
|
|
|
|
|
