Добро пожаловать! Это — архивная версия форумов на «Хакер.Ru». Она работает в режиме read-only.
 

Контроль загрузки контента web-страницы

Пользователи, просматривающие топик: none

Зашли как: Guest
Все форумы >> [Компилируемые языки] >> Контроль загрузки контента web-страницы
Имя
Сообщение << Старые топики   Новые топики >>
Контроль загрузки контента web-страницы - 2008-01-22 17:24:29.666666   
sAshA20

Сообщений: 4
Оценки: 0
Присоединился: 2008-01-22 15:22:43.853333
     Подскажите, пожалуйста, как написать прогу (желательно в Delphi), которая при загрузке веб-страницы браузером отображает список загружаемых с ней в данный момент файлов (xxx.css,xxx.js и т.д.), указывает их размер, процент загрузки, тип. В любой момент можна отменить загрузку отдельного файла, указав его. Программа не должна быть прокси.
     Где можна достать такие исходники на Delphi или подскажите как это написать.
     В Delphi это возможно или нет???
     Неужели этого никто никогда не делал?
:@  Скоро лопнет голова, ничего не получается!!

Post #: 1
RE: Контроль загрузки контента web-страницы - 2008-01-22 19:28:08.230000   
goldstarKZ

Сообщений: 122
Оценки: 0
Присоединился: 2008-01-16 19:02:41.643333
quote:

Программа не должна быть прокси.

А как ты собрался анализом траффа заниматься? Или ты свой браузер делаешь? Сначала юзай Mozilla FireFox, там разберешься…
Post #: 2
RE: Контроль загрузки контента web-страницы - 2008-01-22 20:05:47.540000   
jnNelf

Сообщений: 18
Оценки: 0
Присоединился: 2007-12-17 12:41:54.460000
Можно при помощи LSP (Layered Service Provider).
Придется написать свою LSP (или заточить под это один из примеров). Внутри LSP в функции WSAConnect ты сможешь отфильтровать соединения создаваемые на 80(скажем) порту. В WSASend можно будет перехватывать трафик. Дальше, чтобы выцепить оттуда то, что тебя интересует, надо будет парсить от http запросы/ответы. Делать это прямо в LSP нежелательно. Лучше перенаправлять весь интересующий тебя трафик на свой локальный прокси (который тоже прийдется написать), подменяя &lt;адрес:порт&gt;_назначения на &lt;адрес:порт&gt; своего локального проксика (при этом надо не забыть передать еще &lt;адрес:порт&gt; назначения проксику, чтобы знать куда потом посылать дальше перехваченный запрос).
Вот ссылки по теме LSP. Примеры там есть и вполне рабочие. На С++
http://www.microsoft.com/msj/0599/LayeredService/LayeredService.aspx
http://www.komodia.com/index.php?page=lsp.html
Post #: 3
RE: Контроль загрузки контента web-страницы - 2008-01-23 13:58:49.460000   
Alaget

Сообщений: 330
Оценки: 0
Присоединился: 2007-11-08 15:57:53.170000
Грузи вначале сам html файл, потом анализируй его.
Post #: 4
RE: Контроль загрузки контента web-страницы - 2008-01-23 14:28:42.610000   
jnNelf

Сообщений: 18
Оценки: 0
Присоединился: 2007-12-17 12:41:54.460000
quote:

ORIGINAL: Alaget

Грузи вначале сам html файл, потом анализируй его.

Насколько я понимаю надо предоставить возможность отследить(размер, процент загрузки) и (если понадобится)отменить загрузку файлов по http протоклу, таким образом, чтобы браузеру недошел тот файл, заргузку которого отменили.
Если, как ты говоришь (отдельно загрузить html и проанализировать его), то это никак не повлияет на данные ктотрые идут браузеру и нет никакой возможности показать сколько процентов загружено.
Нужно внедряться между браузером и вызовами winsock и анализировать трафик генерируемый браузером.

Post #: 5
RE: Контроль загрузки контента web-страницы - 2008-01-24 00:50:47.330000   
sAshA20

Сообщений: 4
Оценки: 0
Присоединился: 2008-01-22 15:22:43.853333
quote:

Нужно внедряться между браузером и вызовами winsock и анализировать трафик генерируемый браузером.


Можно ли поподробней? Очень интересно…
Post #: 6
RE: Контроль загрузки контента web-страницы - 2008-01-24 10:36:39.900000   
jnNelf

Сообщений: 18
Оценки: 0
Присоединился: 2007-12-17 12:41:54.460000
quote:

ORIGINAL: sAshA20

Можно ли поподробней? Очень интересно…

смотри мой первый пост здесь. там основная идея изложена и ссылки есть.
Post #: 7
RE: Контроль загрузки контента web-страницы - 2008-01-24 11:52:40.303333   
Alaget

Сообщений: 330
Оценки: 0
Присоединился: 2007-11-08 15:57:53.170000
jnNelf ты правильно всё обрисовал, но он сказал не прокси а ты иммено эту концепцию предложил.
Post #: 8
RE: Контроль загрузки контента web-страницы - 2008-01-24 12:32:58.353333   
necrostaz

Сообщений: 172
Оценки: 0
Присоединился: 2007-02-27 15:54:59.460000
quote:

Нужно внедряться между браузером и вызовами winsock и анализировать трафик генерируемый браузером.


Можно поступить немного проще, например снифер на сырых сокетах вполне сгодится для этих целей.
Post #: 9
RE: Контроль загрузки контента web-страницы - 2008-01-24 14:05:42.473333   
jnNelf

Сообщений: 18
Оценки: 0
Присоединился: 2007-12-17 12:41:54.460000
quote:

ORIGINAL: necrostaz
Можно поступить немного проще, например снифер на сырых сокетах вполне сгодится для этих целей.

Думаю это не будет проще. HTTP высокоуровневый протокол и работать с ним на уровне пакетов будет как раз сложнее.

quote:

ORIGINAL: Alaget
jnNelf ты правильно всё обрисовал, но он сказал не прокси а ты иммено эту концепцию предложил.

//обрисовала.
Можно и без прокси, просто с прокси будет удобнее. Можно обрабатывать все прямо в WSAReceive/WSASend переписанной LSP.

Post #: 10
RE: Контроль загрузки контента web-страницы - 2008-01-24 14:33:53.273333   
necrostaz

Сообщений: 172
Оценки: 0
Присоединился: 2007-02-27 15:54:59.460000
quote:

Думаю это не будет проще. HTTP высокоуровневый протокол и работать с ним на уровне пакетов будет как раз сложнее.


Протокол тут не причем, от парсинга хттп заголовков все равно не уйти, единственный плюс LSP - это то, что он дает уже готовый TCP stream, но сборка TCP сессии делается элементарно, а вот лсп надо еще грамотно реализовать, зарегистрировать и при необходимости разрегистрировать. Кроме того лсп неуверсальный метод если какие нить извращенцы используют не винсок,а свой тди или ндис драйвер, то не покатит, правда это уж очень маловероятно )
Post #: 11
RE: Контроль загрузки контента web-страницы - 2008-01-24 14:43:18.800000   
necrostaz

Сообщений: 172
Оценки: 0
Присоединился: 2007-02-27 15:54:59.460000

quote:

ORIGINAL: Alaget

jnNelf ты правильно всё обрисовал, но он сказал не прокси а ты иммено эту концепцию предложил.


jNelf, как я понял, предложила использовать LSP как некий промежуточный источник данных, для последующего анализа, чтоб излишне не грузить TCP/IP стек, вряд sAshA20 под словом "прокси" имел в виду то же самое
Post #: 12
RE: Контроль загрузки контента web-страницы - 2008-01-24 15:22:01.436666   
jnNelf

Сообщений: 18
Оценки: 0
Присоединился: 2007-12-17 12:41:54.460000
quote:

ORIGINAL: necrostaz

Протокол тут не причем, от парсинга хттп заголовков все равно не уйти, единственный плюс LSP - это то, что он дает уже готовый TCP stream,

Я именно это и имела ввиду когда говорила что роусокеты "не проще"

quote:

ORIGINAL: necrostaz
а вот лсп надо еще грамотно реализовать, зарегистрировать и при необходимости разрегистрировать.

это да..
С регистрацией вообще траблы. Она вступает в силу только после перезагрузки :(
Post #: 13
RE: Контроль загрузки контента web-страницы - 2008-01-24 15:43:58.360000   
necrostaz

Сообщений: 172
Оценки: 0
Присоединился: 2007-02-27 15:54:59.460000
quote:

С регистрацией вообще траблы


Это еще терпимо, а вот с разрегистрацией действительно надо быть аккуратным, можно порушить всю цепочку, а полноценный контроль целостности, насколько я знаю, появился только в висте ((
Post #: 14
RE: Контроль загрузки контента web-страницы - 2008-01-25 15:22:54.260000   
Arrowdodger

Сообщений: 1
Оценки: 0
Присоединился: 2008-01-25 15:05:54.783333
по поводу регистрации и удаления лсп - вместе с примером комодии там сорцы инсталлера есть
он умеет устанавливать лсп
а для удаления я юзаю прогу LSPFIX что и вам советую
 
а теперь внимание вопрос - ifslsp у меня компилеца нормально, дллка весит ~ 350кб и все работает
nonifs у меня не компилица нифига =\ точнее в када компилю в иде (вс2005) сама компиляция проходит норм но потом линкер начинает ругаца на функции из async.cpp
если компилить в командной строке через nmake то компилица норм но дллка выходит 60кб и не работает =\
 
вобщем хелп кто сталкивался с такой траблой
Post #: 15
Страниц:  [1]
Все форумы >> [Компилируемые языки] >> Контроль загрузки контента web-страницы







Связаться:
Вопросы по сайту / xakep@glc.ru

Предупреждение: использование полученных знаний в противозаконных целях преследуется по закону.