Создание архиватора на основе технологии OpenCL
Пользователи, просматривающие топик: none
|
Зашли как: Guest
|
Имя  |
| Сообщение |
<< Старые топики Новые топики >> |
|
|
Создание архиватора на основе технологии OpenCL - 2010-02-23 19:13:31.806666
|
|
|
DzumoHu4
Сообщений: 279
Оценки: 0
Присоединился: 2008-08-04 19:04:43.236666
|
Нужен совет комрады, решил поковырять OpenCL, однако бесцельное ковыряние как правило не приносит
ничего нового, потому подумал, вот бы здорово переместить И на видеокарту процесс упаковки - распаковки архивов.
Если отнестись к вопросу чисто логически, то перекодировка одного формата видео в другой и архивирование один и тот же процесс с разницей в данных которые нужно упаковать,
грубо говоря архиватор помимо собственно упаковки, занимается анализом целевых файлов, и созданием массива данных(хотя в разных алгоритмах сжатия, операции отличаются друг от друга), то есть в теории можно архиватор с использованием ГПУ сделать можно, одно смущает почему до сих пор нет ни одной реализации от Winrar, Winzip, 7zip, FreeArc, CAB, и прочих.
Сомневаюсь что я один такой "умный", быть может грабли стоят как раз в переводе алгоритма сжатия на "параллельные лыжи"? Или всего лишь не популярности OpenCL(не многие о нём слышали, и ещё меньшее число людей может программировать на нём).
|
|
|
|
|
RE: Создание архиватора на основе технологии OpenCL - 2010-02-23 19:23:39.600000
|
|
|
_SaZ_
Сообщений: 4329
Оценки: 398
Присоединился: 2008-01-30 02:18:05.553333
|
В архивировании не особо есть чего распараллеливать :)
|
|
|
|
|
RE: Создание архиватора на основе технологии OpenCL - 2010-02-23 19:27:01.070000
|
|
|
DzumoHu4
Сообщений: 279
Оценки: 0
Присоединился: 2008-08-04 19:04:43.236666
|
quote:
ORIGINAL: _SaZ_
В архивировании не особо есть чего распараллеливать :)
Поконкретней пожалуста
|
|
|
|
|
RE: Создание архиватора на основе технологии OpenCL - 2010-02-23 20:00:51.423333
|
|
|
_SaZ_
Сообщений: 4329
Оценки: 398
Присоединился: 2008-01-30 02:18:05.553333
|
Ну ты хоть немного прошарься в архивировании, а потом уже спрашивай ;).
|
|
|
|
|
RE: Создание архиватора на основе технологии OpenCL - 2010-02-23 20:33:02.636666
|
|
|
DzumoHu4
Сообщений: 279
Оценки: 0
Присоединился: 2008-08-04 19:04:43.236666
|
quote:
ORIGINAL: _SaZ_
Ну ты хоть немного прошарься в архивировании, а потом уже спрашивай ;).
По моему ты путаешь распараллеливание по ядрам и распараллеливание по ядру и гпу.(почитай про GPGPU)
|
|
|
|
|
RE: Создание архиватора на основе технологии OpenCL - 2010-02-23 20:36:39.626666
|
|
|
_SaZ_
Сообщений: 4329
Оценки: 398
Присоединился: 2008-01-30 02:18:05.553333
|
А смысл? ;)
Короче, прошаривайся в архиваторах, пиши свои. И используй возможности видеокарты. Может что-то и получится. Заодно прошаришься в математике и графах. В любом случае, не зависимо от результата многому научишься.
|
|
|
|
|
RE: Создание архиватора на основе технологии OpenCL - 2010-02-23 22:31:04.033333
|
|
|
tеstеr
Сообщений: 377
Оценки: -46
Присоединился: 2008-02-08 17:56:40.563333
|
Вариант параллелизма:
мы имеем массив данных, но не знаем какие параметры архивирования лучше для него подходят (размер словаря, состав словаря, ….) поэтому создаёт 100 потоков )) и в каждом начинаем сжимать.
Кто лучше сжал тот и молодец.
Такие программы используются в сжатии изображений. Например pngcrush, если память не изменяет перебирает все варианты методов сжатия и выборы палитры, чтобы сделать png картинку минимальной. Именно эта программа не особо эффективна, но если ты её запустишь (поищи в интернете как она используется) то поймешь что сжатие методом подбора оптимальных параметров сжатия - довольно новая и используемая вещь.
В этой области GPU еще не применялся (я не слышал).
|
|
|
|
|
RE: Создание архиватора на основе технологии OpenCL - 2010-02-24 01:47:09.430000
|
|
|
rgo
Сообщений: 7170
Оценки: 281
Присоединился: 2004-09-25 05:14:25
|
По-моему, надёжно распараллелить в сжатии можно только сжатие отдельных блоков, на которые разбивается входной поток. Насчёт подбора параметров типа выбора палитры – имхо бред, ведь стоит только прикинуть количество возможных палитр, как сразу становится ясно, что брутфорс идёт лесом.
Выбор словаря – это тоже как-то не модно сейчас. Сейчас ведь всюду ppm алгоритмы, которые, по-сути, словарь не хранят отдельным блоком, а вычисляют его по предыдущим данным. Причём как при сжатии, так и при распаковке. Так что разве что разные блоки в разные конвееры закидывать.
В случае сжатия, разве что SIMD распараллеливание может как-то помочь.
А вообще, чего гадать? compression.ru. Читаем, думаем, делаем выводы.
|
|
|
|
|
|
