0003403: Ускорение процесса склейки файлов ECW

Notes
(0018519) zed (manager) 01-02-2019 18:16	> И на какие ресурсы компа происходит нагрузка при склейке? А что мешает запустить диспетчер задач и посмотреть?

(0018520) Aveveritas (reporter) 02-02-2019 07:18 edited on: 02-02-2019 07:20	Ничто не мешает. Процессор выбирается процентов на 30 Правда нагрузка на все ядра. Оперативка вроде как используется неплохо. Последний раз склейка 4х листов съела 30 гигов. Диск незначительно грузится при записи. И на процессор и на диск нагрузка идёт волнами.пики каждые 2-3 секунды.

(0018521) zed (manager) 03-02-2019 08:01	> Последний раз склейка 4х листов съела 30 гигов 32-х битное приложение не может адресовать более 4Гб ОЗУ. И ещё, в SAS мы не клеим "листы", так же, мне не очень понятно сокращение 1/200000, 1/100000. Наверное, вам стоит выражаться в терминах той программы о которой идёт речь и меньше использовать проф. жаргон. Т.е. если бы вы сказали, что интересует склейка области разрешением в столько-то пикселей по ширине и высоте, то всем было бы понятней.

(0018523) Aveveritas (reporter) 04-02-2019 06:16	Сокращение- это лист масштаба 1:200000 в бланковке ГШ. Эквивалентно области разрешением ~ 186414*241304 .

(0018524) vdemidov (manager) 04-02-2019 10:09	Вряд ли получится сильно ускорить. Сжатие ECW весьма процессороемкая операция. Для простой склейки 4000 тайлов спутника (немного, но уже достаточно репрезентативно), у меня вышло из 35 секунд склейки подготовка тайлов только 5 секунд. Так что подготовка тайлов в несколько потоков сколько-нибудь заметную пользу даст, только если у вас склейка с кучей слоев, сеток и меток. Лучше всего будет, если вы сами зупустите дебажную версию САС, выполните одну склейку в ecw с вашими обычными настройками, а потом в Debug Info посмотрите показатели "Total time" счетчиков /RegionProcess/Combine/ECW/PrepareData и /RegionProcess/Combine/ECW/SaveRect

(0018525) Aveveritas (reporter) 04-02-2019 13:21 edited on: 04-02-2019 13:23	ECW/PrepareData = 01:59.612 ECW/SaveRect = 48:14.019 Количество тайлов 483990 А сам процесс склейки, не считая подготовки тайлов нельзя ли оптимизировать? Или за это отвечает сторонняя библиотека в которую не влезть? На моей машине склейка одной такой области напрягает процессор максимум на 10-15 процентов. Конфиг у меня: Intel(R) Xeon(R) CPU E5-2665 8 ядер 16 потоков. 64 Gb оперативки AMD Radeon HD 5450 Кэш родной от планеты живет на ссд. Клею на обычный HDD.

(0018526) vdemidov (manager) 04-02-2019 14:04 edited on: 04-02-2019 14:05	>А сам процесс склейки, не считая подготовки тайлов нельзя ли оптимизировать? Или за это отвечает сторонняя библиотека в которую не влезть? Да это сторонняя dll, которая для нас почти как черный ящик. Исходники, правда, есть. https://bitbucket.org/sas_team/libecwj2/ > ECW/PrepareData = 01:59.612 > ECW/SaveRect = 48:14.019 Шикарно. Для вашего юзкейса, мы можем в идеальном случае сэкономить 2 минуты из 48, и это с предварительной подготовкой тайлов, которой пока нет, а при текущем наивном подходе, скорее всего только 1 из этих двух минут получится сэкономить. Итого, овчинка выделки не стоит.

(0018527) Aveveritas (reporter) 04-02-2019 14:05	ОК, всё понял, спасибо! Можно закрыть хотелку.

Users who viewed this issue
User List	Anonymous (1362x), vdemidov (21x), sergeyka (1x), Aveveritas (31x), Tolik (4x), zed (6x)
Total Views	1425
Last View	21-11-2024 12:51

Issue History
Date Modified	Username	Field	Change
01-02-2019 09:36	Aveveritas	New Issue
01-02-2019 18:16	zed	Note Added: 0018519
02-02-2019 07:18	Aveveritas	Note Added: 0018520
02-02-2019 07:20	Aveveritas	Note Edited: 0018520	View Revisions
03-02-2019 08:01	zed	Note Added: 0018521
04-02-2019 06:16	Aveveritas	Note Added: 0018523
04-02-2019 09:36	vdemidov	Relationship added	related to 0003293
04-02-2019 10:09	vdemidov	Note Added: 0018524
04-02-2019 10:09	vdemidov	Status	new => feedback
04-02-2019 13:21	Aveveritas	Note Added: 0018525
04-02-2019 13:21	Aveveritas	Status	feedback => new
04-02-2019 13:23	Aveveritas	Note Edited: 0018525	View Revisions
04-02-2019 14:04	vdemidov	Note Added: 0018526
04-02-2019 14:05	Aveveritas	Note Added: 0018527
04-02-2019 14:05	vdemidov	Note Edited: 0018526	View Revisions
06-03-2019 14:03	vdemidov	Status	new => resolved
06-03-2019 14:03	vdemidov	Resolution	open => not fixable
06-03-2019 14:03	vdemidov	Assigned To	=> vdemidov
06-03-2019 14:03	vdemidov	Status	resolved => closed

SASGIS