SASGIS

Веб-картография и навигация


View Revisions: Issue #3173 All Revisions ] Back to Issue ]
Summary 0003173: База меток в MongoDB: Медленный импорт файлов
Revision 03-02-2017 13:19 by Robbi
Description Исходные данные:
1) БД Монго в которой >300k Меток рассортированных по категориям
2) Kml файл объемом около 100Мб содержащий >100к меток с описаниями

При импорте консоль монго отображает медленные запросы. Как я понимаю, при вставке каждой метки происходит вычисление id с помощью аггрегирующего запроса и затрачивается 180-190мс на каждый запрос.
Если я прав, то предлагаю сделать следующее:
1) при импорте блокировать таблицу на запись
2) вычислять максимальный существующий id
3) вставлять все метки последовательно увеличивая id не выполняя запросов к бд для вычисления следующего id
4) разблокировать таблицу
Revision 03-02-2017 13:18 by Robbi
Description Исходные данные:
1) БД Монго в которой >300k Меток рассортированных по категориям
2) Kml файл объемом 0000052:0000100Мб содержащий >100к меток с описаниями

При импорте консоль монго отображает медленные запросы. Как я понимаю, при вставке каждой метки происходит вычисление id с помощью аггрегирующего запроса и затрачивается 180-190мс на каждый запрос.
Если я прав, то предлагаю сделать следующее:
1) при импорте блокировать таблицу на запись
2) вычислять максимальный существующий id
3) вставлять все метки последовательно увеличивая id не выполняя запросов к бд для вычисления следующего id
4) разблокировать таблицу



Copyright © 2007 - 2024 SAS.Planet Team