Я экспортировал около 60 миллионов строк, используя .export
command в хранилище, как мой сценарий KQL ниже:
.export async to json (h@"https://contoso.blob.core.windows.net/oversub/adx/VmCounterFiveMinutes/2023-05-20;storage-account-access-key") <|
contosoEntity
Я удалил части разума из своего запроса, но экспорт работает нормально. Он экспортировал 192 файла(ов), всего 62374652 строки.
Мне также нужно импортировать в другой кластер Kusto. Как я могу использовать команду .ingest
из хранилища для загрузки всех файлов .json
из определенной папки из хранилища?
Если есть другое лучшее решение для загрузки обратно в другой кластер Kusto, я буду рад узнать об этом.
Что я попробовал и не смог:
1-
.ingest into table VmCounterFiveMinuteRoleInstanceCentralBondTable_2 (h@'https://contoso.blob.core.windows.net/oversub/adx/VmCounterFiveMinutes/2023-05-20/*.json;storage-account-access-key')
2-
.ingest into table VmCounterFiveMinuteRoleInstanceCentralBondTable_2 (h@'https://contoso.blob.core.windows.net/oversub/adx/VmCounterFiveMinutes/2023-05-20/*.ext;storage-account-access-key')
with (format='json')
2 ответа
Вы можете использовать инструмент командной строки под названием "lightingest" или используйте мастер OneClick в веб-обозревателе Kusto
Вы не можете указать путь с подстановочными знаками (*
) при выполнении (нерекомендуемой) команды прямого приема (.ingest
).
Вы можете использовать LightIngest или мастер загрузки для загрузки экспортированных файлов (с фильтры по префиксу имени большого двоичного объекта, если это необходимо)
Новые вопросы
azure-data-explorer
Azure Data Explorer - это быстрая и масштабируемая служба исследования данных для данных журналов и телеметрии. Он помогает вам обрабатывать множество потоков данных, излучаемых современным программным обеспечением, поэтому вы можете собирать, хранить и анализировать данные. Azure Data Explorer идеально подходит для анализа больших объемов разнообразных данных из любых источников данных, таких как веб-сайты, приложения, устройства IoT и т. Д.