Я экспортировал около 60 миллионов строк, используя .export command в хранилище, как мой сценарий KQL ниже:

.export async to json (h@"https://contoso.blob.core.windows.net/oversub/adx/VmCounterFiveMinutes/2023-05-20;storage-account-access-key") <|
contosoEntity

Я удалил части разума из своего запроса, но экспорт работает нормально. Он экспортировал 192 файла(ов), всего 62374652 строки.

Мне также нужно импортировать в другой кластер Kusto. Как я могу использовать команду .ingest из хранилища для загрузки всех файлов .json из определенной папки из хранилища?

Если есть другое лучшее решение для загрузки обратно в другой кластер Kusto, я буду рад узнать об этом.

Что я попробовал и не смог:

1-

.ingest into table VmCounterFiveMinuteRoleInstanceCentralBondTable_2 (h@'https://contoso.blob.core.windows.net/oversub/adx/VmCounterFiveMinutes/2023-05-20/*.json;storage-account-access-key')

2-

.ingest into table VmCounterFiveMinuteRoleInstanceCentralBondTable_2 (h@'https://contoso.blob.core.windows.net/oversub/adx/VmCounterFiveMinutes/2023-05-20/*.ext;storage-account-access-key')
    with (format='json')
0
Guilherme Matheus 24 Май 2023 в 20:51

2 ответа

Вы можете использовать инструмент командной строки под названием "lightingest" или используйте мастер OneClick в веб-обозревателе Kusto

1
Avnera 24 Май 2023 в 21:05

Вы не можете указать путь с подстановочными знаками (*) при выполнении (нерекомендуемой) команды прямого приема (.ingest).

Вы можете использовать LightIngest или мастер загрузки для загрузки экспортированных файлов (с фильтры по префиксу имени большого двоичного объекта, если это необходимо)

0
Yoni L. 24 Май 2023 в 21:05
Спасибо! Есть ли способ автоматизировать использование, например, ADF или другого инструмента вместо использования мастера Ingestion?
 – 
Guilherme Matheus
24 Май 2023 в 21:13