Разбор большого файла XML с помощью lxml

Вы можете использовать etree.iterparse, чтобы избежать загрузки всего файла. в памяти:

events = ("start", "end")
with open("dblp.xml", "r") as fo:
    context = etree.iterparse(fo, events=events)
    for action, elem in context:
        # Do something

Это позволит вам извлекать только те объекты, которые вам нужны, игнорируя другие.

Как заявил Ян Яап Мейеринк, вы можете попробовать использовать iterparse. Возможно, вы также можете отключить функции безопасности lxml, предотвращающие синтаксический анализ огромных файлов (см. документацию по адресу https: //lxml.de/api/lxml.etree.XMLParser-class.html):

with open('', 'r') as fobj:
    for event, elem in  etree.iterparse(
                    fobj,
                    huge_tree=True,
                ):
            #do something with element or event

В конце концов, если вы предпочитаете попробовать использовать синтаксический анализ, вы можете определить синтаксический анализатор xml с включенным huge_tree и установить его по умолчанию для дальнейшего использования etree.parse:

xml_parser_settings = dict(
    huge_tree=True, # resolve_entities=False, remove_pis=True, no_network=True
)

XMLPARSER = etree.XMLParser(xml_parser_settings)
etree.set_default_parser(XMLPARSER)

После этих операторов вы можете использовать etree.parser с настроенным XMLPARSER. Однако остерегайтесь многопоточности (https://lxml.de/1.3/ api/lxml.etree-module.html#set_default_parser).

Добавление ключевого слова resolve_entities, remove_pis и no_network может (по крайней мере, немного) снизить риск парсинга огромных внешних файлов, если они исходят из ненадежного источника.