У меня есть одна функция, которую нужно запускать дважды с другим запросом. Meta в scrapy
request = scrapy.Request(tournament_url, callback=self.parse_tournament)
request.meta['data'] = team1_data
yield request
request1 = scrapy.Request(tournament_url, callback=self.parse_tournament)
request1.meta['data'] = team2_data
yield request1
На данный момент работает только первый запрос!
1 ответ
Вы захотите включить dont_filter во втором Request, чтобы Scrapy DupeFilter не удалял уже просмотренный URL:
request1 = scrapy.Request(tournament_url, callback=self.parse_tournament,
dont_filter=True)
request1.meta['data'] = team2_data
yield request
Похожие вопросы
Новые вопросы
python
Python - это многопарадигмальный, динамически типизированный, многоцелевой язык программирования. Он разработан для быстрого изучения, понимания и использования, а также для обеспечения чистого и единообразного синтаксиса. Обратите внимание, что Python 2 официально не поддерживается с 01.01.2020. Тем не менее, для вопросов о Python, связанных с версией, добавьте тег [python-2.7] или [python-3.x]. При использовании варианта Python (например, Jython, PyPy) или библиотеки (например, Pandas и NumPy) включите его в теги.
En Español