У меня есть одна функция, которую нужно запускать дважды с другим запросом. Meta в scrapy

request = scrapy.Request(tournament_url, callback=self.parse_tournament)
request.meta['data'] = team1_data
yield request

request1 = scrapy.Request(tournament_url, callback=self.parse_tournament)
request1.meta['data'] = team2_data
yield request1

На данный момент работает только первый запрос!

0
johnrao07 18 Апр 2020 в 14:03

1 ответ

Лучший ответ

Вы захотите включить dont_filter во втором Request, чтобы Scrapy DupeFilter не удалял уже просмотренный URL:

request1 = scrapy.Request(tournament_url, callback=self.parse_tournament,
                          dont_filter=True)
request1.meta['data'] = team2_data
yield request
1
mdaniel 19 Апр 2020 в 22:52