Я обучаюсь тому, как использовать оболочку scrapy в командной строке, и вот URL-адрес https://shopee.com.my/shop/145423/followers/?__classic__=1 Для разработчиков Google Chrome (нажатие F12) и в. ..

1
YasserKhalil 16 Янв 2021 в 12:43

1 ответ

Лучший ответ

Используйте User Agent. Вы также можете использовать User Agent в командной строке

 headers={'User-Agent': 'Mybot'}
>>> r = scrapy.Request(url, headers=headers)
>>> fetch(r)
2021-01-16 16:53:11 [scrapy.downloadermiddlewares.redirect] DEBUG: Redirecting (302) to <GET https://shopee.com.my/shop/145423/followers/?offset=60&limit=20&offset_of_offset=0&_=1610787400133&__classic__=1> from <GET https://shopee.com.my/shop/145423/followers/?offset=60&limit=20&offset_of_offset=0&_=1610787400133>
2021-01-16 16:53:11 [scrapy.core.engine] DEBUG: Crawled (200) <GET https://shopee.com.my/shop/145423/followers/?offset=60&limit=20&offset_of_offset=0&_=1610787400133&__classic__=1> (referer: None)
>>> response.status
200
>>> 
1
Samsul Islam 16 Янв 2021 в 10:55