Я хотел бы сделать веб-скрэппинг

Поэтому я делаю простой запрос:

import urllib.request

fp = urllib.request.urlopen("https://www.iadfrance.fr/trouver-un-conseiller")
mybytes = fp.read()

mystr = mybytes.decode("utf8")

faa = open("demofile2.txt", "a")
faa.write(mystr)
faa.close()


fp.close()

Но введите здесь описание изображения

Я не нахожу имени в своем файле;

Почему? а есть способ получить всех исполнителей на карте?

Спасибо за ответы!

-1
pgmendormi 11 Окт 2021 в 18:58

2 ответа

Лучший ответ

Вот как вы получаете данные

import requests

r =  requests.get('https://www.iadfrance.fr/agent-search-location?southwestlat=48.8251752&southwestlng=2.2935677&northeastlat=48.8816507&northeastlng=2.4039459')
if r.status_code == 200:
  print(r.json())
else:
  print(f'Oops. Status code is {r.status_code}')
1
balderman 11 Окт 2021 в 16:22

Фундаментальная концепция здесь носит название «HATEOAS», гипермедиа как двигатель состояния приложения.

Первый ответ, который вы получите, содержит следующий список ресурсов, которые вам нужно запросить. В свою очередь, они могут содержать еще немало. Некоторыми из этих ресурсов может быть Javascript, который при выполнении запрашивает еще больше данных. Это неудобно и является нарушением теоретической модели HATEOAS, но в значительной степени это практика для интерактивных веб-сайтов.

1
MSalters 11 Окт 2021 в 16:02