Как узнать правильную кодировку при использовании Beautifulsoup?

Question 1

В python3 и beautifulsoup4 я хочу получать информацию с сайта, после выполнения запросов. Я так и сделал:

import requests
from bs4 import BeautifulSoup

req = requests.get('https://sisgvarmazenamento.blob.core.windows.net/prd/PublicacaoPortal/Arquivos/201901.htm').text

soup = BeautifulSoup(req,'lxml')

soup.find("h1").text
'\r\n                        CÃ\x82MARA MUNICIPAL DE SÃ\x83O PAULO'

Я не знаю, что такое кодировка, но это сайт с бразильским португальским, поэтому он должен быть utf-8 или latin1

Пожалуйста, есть ли способ узнать, какая кодировка правильная?

И тогда, как Beautifulsoup правильно читает эту кодировку?

python encoding beautifulsoup python-requests

1

Reinaldo Chaves 30 Май 2019 в 23:41

Answer

Запросы определяют кодировку, например,

Однако это неправильно: декодирование как UTF-16 производит моджибаке.

chardet правильно идентифицирует кодировку как UTF-8.

Итак, чтобы подвести итог:

нет общего способа определения кодировки текста с полной точностью
в этом конкретном случае правильное кодирование - UTF-8.

Рабочий код:

>>> req.encoding = 'UTF-8'
>>> soup = bs4.BeautifulSoup(req.text,'lxml')
>>> soup.find('h1').text
'\r\n                        CÂMARA MUNICIPAL DE SÃO PAULO'

1

snakecharmerb 1 Июн 2019 в 07:47

Answer

Когда вы используете запросы, вы можете использовать функцию encoding , например:

req = requests.get('https://sisgvarmazenamento.blob.core.windows.net/prd/PublicacaoPortal/Arquivos/201901.htm')

encoding = req.encoding
text = req.content

decoded_text = text.decode(encoding)

1

simonjansson 30 Май 2019 в 21:15

Question 2

Запросы определяют кодировку, например,

Однако это неправильно: декодирование как UTF-16 производит моджибаке.

chardet правильно идентифицирует кодировку как UTF-8.

Итак, чтобы подвести итог:

нет общего способа определения кодировки текста с полной точностью
в этом конкретном случае правильное кодирование - UTF-8.

Рабочий код:

>>> req.encoding = 'UTF-8'
>>> soup = bs4.BeautifulSoup(req.text,'lxml')
>>> soup.find('h1').text
'\r\n                        CÂMARA MUNICIPAL DE SÃO PAULO'

1

snakecharmerb 1 Июн 2019 в 07:47

Question 3

Когда вы используете запросы, вы можете использовать функцию encoding , например:

req = requests.get('https://sisgvarmazenamento.blob.core.windows.net/prd/PublicacaoPortal/Arquivos/201901.htm')

encoding = req.encoding
text = req.content

decoded_text = text.decode(encoding)

1

simonjansson 30 Май 2019 в 21:15

Связанные вопросы

Новые вопросы

python

Как узнать правильную кодировку при использовании Beautifulsoup?

2 ответа