При сохранении набора данных Pandas в Excel я столкнулся с

UnicodeDecodeError: 'utf-8' codec can't decode byte 0xe6 in position 0: invalid continuation byte

Некоторое копание показало, что я могу собрать 3 символа ascii, и получающаяся строка, кажется, начинается с байта продолжения UTF-8. Очевидно, что в строке нет многобайтовых символов. Как лучше всего преодолеть это, чтобы все мои данные интерпретировались как символы ASCII?

Вот код Python, который демонстрирует, как проявляется продолжение байта

Python 3.7.1 (default, Dec 14 2018, 13:28:58)
[Clang 4.0.1 (tags/RELEASE_401/final)] :: Anaconda, Inc. on darwin
Type "help", "copyright", "credits" or "license" for more information.
>>> string_from_3_ascii_chars = chr(50) + chr(51) + chr(48)
>>> print(string_from_3_ascii_chars)
230
>>> print(string_from_3_ascii_chars.startswith(str(0xe6)))
True
>>>
python pandas unicode utf-8
0
Oleg Zhylin 17 Авг 2019 в 01:09

2 ответа

Лучший ответ

В рассматриваемом примере str(0xe6) принимает целое число 0xe6 (230 в десятичной записи) и вызывает repr(object) для него. Это создает строку '230'. string_from_3_ascii_chars начинается с '230'. startswith подтверждает это, возвращая True.

0
Oleg Zhylin 20 Авг 2019 в 13:12

Это возможно, отсоединив энкодер и заменив его на свой энкодер.

  • создайте файл примера в кодировке Latin-1 / ascii.
  • открыть файл с кодировкой utf-8
  • отсоединить кодировку и заменить на «Latin-1 / ascii»
  • читать файл

Примечание. Этот метод изменяет права доступа к файлу. Таким образом, вы сможете читать, но не записывать в файл.

with open("/Desktop/temp/junk1",'wb') as f: 
    s="Hello Jalapeño".encode("latin-1") 
    f.write(s)
with open("/Desktop/temp/junk1",'r') as f: 
    b=f.detach()
    f=io.TextIOWrapper(b,"latin-1") 
    print(f.read())

`

0
tripleee 15 Сен 2019 в 08:37

Похожие вопросы

8 Как я могу сделать разрыв строки (продолжение строки) в Python?
20 Преобразование строки в дату и время
19 Конвертировать байты в строку
10 Как получить подстроку строки в Python?
24 Перевернуть строку в Python
6 Вызов (выбрасывание) исключения в Python вручную
30 Как обновить все пакеты Python с помощью pip?
10 Есть ли в Python метод "содержит" подстроку для строки?
14 Как я могу напечатать буквенные фигурные скобки в строке Python, а также использовать .format на нем?
8 Что символ «b» делает перед строковым литералом?
5 Как мне прописать строчную строку в Python?
3 Лучший способ преобразовать строку в байты в Python 3?
25 UnicodeEncodeError: кодек 'ascii' не может кодировать символ u '\ xa0' в позиции 20: порядковый номер не в диапазоне (128)
23 Pythonic способ создания длинной многострочной строки

Связанные вопросы

4 Что такое кодировка символов и почему я должен беспокоиться об этом
💵 Получи $100 на хостинг на 60 дней.
Регистрируйся!

Новые вопросы

2 Можно ли вызвать Pyright из кода (как API)?
2 Могу ли я пропустить тест (или пометить его как незавершенный) в pytest во время его выполнения?
1 Python для циклического перебора сценариев .py по ключевому слову
2 Как мне просмотреть текстовый файл и извлечь нужные мне элементы?
2 discord.py — Как добавить время восстановления каждый раз, когда пользователь пытается фармить XP? (система прокачки, по событию сообщения)
2 python re (регулярное выражение) заменяет все вхождения шаблона, но исключает сценарий
2 Укажите несколько совпадений «Длины» с помощью Regex Python 3
2 Добавление средних элементов в массив без циклов
2 вызвать новую функцию, не закрывая файл
2 Заполнение матрицы без использования цикла
Все вопросы по теме python >

python

Python — это мультипарадигмальный многоцелевой язык программирования с динамической типизацией. Он предназначен для быстрого изучения, понимания и использования, а также обеспечивает чистый и унифицированный синтаксис. Обратите внимание, что Python 2 официально не поддерживается с 01.01.2020. Если у вас есть вопросы о версии Python, добавьте тег [python-2.7] или [python-3.x]. При использовании варианта Python (например, Jython, PyPy) или библиотеки (например, Pandas, NumPy) укажите это в тегах.

Подробнее про python...