Недавно у меня возникла потребность скачивать кучу всяких документов из веба. Естественно не ручками, а питонячими скриптами. Но вот беда — довольно часто странички содержат кракозябры какую-то хрень.
Конечно, есть же куча всяких онлайн декодеров, типа 2cyr и пр. Но это всё не то — хочется всё же иметь возможность чинить кракозябры в скриптах. Перерыл кучу мест — не нашёл ничего годного для питона. В итоге почесал репу и накидал свой велосипед. Велосипед едет медленно, но зато едет.
Получившаяся библиотека менее интеллектуальная чем 2cyr — не умеет, например, декодить такие «кракозябры»:
На самом деле данное решение умеет делать только одно — распутывать цепочки последовательных перекодировок в удобочитаемый вид. Например, если текст в кодировке CP1251 был отображён в кодировке KOI8-R, то получится примерно такая фигня: йПЮЙНГЪАПШ АКЕЮРЭ.
Я не преследую сейчас цель что-то детально расписывать и плодить длинный пост. Я хочу сэкономить время того, кому моё решение может пригодиться.
Собственно,
или
После этого можно сделать так:
Пользуйтесь на здоровье, заодно может под виндой кто-нибудь потестит (:
UPD.
Немножко допилил код, теперь оно умеет почти все кейсы из примеров на 2cyr.com. Например "èðèëèöà" или "%D0%A2%D0%BE%D0%B2%D0%B0+%D0%B5+%D0%BA".
Конечно, есть же куча всяких онлайн декодеров, типа 2cyr и пр. Но это всё не то — хочется всё же иметь возможность чинить кракозябры в скриптах. Перерыл кучу мест — не нашёл ничего годного для питона. В итоге почесал репу и накидал свой велосипед. Велосипед едет медленно, но зато едет.
Получившаяся библиотека менее интеллектуальная чем 2cyr — не умеет, например, декодить такие «кракозябры»:
ирилицаНа самом деле данное решение умеет делать только одно — распутывать цепочки последовательных перекодировок в удобочитаемый вид. Например, если текст в кодировке CP1251 был отображён в кодировке KOI8-R, то получится примерно такая фигня: йПЮЙНГЪАПШ АКЕЮРЭ.
Я не преследую сейчас цель что-то детально расписывать и плодить длинный пост. Я хочу сэкономить время того, кому моё решение может пригодиться.
Собственно,
$ pip install recoder
или
$ git clone https://bitbucket.org/dkuryakin/recoder.git
$ cd recoder && python setup.py install
После этого можно сделать так:
$ echo йПЮЙНГЪАПШ АКЕЮРЭ | python -mrecoder utf-8 # тут указываем кодировку локали.
Пользуйтесь на здоровье, заодно может под виндой кто-нибудь потестит (:
UPD.
Немножко допилил код, теперь оно умеет почти все кейсы из примеров на 2cyr.com. Например "èðèëèöà" или "%D0%A2%D0%BE%D0%B2%D0%B0+%D0%B5+%D0%BA".
