requests + BeautifulSoupでスクレイピングで文字化けしたときの対処法

from bs4 import BeautifulSoup
import requests

r = requests.get(page_url)
# 追加する
r.encoding = r.apparent_encoding
soup = BeautifulSoup(r.text, 'lxml')

文字化けは解決するが若干時間がかかるようになる。

Pythonクローリング&スクレイピング -データ収集・解析のための実践開発ガイド-