Go语言视频零基础入门到精通

admin

python爬虫中文乱码

前几天用python来爬取全国行政区划编码的时候，遇到了中文乱码的问题，折腾了一会儿，才解决。现特记录一下，方便以后查看。

我是用python的requests和bs4库来实现爬虫，这两个库的简单用法可参照python爬取当当网的书籍信息并保存到csv文件
乱码未处理前部分代码

1. [code]   url = "要爬取的网页"
2.     r = requests.get(url, timeout=30)
3.     soup = BeautifulSoup(r.text, "lxml")

复制代码

[/code]
乱码原因
我爬取的网页使用的编码是GBK。所以要按GBK编码，才能避免中文乱码。
解决乱码的代码

1. [code]   url = "要爬取的网页"
2.     r = requests.get(url, timeout=30)
3.     r.encoding="GBK"   #增加encoding=‘GBK’，解决中文乱码问题
4.     soup = BeautifulSoup(r.text, "lxml")

复制代码

[/code]
【原创声明】转载请标明出处：https://www.cnblogs.com/surecheun/p/9694052.html