Go语言视频零基础入门到精通

admin

在编写爬虫进行网页数据的时候，大多数情况下，需要在请求是增加请求头，下面介绍一个python下非常好用的伪装请求头的库：fake-useragent，具体使用说明如下：

  安装fake-useragent库
  
pip install fake-useragent

  获取各浏览器的fake-useragent
  

1. [code]from fake_useragent import UserAgent
2. ua = UserAgent()
3. #ie浏览器的user agent
4. print(ua.ie)
6. #opera浏览器
7. print(ua.opera)
9. #chrome浏览器
10. print(ua.chrome)
12. #firefox浏览器
13. print(ua.firefox)
15. #safri浏览器
16. print(ua.safari)
18. #最常用的方式
19. #写爬虫最实用的是可以随意变换headers，一定要有随机性。支持随机生成请求头
20. print(ua.random)
21. print(ua.random)
22. print(ua.random)

复制代码

[/code]
示例代码

1. [code]from fake_useragent import UserAgent
2. import requests
3. ua=UserAgent()
4. #请求的网址
5. url="http://www.baidu.com"
6. #请求头
7. headers={"User-Agent":ua.random}
8. #请求网址
9. response=requests.get(url=url,headers=headers)
10. #响应体内容
11. print(response.text)
12. #响应状态信息
13. print(response.status_code)
14. #响应头信息
15. print(response.headers)

复制代码

[/code]