前言
鉴于国内的网络环境,想爬取一些被墙的网站,只能通过代理或其他方式,而我使用的是SS代理
,SS
使用的是socks5
代理方式,而requests
爬取网站内容的时候是不支持socks
代理的,那么如何使requests
通过socks
代理工作?
其实,我们发现在2016-04-29
发布的requests 2.10.0
版本中,提供了对socks
代理工作的支持,前提是需要安装PySocks
,安装代码如下:1$ pip install pysocks
用法
|
|
鉴于国内的网络环境,想爬取一些被墙的网站,只能通过代理或其他方式,而我使用的是SS代理
,SS
使用的是socks5
代理方式,而requests
爬取网站内容的时候是不支持socks
代理的,那么如何使requests
通过socks
代理工作?
其实,我们发现在2016-04-29
发布的requests 2.10.0
版本中,提供了对socks
代理工作的支持,前提是需要安装PySocks
,安装代码如下:1$ pip install pysocks
|
|
文章导航