前言
鉴于国内的网络环境,想爬取一些被墙的网站,只能通过代理或其他方式,而我使用的是SS代理,SS使用的是socks5代理方式,而requests爬取网站内容的时候是不支持socks代理的,那么如何使requests通过socks代理工作?
其实,我们发现在2016-04-29发布的requests 2.10.0版本中,提供了对socks代理工作的支持,前提是需要安装PySocks,安装代码如下:1$ pip install pysocks
用法
|
|
鉴于国内的网络环境,想爬取一些被墙的网站,只能通过代理或其他方式,而我使用的是SS代理,SS使用的是socks5代理方式,而requests爬取网站内容的时候是不支持socks代理的,那么如何使requests通过socks代理工作?
其实,我们发现在2016-04-29发布的requests 2.10.0版本中,提供了对socks代理工作的支持,前提是需要安装PySocks,安装代码如下:1$ pip install pysocks
|
|
文章导航