今天偶然在看一点关于爬虫的东西,忽然想到之前爬东西动不动就各种被封IP,想想就不爽。结果在网上乱逛居然还逛到了这个资源
呐 公共代理池,就是这个proxy_pool
简单的说就是把各个网站上所有的免费的ip代理池集合到一起,做成了个可以部署的API
然后傻翠也凑了凑热闹在自己的服务器上部署了一个ww
简单的说可以这么用:
https://api.idealclover.cn/proxy_pool/get :就可以成功请求代理池中的一个代理啦
需要用代理池的时候就先请求一个下来,然后在http请求中加上代理选项
具体的部署方式还需要完善~
我用的是官网给出的docker-compose的部署方式,还是比较简单的
//TODO
已有 2 条评论
API 地址 和 https://api.idealclover.cn/proxy_pool/get 两个链接失效
自己部署吧~我这儿的下线了