免费代理------gitee

淘淘桃 • 2023年07月11日 17:08 • 2年前 • 编程日记 • 阅读(2) • 违法举报

下载地址

proxy_pool: dddddddddddddd (gitee.com)

-1 使用爬虫技术，爬取网上免费的代理
-2 爬完回来做验证，如果能用，存到redis中
# 启动调度程序，爬代理，验证，存到redis中
python proxyPool.py schedule

-3 使用flask启动服务，对外开放了几个接口，向某个接口发请求，就能随机获取一个代理
# 启动webApi服务
python proxyPool.py server

#搭建步骤:
   1 从git拉去开源代码
   git clone https://github.com/jhao104/proxy_pool.git
2 使用pycharm打开，创建虚拟环境
   mkvirtualenv -p python3 pool
3 配置项目使用虚拟环境
4 修改项目配置文件
   DB_CONN = 'redis://127.0.0.1:6379/2'
       HTTP_URL = "http://www.baidu.com"
       HTTPS_URL = "https://www.baidu.com"

5 启动调度程序---》爬取网站，验证，存到redis
   python proxyPool.py schedule

6 启动web程序（flask写的）
   python proxyPool.py server

7 向http://192.168.1.252:5010/get/?type=http 地址发送请求就可以随机获取代理ip文章来源地址https://uudwc.com/A/AZv2r

原文地址:https://blog.csdn.net/xiaolisolovely/article/details/131647675

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：如若内容造成侵权/违法违规/事实不符，请联系站长进行投诉反馈，一经查实，立即删除！