免费代理------gitee

下载地址

        proxy_pool: dddddddddddddd (gitee.com)

    -1 使用爬虫技术,爬取网上免费的代理
    -2 爬完回来做验证,如果能用,存到redis中
    # 启动调度程序,爬代理,验证,存到redis中
    python proxyPool.py schedule


    -3 使用flask启动服务,对外开放了几个接口,向某个接口发请求,就能随机获取一个代理
    # 启动webApi服务
    python proxyPool.py server

#搭建步骤:
     1 从git拉去开源代码
        git clone https://github.com/jhao104/proxy_pool.git
    2 使用pycharm打开,创建虚拟环境
        mkvirtualenv -p python3 pool
    3 配置项目使用虚拟环境
    4 修改项目配置文件
        DB_CONN = 'redis://127.0.0.1:6379/2'
        HTTP_URL = "http://www.baidu.com"
        HTTPS_URL = "https://www.baidu.com"
        
    5 启动调度程序---》爬取网站,验证,存到redis
        python proxyPool.py schedule
        
    6 启动web程序(flask写的)
        python proxyPool.py server
        
    7 向http://192.168.1.252:5010/get/?type=http 地址发送请求就可以随机获取代理ip文章来源地址https://uudwc.com/A/AZv2r

原文地址:https://blog.csdn.net/xiaolisolovely/article/details/131647675

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请联系站长进行投诉反馈,一经查实,立即删除!

h
上一篇 2023年07月11日 17:08
设计模式【创建型】-- 原型模式
下一篇 2023年07月11日 17:09