什么要用代理IP

很多數(shù)據(jù)網(wǎng)站，對于反爬蟲都做了一定的限制，這個如果寫過一些爬蟲程序的小伙伴應(yīng)該都深有體會，其實主要還是IP進(jìn)了小黑屋了，那么為了安全，就不能使用自己的實際IP去爬取人家網(wǎng)站了，這個時候，就需要采用代理IP去做這些事情……

為什么要用高匿代理

我們可以對比不同類型的代理的區(qū)別，根據(jù)代理的匿名程度，代理可以分為如下類別：

• 高度匿名代理：會將數(shù)據(jù)包原封不動的轉(zhuǎn)發(fā)，在服務(wù)端看來就好像真的是一個普通客戶端在訪問，而記錄的IP則是代理服務(wù)器的IP。
• 普通匿名代理：會在數(shù)據(jù)包上做一些改動，服務(wù)器上有可能發(fā)現(xiàn)這是個代理服務(wù)器，也有一定幾率追查到客戶端的真實IP。
• 透明代理：不但改動了數(shù)據(jù)包，還會告訴服務(wù)器客戶端的真實IP。
• 間諜代理：指組織或個人創(chuàng)建的用戶記錄用戶傳輸?shù)臄?shù)據(jù)，然后進(jìn)行研究、監(jiān)控等目的的代理服務(wù)器。

運行環(huán)境

Python運行環(huán)境：Windows + python3.6
用到的模塊：requests、bs4、json
如未安裝的模塊，請使用pip instatll xxxxxx進(jìn)行安裝，例如：pip install requests

爬取西刺代理IP

這里，我只大概爬取西刺高匿代理50頁的數(shù)據(jù)，當(dāng)然了，爬100頁，爬全部，都是可以的，就不多說了；

def run(self):
    """執(zhí)行入口"""
    page_list=range(1, 51)
    with open("ip.json", "w") as write_file:
        for page in page_list:
            # 分頁爬取數(shù)據(jù)
            print('開始爬取第' + str(page) + '頁IP數(shù)據(jù)')
            ip_url=self.base_url + str(page)
            html=self.get_url_html(ip_url)
            soup=BeautifulSoup(html, 'html.parser')
            # IP列表
            ip_list=soup.select('#ip_list .odd')
            for ip_tr in ip_list:
                # 單條Ip信息
                td_list=ip_tr.select('td')
                ip_address=td_list[1].get_text()
                ip_port=td_list[2].get_text()
                ip_type=td_list[5].get_text()
                info={'ip': ip_address, 'port': ip_port, 'type': ip_type}
                # 先校驗一下IP的有效性再存儲
                check_res=self.check_ip(info)
                if check_res:
                    print('IP有效：', info)
                    self.json_data.append(info)
                else:
                    print('IP無效：', info)
        json.dump(self.json_data, write_file)
復(fù)制代碼

檢測代理IP是否有效

爬取到的代理IP可能不能用，為了方便使用的時候，不報太多異常錯誤，所以需要先檢測一下IP是否能正常使用，是否是有效代理IP，我這里列了三個網(wǎng)站，都可以很方便的檢測IP地址是否能有效使用

• icanhazip.com/ 這個網(wǎng)站能直接返回代理的IP地址
• www.ip.cn/ 查詢到代理的IP地址和位置信息
• ip.chinaz.com/ 站長工具也能定位到IP地址和位置信息

def check_ip(self, ip_info):
    """測試IP地址是否有效"""
    ip_url=ip_info['ip'] + ':' + str(ip_info['port'])
    proxies={'http': 'http://' + ip_url, 'https': 'https://' + ip_url}
    res=False
    try:
        request=requests.get(url=self.check_url, headers=self.header, proxies=proxies, timeout=3)
        if request.status_code==200:
            res=True
    except Exception as error_info:
        res=False
    return res
復(fù)制代碼

存儲代理IP

我這里就不搞那些花里胡哨的，我直接把所有有效的代理IP的json格式的數(shù)據(jù)存儲到文件中，當(dāng)然了，也可以存儲到MongoDB或者M(jìn)ySQL數(shù)據(jù)庫中，不管怎樣存儲，在使用的時候都是隨機(jī)選取一個IP，更加方便快捷。

完整代碼

代碼我已經(jīng)上傳了GitHub（GitHub源碼地址），但是呢，作為一個熱心的搬瓦工，為了方便部分人想偷懶，不直接去交友網(wǎng)站查看，我在這里也貼一下源碼出來吧，如果有啥問題，最好還是去交友網(wǎng)站找我，請接碼……

#!/usr/bin/env python
# -*- coding: utf-8 -*-

"""
利用requests+bs4爬取國內(nèi)高匿代理IP
author: gxcuizy
date: 2020-06-19
"""

import requests
from bs4 import BeautifulSoup
import json


class GetIpData(object):
    """爬取50頁國內(nèi)高匿代理IP"""
    header={'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.106 Safari/537.36'}
    base_url='https://www.xicidaili.com/nn/'
    check_url='https://www.ip.cn/'
    json_data=[]

    def get_url_html(self, url):
        """請求頁面html"""
        request=requests.get(url=url, headers=self.header, timeout=5)
        html=False
        if request.status_code==200:
            html=request.content
        return html

    def check_ip(self, ip_info):
        """測試IP地址是否有效"""
        ip_url=ip_info['ip'] + ':' + str(ip_info['port'])
        proxies={'http': 'http://' + ip_url, 'https': 'https://' + ip_url}
        res=False
        try:
            request=requests.get(url=self.check_url, headers=self.header, proxies=proxies, timeout=3)
            if request.status_code==200:
                res=True
        except Exception as error_info:
            res=False
        return res

    def run(self):
        """執(zhí)行入口"""
        page_list=range(1, 51)
        with open("ip.json", "w") as write_file:
            for page in page_list:
                # 分頁爬取數(shù)據(jù)
                print('開始爬取第' + str(page) + '頁IP數(shù)據(jù)')
                ip_url=self.base_url + str(page)
                html=self.get_url_html(ip_url)
                soup=BeautifulSoup(html, 'html.parser')
                # IP列表
                ip_list=soup.select('#ip_list .odd')
                for ip_tr in ip_list:
                    # 單條Ip信息
                    td_list=ip_tr.select('td')
                    ip_address=td_list[1].get_text()
                    ip_port=td_list[2].get_text()
                    ip_type=td_list[5].get_text()
                    info={'ip': ip_address, 'port': ip_port, 'type': ip_type}
                    # 先校驗一下IP的有效性再存儲
                    check_res=self.check_ip(info)
                    if check_res:
                        print('IP有效：', info)
                        self.json_data.append(info)
                    else:
                        print('IP無效：', info)
            json.dump(self.json_data, write_file)


# 程序主入口
if __name__=='__main__':
    # 實例化
    ip=GetIpData()
    # 執(zhí)行腳本
    ip.run()
復(fù)制代碼

最后，小編想說：我是一名python開發(fā)工程師，

整理了一套最新的python系統(tǒng)學(xué)習(xí)教程，

想要這些資料的可以關(guān)注私信小編“01”即可（免費分享哦）希望能對你有所幫助

最近需要在web項目中顯示監(jiān)控視頻，采用了webrtc+webrtc-streamer+coturn的方案實現(xiàn)，能夠在公網(wǎng)上做很低的延時，對于實時監(jiān)控視頻有很好的效果，是目前來講比較好的一個選擇方案。

1、webrtc 用于視頻流的顯示。

2、webrtc-streamer負(fù)責(zé)去監(jiān)控視頻主機(jī)（這里多數(shù)是NVR或DVR）去拉取RSTP視頻流，并轉(zhuǎn)發(fā)到Webrtc中進(jìn)行顯示。

3、coturn用于webrtc與webrtc-streamer之間的通信穿透服務(wù)，主要作用是穿透做NAT穿透，讓雙方找到能互相找到。

一、webrtc-streamer安裝

這里采用的是CentOS 7系統(tǒng)，直接采用的Docker安裝，關(guān)于Docker安裝可以參考《Kubernetes安裝記錄》的docker部分。

docker pull mpromonet/webrtc-streamer
docker run -itd -p 8000:8000 --name webrtc-streamer mpromonet/webrtc-streamer -s120.92.19.150:3478 -tnoka:noka@120.92.19.150:3478

這里后面的-t和-s參數(shù)分別指向cotum的strun和tun服務(wù)，這里同內(nèi)一定要用自己搭建的穿透服務(wù)，webrtc-streamer內(nèi)置的服務(wù)是指向goole提供的一個服務(wù)，國內(nèi)訪問及其不穩(wěn)定，關(guān)于cotum的安裝請參照官網(wǎng)。這里啟動好以后，就可以通過瀏覽器訪問8000端口的服務(wù)了，這里可以通過以下地址來驗證視頻流服是否成功。

http://ip:8000/webrtcstreamer.html?rtsp://admin:admin@ip:554/Streaming/Channels/101

如果上面的地址能播放視頻，說明配置成功了，地址后面的參數(shù)是視頻流的地址。

二、web端視頻顯示代碼

<!DOCTYPE html>
<html lang="en">
<head>
    <meta charset="UTF-8">
    <title>Title</title>
    <!-- webrtc公用庫-->
    <script src="/js/adapter.js"></script>
    <!-- webrtc-streamer調(diào)用庫，來自webrtc-streamer-->
    <script src="/js/webrtcstreamer.js"></script>
</head>
<body>
<!-- 視頻顯示部分 -->
<div id="play_div"></div>
<script>
    var webRtcServerList=[];//視頻流服務(wù)對象部分
    var urls=[
        'rtsp://admin:HUAN1415@192.168.1.106:554/Streaming/Channels/102',//視頻流地址
        'rtsp://admin:HUAN1415@210.201.225.44:554/Streaming/Channels/202'//視頻流地址
    ];
    var rsurl='http://210.201.225.42:8000/';//webrtc-streamer服務(wù)地址
    //---------創(chuàng)建視頻播放界面--------------------------------------------------------
    function plays(idx){
        var videoelt=document.createElement("video");//創(chuàng)建一個播放器
        var vi_tag='videoTag_'+idx;//播放器的id
        videoelt.id=vi_tag;//播放器id
        videoelt.muted=true;
        videoelt.width=500;
        videoelt.height=600;
        videoelt.controls=true;//開啟進(jìn)度條
        document.getElementById ("play_div").appendChild(videoelt);//添加播放器到界面中
        var webRtcServer=new WebRtcStreamer(vi_tag,rsurl);//創(chuàng)建webrtc流對象
        //連接視頻,參數(shù)1 視頻地址，參數(shù)2 音頻地址（這里沒有），參數(shù)3 連接參數(shù)(這里采用的是tcp,120秒超時等）
        webRtcServer.connect(urls[idx],undefined,"rtptransport=tcp&timeout=120&width=320&height=0");
        webRtcServerList[idx]=webRtcServer;//緩存視頻流對象
    }
    //----------頁面退出時關(guān)閉播放流---------------------
    window.onbeforeunload=function() {
        for(var i=0;i<webRtcServerList.length;i++){
            webRtcServerList[i].disconnect();
        }
    }
    //---------初始化加載視頻----------------------------
    window.onload=function() {
        for(var i=0;i<urls.length;i++){
            plays(i);
        }
    }
</script>
</body>
</html>

這樣就完成了整個項目實現(xiàn)，這里如果視頻沒有播放成功，最有可能是穿透服務(wù)的問題，需要檢查穿透服務(wù)。