手把手教你爬取天堂網1920*1080大圖片（批量下載）-理論篇

1 前言/

平時我們要下載圖片，要要一個一個點擊下載是不是覺得很麻煩？那有沒有更加簡便的方法呢？答案是肯定的，這里我們以天堂網為例，批量下載天堂網的圖片。

/2 項目準備工作/

首先我們第一步我們要安裝一個pycham的軟件。可以參考這篇文章：Python環境搭建—安利Python小白的Python和Pycharm安裝詳細教程。

天堂網的網址：

https://www.ivsky.com/bizhi/1920x1080/

我們需要下載幾個庫，怎么下載呢？打開pycharm，依次點擊File，再點開Settings，如下圖所示。

打開后會出現這個界面點擊你的項目名字（project：（你的項目名字）），之后在project interpreter下，點擊加號，而后下載我們需要的庫，如下圖所示。

本項目需要用到的是庫是requests、lxml、fake_useragent，如下圖所示。fake_useragent一般是沒有的，需要通過下面的命令進行安裝：

pip install fake_useragent

/3 項目實現/

1、導入需要的庫（requests，lxml， fake_useragent）。

2、我用了封裝方法去實現各個部分的功能。首先要寫一個框架：構造一個類TianTangWebsite ，然后定義一個init方法里繼承（self），再定義一個主方法（main）。最后實現這個main方法，依次一步一步進行實現。

3、我們把天堂網的網址拿過來，構造請求頭。這里說一下這個UserAgent的獲取方法。在打開天堂網的網站后，按下鍵盤上的F12鍵，之后會進入到開發者模式，之后點開network，如下圖所示。

4、而后隨便點擊一個name，復制header里邊的UserAgent就可以了。

5、我們點擊下一頁的地址觀察網址的變化，如下所示：

https://www.ivsky.com/bizhi/1920x1080/index_2.html
https://www.ivsky.com/bizhi/1920x1080/index_3.html
https://www.ivsky.com/bizhi/1920x1080/index_4.html

很明顯的發現，這個網址的網頁數字一直在變化。我們可以用格式化{}去代替變化的值，類似這樣：

https://www.ivsky.com/bizhi/1920x1080/index_{}.html

6、然后我們用for循環去遍歷這些網址，代碼如下所示：

def main(self):
    for i in range(1,2):#頁數隨機客戶隨便 設置
      url=self.url.format(i)
      print(url)

7、我們定義這個get_home()方法去請求到這個網址。

9、我們需要解析得到的數據，接下來定義一個xiap的方法，拿到我們請求的網址。接下來就是該項目的關鍵了。

10、至此，針對反爬蟲的措施我們已經提前做好了準備，下一步將進行網頁結構的分析以及網頁圖片地址數據的提取，并針對解析出來的圖片地址予以批量下載，具體實現咱們下篇文章進行詳解。

/4 小結/

本文主要內容為對圖片網站進行了基本簡介，基于 Python 中的爬蟲庫 requests 、lxml、fake_useragent，提前部署了請求頭，模擬瀏覽器，針對反爬蟲的措施我們已經提前做好了準備。

下篇文章將帶大家進行網頁結構的分析以及網頁圖片地址數據的提取，并針對解析出來的圖片地址予以批量下載，敬請期待~~

往期精彩文章推薦：

手把手用Python教你如何發現隱藏wifi
手把手教你用Python做個可視化的“剪刀石頭布”小游戲
手把手教你使用Python批量創建復工證明

想學習更多Python網絡爬蟲與數據挖掘知識，可前往專業網站：http://pdcfighting.com/

端JS怎么實現大文件G級的斷點續傳（分塊上傳）和分段下載，前端上傳文件或者上傳文件夾，HTML+AJAX實現上傳大文件方案，h5批量下載文件，HTTP+斷點續傳，前端處理大文件/視頻分片上傳，斷點續傳，VUE—實現文件上傳（多文件），圖片上傳，VUE 項目大文件上傳下載解決方案，VUE將前端的JSON文件上傳到后臺對應目錄，

JAVASCRIPT之分片上傳，斷點續傳的實際項目實現詳解，大文件上傳如何做斷點續傳?全端+后端結合開發，VUE實現文件上傳(單文件、多文件、分片上傳)，JS中實現文件上傳下載的三種解決方案(推薦)，JS實現大文件上傳——分片上傳方法，完美解決WEB無法上傳大文件方法，HTML大文件上傳源碼，

WEBUPLOAD組件實現文件上傳功能和下載功能，js大文件上傳下載解決方案，vue大文件上傳下載解決方案

asp.net大文件上傳下載解決方案，.net大文件上傳下載解決方案，webform大文件上傳下載解決方案，jsp大文件上傳下載解決方案，java大文件上傳下載解決方案，JAVASCRIPT 大文件上傳下載切片解決方案，JAVASCRIPT 大文件上傳下載切割解決方案，JAVASCRIPT 大文件上傳下載分割解決方案，JAVASCRIPT 大文件上傳下載分塊解決方案，JAVASCRIPT 大文件上傳下載分片解決方案，web大文件上傳下載解決方案，

網頁大文件上傳下載解決方案，前端大文件上傳下載解決方案，html5大文件上傳下載解決方案，JAVASCRIPT 大文件上傳下載解決方案，支持

之前在網上也找過相關的資料，論壇上也有網友交流過，但是基本上都不太令人滿意，與公司這邊的項目需求相差太遠。文章的話基本上大部分都是重復的內容，幾乎都是講的如何用HTML5來做，但是提到的也不多。關鍵點都說的不詳細，如何分塊，斷點續傳如何實現，如何保存進度。

HTML5,VUE2,VUE3,React，javascript等常用前端UI框架，JS框架，網上找的方案大多數都只是一些代碼片段，沒有提供完整的前后端代碼。

原理到是不復雜。上傳位置不能傳錯。用戶主要強調穩定性和兼容性。

之前在網上也搜過相關的資料。論壇里面也有一些網絡交流，但是都不太令人滿意。公司這邊實際上需要的是一成熟的商業解決方案，需要能夠提供成功案例，公司客戶都是國企。

跟項目經理溝通過，這塊網上搜到的文章能用的幾乎沒有。實際上客戶那邊比較在乎兩點。

之前項目上面用Flash比較多一點，現在基本上都是HTML5，斷點續傳除了頁面級以外最好還能夠提供離線支持。

支持IE，Chrome和信創國產化環境，比如銀河麒麟，統信UOS，龍芯，

支持分片，分塊，分段，切片，分割上傳。能夠突破chrome每域名的5個TCP連接限制，能夠突破chrome重啟，關閉瀏覽器續傳的限制。

支持10G,20G,50G,100G文件上傳和續傳，支持秒傳，支持文件夾上傳，重復文件檢測，重復文件校驗

支持文件下載，批量下載，下載斷點續傳，加密下載，端到端加密，加密算法支持國密SM4，多線程下載

支持在服務端保存文件夾層級結構，支持將文件夾層級結構信息保存到數據庫中，支持下載時能夠將文件夾層級結構下載下來，支持下載文件夾，下載文件夾支持斷點續傳，

支持加密傳輸，包括加密上傳，加密下載，加密算法支持國密SM4，

支持云對象存儲，比如華為云，阿里云，騰訊云，七牛云，AWS，MinIO,FastDFS，

提供手機，QQ，微信，郵箱等聯系方式，提供7*24小時技術支持，提供長期技術支持和維護服務，提供遠程1對1技術指導，提供二次開發指導，提供文檔教程，提供視頻教程。

視頻教程：

https://www.ixigua.com/7226245960341389859

1.下載示例

https://gitee.com/xproer/up6-vue-cli

將up6組件復制到項目中

示例中已經包含此目錄

1.引入up6組件

2.配置接口地址

接口地址分別對應：文件初始化，文件數據上傳，文件進度，文件上傳完畢，文件刪除，文件夾初始化，文件夾刪除，文件列表

參考：http://www.ncmem.com/doc/view.aspx?id=e1f49f3e1d4742e19135e00bd41fa3de

3.處理事件

啟動測試

啟動成功

效果

數據庫

源碼工程文檔：https://drive.weixin.qq.com/s?k=ACoAYgezAAw1dWofra

源碼報價單：https://drive.weixin.qq.com/s?k=ACoAYgezAAwoiul8gl

OEM版報價單：https://drive.weixin.qq.com/s?k=ACoAYgezAAwuzp4W0a

控件源碼下載：https://drive.weixin.qq.com/s?k=ACoAYgezAAwbdKCskc
授權碼生成器：https://drive.weixin.qq.com/s?k=ACoAYgezAAwTIcFph1

s大文件上傳下載解決方案，vue大文件上傳下載解決方案，asp.net大文件上傳下載解決方案，.net大文件上傳下載解決方案，webform大文件上傳下載解決方案，jsp大文件上傳下載解決方案，java大文件上傳下載解決方案，JAVASCRIPT 大文件上傳下載切片解決方案，JAVASCRIPT 大文件上傳下載切割解決方案，JAVASCRIPT 大文件上傳下載分割解決方案，JAVASCRIPT 大文件上傳下載分塊解決方案，JAVASCRIPT 大文件上傳下載分片解決方案，web大文件上傳下載解決方案，網頁大文件上傳下載解決方案，前端大文件上傳下載解決方案，html5大文件上傳下載解決方案，JAVASCRIPT 大文件上傳下載解決方案，支持HTML5,VUE2,VUE3,React，javascript等常用前端UI框架，JS框架