ython作為一門高級編程語言，它的定位是優雅、明確和簡單。我學用python差不多一年時間了，用得最多的還是各類爬蟲腳本：寫過抓代理本機驗證的腳本，寫過論壇中自動登錄自動發貼的腳本，寫過自動收郵件的腳本，寫過簡單的驗證碼識別的腳本。

這些腳本有一個共性，都是和web相關的，總要用到獲取鏈接的一些方法，故累積了不少爬蟲抓站的經驗，在此總結一下，那么以后做東西也就不用重復勞動了。

下面分享一個小案例，實現爬取網站里面的圖片，包括源碼及實現思路。

一、還原手工操作

所謂爬取頁面圖片，正常人手動操作可以分為兩步：

1.打開頁面

2.選中圖片下載到指定文件夾

用代碼實現的話可以節省掉每次下載圖片的操作，運行代碼實現批量下載。

二、設計代碼實現

步驟一：導入相關庫操作

import urllib #導入urllib包

import urllib.request#導入urllib包里的request方法

import re #導入re正則庫

步驟二：定義解析頁面 load_page（）

這個函數實現打開傳入的路徑并將頁面數據讀取出來，實現代碼，包括發送請求，打開頁面，獲取數據。

代碼實現：

def load_page(url):

request=urllib.request.Request(url)#發送url請求

response=urllib.request.urlopen(request)#打開url網址

data=response.read()#讀取頁面數據

return data#返回頁面數據

步驟三：定義get_image()函數

首先利用正則表達式匹配圖片路徑并存到數組中。

其次遍歷數組實現圖片下載操作。

代碼實現：

def get_image(html):

regx=r'http://[\S]*jpg' #定義正則匹配公式

pattern=re.compile(regx)#構造匹配模式，速度更快

get_image=re.findall(pattern,repr(html))#repr（）將內容轉化為字符串形式，findall列表形式展示正則表達式匹配的結果

num=1 #定義變量控制循環

for img in get_image: #定義變量遍歷數組

image=load_page(img)#將圖片路徑傳入加載函數

with open('F:\photo\%s.jpg'%num,'wb') as fb: #以只讀方式打開圖片并命名

fb.write(image) #寫入內容

print('正在下載第%s張圖片'%num)

num=num+1 #變量遞增

print("下載完成")

步驟四：函數調用

#調用函數

url='http://p.weather.com.cn/2019/10/3248439.shtml' #傳入url路徑

html=load_page(url)#加載頁面

get_image(html)#圖片下載

關鍵單詞釋義

如果第一次接觸爬蟲代碼，相信有幾個單詞大家很陌生，為了方便記憶我把他們歸類到一起加深印象，你也可以拿出一張白紙試著努力回憶著。

1.爬蟲協議庫ulrlib、urllib.request

2.正則匹配庫rb

3.發送請求方法request（）

4.打開頁面方法urlopen（）

5.讀取數據方法read（）

6.正則表達式-所有圖片【\S】*.jpg

7.匹配模式定義compile（）

8.查找匹配findall（）

9.循環遍歷語句 for a in b

10.打開文件 并命名 with open（）... as fb

11.寫到... write*()

12.輸出語句 print（）

到現在為止可以把我上面的代碼在pycharm中打開嘗試著運行起來吧！

最后，有2個報錯信息匯總供參考：

1. module 'urllib' has no attribute 'requset'

定位到當行語句，發現request 單詞拼寫錯誤。

2. 沒有報錯，但是圖片沒有下載成功

重新檢查代碼，發現正則表達式寫的有錯誤，記住是大寫的S修改完之后看效果。

我是誰？

我是一名從事了多年軟件測試的老測試員，今年年初我花了一個月整理了一份最適合2020年學習的軟件測試學習干貨，可以送給每一位對軟件測試感興趣的小伙伴，想要獲取的可以關注我的頭條號+私信：【測試】，即可免費獲取。

不缺好看的桌面呢？這邊來爬取網站超清圖片吧

本次爬蟲用到的網址是：

http://www.netbian.com/index.htm: 彼岸桌面.里面有很多的好看壁紙，而且都是可以下載高清無損的，還比較不錯，所以我就拿這個網站練練手。

作為一個初學者，剛開始的時候，無論的代碼的質量如何，總之代碼只要能夠被正確完整的運行那就很能夠讓自己開心的，如同我們的游戲一樣，能在短時間內得到正向的反饋，我們就會更有興趣去玩。

學習也是如此，只要我們能夠在短期內得到學習帶來的反饋，那么我們的對于學習的欲望也是強烈的。能夠完整的完整此次爬蟲程序的編寫，那便是一個最大的收貨，但其實我在此次過程中的收獲遠不止此。

好的代碼其實應該具有以下特性

1. 能夠滿足最關鍵的需求
2. 容易理解
3. 有充分的注釋
4. 使用規范的命名
5. 沒有明顯的安全問題
6. 經過充分的測試

就以充分的測試為例，經常寫代碼的就應該知道，盡管多數時候你的代碼沒有BUG,但那僅僅說明只是大多數情況下是穩定的，但是在某些條件下就會出錯（達到出錯條件，存在邏輯問題的時候等）。這是肯定的。至于什么原因，不同的代碼有不同的原因。如果代碼程序都是一次就能完善的，那么我們使用的軟件的軟件就不會經常更新了。其他其中的道理就不一 一道說了，久而自知。

好的代碼一般具有的5大特性

1.便于維護
2.可復用
3.可擴展
4.強靈活性
5.健壯性

經過我的代碼運行我發現時間復雜度比較大，因此這是我將要改進的地方，但也不止于此。也有很多利用得不合理的地方，至于存在的不足的地方就待我慢慢提升改進吧！

路過的大佬歡迎留下您寶貴的代碼修改意見，

完整代碼如下

import os
import bs4
import re
import time
import requests
from bs4 import BeautifulSoup

def getHTMLText(url, headers):
    """向目標服務器發起請求并返回響應"""
    try:
        r = requests.get(url=url, headers=headers)
        r.encoding = r.apparent_encoding
        soup = BeautifulSoup(r.text, "html.parser")
        return soup
    except:
        return ""

def CreateFolder():
    """創建存儲數據文件夾"""
    flag = True
    while flag == 1:
        file = input("請輸入保存數據文件夾的名稱：")
        if not os.path.exists(file):
            os.mkdir(file)
            flag = False
        else:
            print('該文件已存在，請重新輸入')
            flag = True

    # os.path.abspath(file)  獲取文件夾的絕對路徑
    path = os.path.abspath(file) + "\\"
    return path

def fillUnivList(ulist, soup):
    """獲取每一張圖片的原圖頁面"""
    # [0]使得獲得的ul是 <class 'bs4.BeautifulSoup'> 類型
    div = soup.find_all('div', 'list')[0]
    for a in div('a'):
        if isinstance(a, bs4.element.Tag):
            hr = a.attrs['href']
            href = re.findall(r'/desk/[1-9]\d{4}.htm', hr)
            if bool(href) == True:
                ulist.append(href[0])

    return ulist

def DownloadPicture(left_url,list,path):
    for right in list:
        url = left_url + right
        r = requests.get(url=url, timeout=10)
        r.encoding = r.apparent_encoding
        soup = BeautifulSoup(r.text,"html.parser")
        tag = soup.find_all("p")
        # 獲取img標簽的alt屬性，給保存圖片命名
        name = tag[0].a.img.attrs['alt']
        img_name = name + ".jpg"
        # 獲取圖片的信息
        img_src = tag[0].a.img.attrs['src']
        try:
            img_data = requests.get(url=img_src)
        except:
            continue

        img_path = path + img_name
        with open(img_path,'wb') as fp:
            fp.write(img_data.content)
        print(img_name, "   ******下載完成！")

def PageNumurl(urls):
    num = int(input("請輸入爬取所到的頁碼數："))
    for i in range(2,num+1):
        u = "http://www.netbian.com/index_" + str(i) + ".htm"
        urls.append(u)

    return urls


if __name__ == "__main__":
    uinfo = []
    left_url = "http://www.netbian.com"
    urls = ["http://www.netbian.com/index.htm"]
    headers = {
        "User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/89.0.4389.90 Safari/537.36"
    }
    start = time.time()
    # 1.創建保存數據的文件夾
    path = CreateFolder()
    # 2. 確定要爬取的頁面數并返回每一頁的鏈接
    PageNumurl(urls)
    n = int(input("訪問的起始頁面："))
    for i in urls[n-1:]:
        # 3.獲取每一個頁面的首頁數據文本
        soup = getHTMLText(i, headers)
        # 4.訪問原圖所在頁鏈接并返回圖片的鏈接
        page_list = fillUnivList(uinfo, soup)
        # 5.下載原圖
        DownloadPicture(left_url, page_list, path)

    print("全部下載完成！", "共" + str(len(os.listdir(path))) + "張圖片")
    end = time.time()
    print("共耗時" + str(end-start) + "秒")

運行

部分展示結果如下：

起學Python，一起寫代碼，加油！奧利給！！！

片和屬性

• 本次我們將了解如何在頁面添加圖片，圖片屬性的標簽是<img />,注意圖片屬性是沒有像段落標簽那樣的關閉標簽；如下方所示：

 <img src="./post-img.jpg" />

注：HTML有多種標簽中使用的屬性，屬性的作用是描述元素，src就是屬性，為了描述圖片。圖片的路徑可以是絕對路徑也可以是相對路徑。

• 除此之外，為了防止圖片顯示不正常，所以我們將給圖片一段描述文字。這個非常重要！也有其他場景可以用到，例如盲人使用網頁可以通過文字閱讀的方式展現給他。如下方所示：

 <img src="./post-img.jpg" alt="HTML 代碼圖片" />

若我們圖片無法顯示，將會如下圖顯示:

• 現在圖片是放在網頁上面了，但是圖片太大了，我們如何控制圖片的高度和寬度的，這樣就是使用width和height去控制圖片的寬度和高度，默認數值是px像素，現在我們不需要知道像素是什么，等CSS我們細說，如下方所示：

<img src="./post-img.jpg" alt="HTML 代碼圖片" width="500" height="200" />

其他屬性

• 除了圖片的屬性，還有其他很多屬性，例如頁面的語言元素，在html標簽使用lang=“zh-CN” ,CN代表中文；如下所示：

<html lang="zh-CN">

• 接著我們看看編碼格式

<head>
 <meta charset="UTF-8" />   
</head>

注：meta元素代表元數據,【charset="UTF-8"】，表示字符集編碼格式為UTF-8

• 結合上一章，本次我們需要實現的頁面是這樣的