近暑假來臨，好多小伙伴都在找暑期實(shí)習(xí)吧？前幾天，朋友弟弟，想在暑假期間找個實(shí)習(xí)工作鍛煉自己，可是面對網(wǎng)絡(luò)上幾千條實(shí)習(xí)招聘信息，簡直讓人頭大。隨后朋友向我發(fā)出了“請求幫助”的信息，我了解了大致情況后，立馬用爬蟲爬取了實(shí)習(xí)網(wǎng)的的信息，將數(shù)據(jù)結(jié)果發(fā)了過去，問題分分鐘解決。這請我吃一頓飯不過分吧？

這篇爬蟲實(shí)戰(zhàn)教程，不僅適合新手練習(xí)爬蟲，也適合需要找實(shí)習(xí)信息的朋友！

希望在看了這篇文章后，能夠清晰地知道整個爬蟲流程，并且能夠獨(dú)立自主地完成，其次，能夠通過自己的爬蟲實(shí)戰(zhàn)，獲取自己想要的信息。

好了，話不多說，咱們就開始吧！

內(nèi)容主要分為兩大部分：

1. 頁面分析
2. 爬蟲步驟詳解

一、目標(biāo)頁面分析

首先，我們應(yīng)該要知道自己的爬蟲目標(biāo)是個什么東西吧？俗話說，知己知彼，百戰(zhàn)不殆。我們已經(jīng)知道自己要爬取的頁面是“實(shí)習(xí)網(wǎng)”，所以，咱們首先得去實(shí)習(xí)網(wǎng)看看，都有些什么數(shù)據(jù)。

實(shí)習(xí)網(wǎng)址：https://www.shixi.com/search/index

頁面如下：

例如我們要找的崗位是“品牌運(yùn)營”崗位的數(shù)據(jù)。因此直接在網(wǎng)頁的搜索框輸入品牌運(yùn)營就行了。你會發(fā)現(xiàn)url發(fā)生了變化！

注意：我們要爬取的頁面就是這頁：https://www.shixi.com/search/index?key=品牌運(yùn)營

在我們的爬取頁面中，我們需要觀察有哪些數(shù)據(jù)，并且一個頁面中有幾條數(shù)據(jù)。這個非常重要，關(guān)系到后面的代碼編寫，以及可以幫你檢查，是否爬取到了頁面的所有信息。

此時，我們要注意的是，我們所在的頁面是“一級頁面”，在瀏覽過程中，我們 點(diǎn)擊隨意一個崗位進(jìn)入后呈現(xiàn)的是“二級頁面”，此時你也會發(fā)現(xiàn)url又發(fā)生了變化。

例如，我們點(diǎn)一個品牌運(yùn)營實(shí)習(xí)，二級頁面就會自動跳轉(zhuǎn)成這樣，產(chǎn)生一個新的鏈接。如圖：

要爬取頁面上的那些信息呢？

我們在分析過程中發(fā)現(xiàn)，有些信息是在一級頁面中，有些是在二級頁面中。

在一級頁面中，我們可以獲取那些信息呢？如圖所示：

總共有五條有效數(shù)據(jù)：職位、公司名、學(xué)歷、薪資、地址

在二級頁面中，我們來看看可以獲取什么有效數(shù)據(jù)，領(lǐng)域和規(guī)模，階段如果你覺得重要的話，也可以納入爬蟲范圍，但是我個人認(rèn)為，這并不影響實(shí)習(xí)，畢竟不是找正式工作，影響不會很大，反而是招聘實(shí)習(xí)生的數(shù)量更為重要，這里并未顯示招聘人數(shù)，無法在圖片上呈現(xiàn)，后續(xù)可加上。

到這里，我們一共需要抓取7個數(shù)據(jù)，加上“人數(shù)”一共8個數(shù)據(jù)，這也就是我們爬蟲的最終目標(biāo)數(shù)據(jù)。

爬取“靜態(tài)”網(wǎng)頁

這里分析下什么叫靜態(tài)網(wǎng)頁，什么叫動態(tài)網(wǎng)頁。靜態(tài)網(wǎng)頁，隨著html代碼的生成，頁面的內(nèi)容和顯示效果就基本上不會發(fā)生變化了--除非你修改頁面代碼。而動態(tài)網(wǎng)頁則不然，頁面代碼雖然沒有變，但是顯示的內(nèi)容卻是可以隨著時間、環(huán)境或者數(shù)據(jù)庫操作的結(jié)果而發(fā)生改變的。

它們的區(qū)別就在于：靜態(tài)網(wǎng)頁中的數(shù)據(jù)，是一勞永逸，也就是說一次性給你。動態(tài)網(wǎng)頁中的數(shù)據(jù)，是隨著頁面一步步加載出來，而逐步呈現(xiàn)的，也就是你用靜態(tài)網(wǎng)頁的爬蟲技術(shù)，無法獲取到其中所有的數(shù)據(jù)。

值得強(qiáng)調(diào)的是，不要將動態(tài)網(wǎng)頁和頁面內(nèi)容是否有動感混為一談。這里說的動態(tài)網(wǎng)頁，與網(wǎng)頁上的各種動畫、滾動字幕等視覺上的動態(tài)效果沒有直接關(guān)系，動態(tài)網(wǎng)頁也可以是純文字內(nèi)容的，也可以是包含各種動畫的內(nèi)容，這些只是網(wǎng)頁具體內(nèi)容的表現(xiàn)形式，無論網(wǎng)頁是否具有動態(tài)效果，只要是采用了動態(tài)網(wǎng)站技術(shù)生成的網(wǎng)頁都可以稱為動態(tài)網(wǎng)頁。

點(diǎn)擊 “鼠標(biāo)右鍵”，點(diǎn)擊 “查看網(wǎng)頁源代碼”，最終效果如圖（部分截圖）：

這就是，最終反饋給你的數(shù)據(jù)，如果你發(fā)現(xiàn)自己想要的數(shù)據(jù)都在這里面，那么就可以說是靜態(tài)頁面，如若不然，則考慮為“動態(tài)頁面”。

今天這里的案例是靜態(tài)網(wǎng)頁。

大家知道，在寫代碼之前要先知道，我們要用哪些方式，哪些庫，哪些模塊去幫你解析數(shù)據(jù)。常見用來解析數(shù)據(jù)的方法有：re正則表達(dá)式、xpath、beatifulsoup、pyquery等。

我們需要用到的是xpath解析法來分析定位數(shù)據(jù)。

二、爬蟲代碼講解

1. 導(dǎo)入相關(guān)庫

爬蟲的第一步是要考慮好，爬蟲過程中需要用到哪些庫，要知道python是一個依賴于眾多庫的語言，沒有庫的Python是不完整的。

import pandas as pd # 用于數(shù)據(jù)存儲
import requests # 用于請求網(wǎng)頁
import chardet # 用于修改編碼
import re # 用于提取數(shù)據(jù)
from lxml import etree # 解析數(shù)據(jù)的庫
import time # 可以粗糙模擬人為請求網(wǎng)頁的速度
import warnings # 忽略代碼運(yùn)行時候的警告信息
warnings.filterwarnings("ignore")

2、請求一級頁面的網(wǎng)頁源代碼

url = 'https://www.shixi.com/search/index?key=品牌運(yùn)營&districts=&education=0&full_opportunity=0&stage=0&practice_days=0&nature=0&trades=&lang=zh_cn'
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.98 Safari/537.36'}
rqg = requests.get(url, headers=headers, verify=False) ①
rqg.encoding = chardet.detect(rqg.content)['encoding'] ②
html = etree.HTML(rqg.text)

這里我們要注意①②兩個地方。在①處，有兩個參數(shù)，一個是headers一個是verify。其中headers是一種反反扒的措施，讓瀏覽器認(rèn)為爬蟲不是爬蟲，而是人在用瀏覽器去正常請求網(wǎng)頁。verify是忽略安全證書提示，有的網(wǎng)頁會被認(rèn)為是一個不安全的網(wǎng)頁，會提示你，這個參數(shù)你記住就行。

在②處，我們已經(jīng)獲取到了網(wǎng)頁的源碼。但是由于網(wǎng)頁源代碼的編碼方式和你所在電腦的解析方式，有可能不一致，返回的結(jié)果會導(dǎo)致亂碼。此時，你就需要修改編碼方式，chardet庫可以幫你自動檢測網(wǎng)頁源碼的編碼。（一個很好用的檢測文檔編碼的三方庫chardet）

3、解析一級頁面網(wǎng)頁中的信息

# 1. 公司名

company_list = html.xpath('//div[@class="job-pannel-list"]//div[@class="job-pannel-one"]//a/text()')

company_list = [company_list[i].strip() for i in range(len(company_list)) if i % 2 != 0]

# 2. 崗位名

job_list = html.xpath('//div[@class="job-pannel-list"]//div[@class="job-pannel-one"]//a/text()')

job_list = [job_list[i].strip() for i in range(len(job_list)) if i % 2 == 0]

# 3. 地址

address_list = html.xpath('//div[@class="job-pannel-two"]//a/text()')

# 4. 學(xué)歷

degree_list = html.xpath('//div[@class="job-pannel-list"]//dd[@class="job-des"]/span/text()')

# 5. 薪資

salary_list = html.xpath('//div[@class="job-pannel-two"]//div[@class="company-info-des"]/text()')

salary_list = [i.strip() for i in salary_list]

# 獲取二級頁面的鏈接

deep_url_list = html.xpath('//div[@class="job-pannel-list"]//dt/a/@href')

x = "https://www.shixi.com"

deep_url_list = [x + i for i in deep_url_list]

此時，你可以看到，我直接采用xpath一個個去解析一級頁面中的數(shù)據(jù)分析。在代碼末尾，可以看到：我們獲取到了二級頁面的鏈接，為我們后面爬取二級頁面中的信息，做準(zhǔn)備。

解析二級頁面網(wǎng)頁中的信息

demand_list = []

area_list = []

scale_list = []

for deep_url in deep_url_list:

rqg = requests.get(deep_url, headers=headers, verify=False) ①

rqg.encoding = chardet.detect(rqg.content)['encoding'] ②

html = etree.HTML(rqg.text) ③

# 6. 招聘人數(shù)

demand = html.xpath('//div[@class="container-fluid"]//div[@class="intros"]/span[2]/text()')

# 7. 公司領(lǐng)域

area = html.xpath('//div[@class="container-fluid"]//div[@class="detail-intro-title"]//p[1]/span/text()')

# 8. 公司規(guī)模

scale = html.xpath('//div[@class="container-fluid"]//div[@class="detail-intro-title"]//p[2]/span/text()')

demand_list.append(demand)

area_list.append(area)

scale_list.append(scale)

要注意的是，二級頁面也是頁面，在爬取其中的數(shù)據(jù)時，也需要請求頁面。所以，①②③處的代碼，都是一模一樣的。

4、翻頁操作

https://www.shixi.com/search/index?key=%E6%95%B0%E6%8D%AE%E5%88%86%E6%9E%90&page=1

https://www.shixi.com/search/index?key=%E6%95%B0%E6%8D%AE%E5%88%86%E6%9E%90&page=2

https://www.shixi.com/search/index?key=%E6%95%B0%E6%8D%AE%E5%88%86%E6%9E%90&page=3

隨意復(fù)制幾個不同頁面的url，觀察它們的區(qū)別。這里可以看到，也就page參數(shù)后面的數(shù)字不同，是第幾頁，數(shù)字就是幾。

x = "https://www.shixi.com/search/index?key=數(shù)據(jù)分析&page="

url_list = [x + str(i) for i in range(1,61)]

由于我們爬取了60頁 的數(shù)據(jù)，這里就構(gòu)造出了60個url，他們都存在url_list這個列表中。

我們現(xiàn)在來看看整個代碼吧，我就不再文字?jǐn)⑹隽耍苯釉诖a中寫好了注釋。

import pandas as pd
import requests
import chardet
import re
from lxml import etree
import time
import warnings
warnings.filterwarnings("ignore")
def get_CI(url):

# 請求獲取一級頁面的源代碼

url = 'https://www.shixi.com/search/index?key=品牌運(yùn)營&districts=&education=0&full_opportunity=0&stage=0&practice_days=0&nature=0&trades=&lang=zh_cn'

headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.98 Safari/537.36'}

rqg = requests.get(url, headers=headers, verify=False)

rqg.encoding = chardet.detect(rqg.content)['encoding']

html = etree.HTML(rqg.text)

# 獲取一級頁面中的信息：一共有5個信息。

# ①公司名

company_list = html.xpath('//div[@class="job-pannel-list"]//div[@class="job-pannel-one"]//a/text()')

company_list = [company_list[i].strip() for i in range(len(company_list)) if i % 2 != 0]

#②崗位名

job_list = html.xpath('//div[@class="job-pannel-list"]//div[@class="job-pannel-one"]//a/text()')

job_list = [job_list[i].strip() for i in range(len(job_list)) if i % 2 == 0]

#③地址

address_list = html.xpath('//div[@class="job-pannel-two"]//a/text()')


# ④ 學(xué)歷

degree_list = html.xpath('//div[@class="job-pannel-list"]//dd[@class="job-des"]/span/text()')

# ⑤薪資

salary_list = html.xpath('//div[@class="job-pannel-two"]//div[@class="company-info-des"]/text()')

salary_list = [i.strip() for i in salary_list]

# ⑥獲取二級頁面的內(nèi)容

deep_url_list = html.xpath('//div[@class="job-pannel-list"]//dt/a/@href')

x = "https://www.shixi.com"

deep_url_list = [x + i for i in deep_url_list]

demand_list = []

area_list = []

scale_list = []

# 獲取二級頁面中的信息：

for deep_url in deep_url_list:

rqg = requests.get(deep_url, headers=headers, verify=False)

rqg.encoding = chardet.detect(rqg.content)['encoding']

html = etree.HTML(rqg.text)

#① 需要幾人

demand = html.xpath('//div[@class="container-fluid"]//div[@class="intros"]/span[2]/text()')

# ②公司領(lǐng)域

area = html.xpath('//div[@class="container-fluid"]//div[@class="detail-intro-title"]//p[1]/span/text()')

# ③公司規(guī)模

scale = html.xpath('//div[@class="container-fluid"]//div[@class="detail-intro-title"]//p[2]/span/text()')

demand_list.append(demand)

area_list.append(area)

scale_list.append(scale)
# ④ 將每個頁面獲取到的所有數(shù)據(jù)，存儲到DataFrame中。

data = pd.DataFrame({'公司名':company_list,'崗位名':job_list,'地址':address_list,"學(xué)歷":degree_list,

'薪資':salary_list,'崗位需求量':demand_list,'公司領(lǐng)域':area_list,'公司規(guī)模':scale_list})

return(data)

x = "https://www.shixi.com/search/index?key=數(shù)據(jù)分析&page="

url_list = [x + str(i) for i in range(1,61)]

res = pd.DataFrame(columns=['公司名','崗位名','地址',"學(xué)歷",'薪資','崗位需求量','公司領(lǐng)域','公司規(guī)模'])

# 這里進(jìn)行“翻頁”操作

for url in url_list:

res0 = get_CI(url)

res = pd.concat([res,res0])

time.sleep(3)

# 保存數(shù)據(jù)

res.to_csv('aliang.csv',encoding='utf_8_sig')

這樣一套下來，爬蟲的思路是不是瞬間清晰明了？眼睛：我會了！手：我還是不會。得多加練習(xí)啊。初學(xué)者不要急于求成，項(xiàng)目不在多，在精。踏踏實(shí)實(shí)吃透一個遠(yuǎn)比看會十個更有效。

想要獲取源代碼的小伙伴們，點(diǎn)贊+評論，私聊哦~

<meta name="viewport" content="width=device-width, initial-scale=1, shrink-to-fit=no">