要：從零開始寫爬蟲，初學者的速成指南！

需要免費獲取本文章講解的視頻+源碼，關注+轉發此文然后私信我回復“音樂”即可領取資料，也歡迎大家和我一起交流學習Python，共同成長

封面：

大家好，《手把手教你寫網絡爬蟲》連載開始了！在筆者的職業生涯中，幾乎沒有發現像網絡爬蟲這樣的編程實踐，可以同時吸引程序員和門外漢的注意。本文由淺入深的把爬蟲技術和盤托出，為初學者提供一種輕松的入門方式。請跟隨我們一起踏上爬蟲學習的打怪升級之路吧！

介紹

什么是爬蟲？

先看看百度百科的定義:

簡單的說網絡爬蟲（Web crawler）也叫做網絡鏟（Web scraper）、網絡蜘蛛（Web spider），其行為一般是先“爬”到對應的網頁上，再把需要的信息“鏟”下來。

為什么學習爬蟲？

看到這里，有人就要問了：google、百度等搜索引擎已經幫我們抓取了互聯網上的大部分信息了，為什么還要自己寫爬蟲呢？這是因為，需求是多樣的。比如在企業中，爬取下來的數據可以作為數據挖掘的數據源。甚至有人為了炒股，專門抓取股票信息。筆者就見過有人為了分析房價，自學編程，爬了綠中介的數據。

在大數據深入人心的時代，網絡爬蟲作為網絡、存儲與機器學習等領域的交匯點，已經成為滿足個性化網絡數據需求的最佳實踐。還猶豫什么？讓我們開始學習吧！

語言&環境

語言：人生苦短，我用Python。讓Python帶我們飛！

urllib.request：這是Python自帶的庫，不需要單獨安裝，它的作用是為我們打開url獲取html的內容。Python官方文檔的介紹：The urllib.request module defines functions and classes which help in opening URLs (mostly HTTP) in a complex world — basic and digest authentication, redirections, cookies and more.

BeautifulSoup：是一個可以從HTML或XML文件中提取數據的Python庫。它能夠通過你喜歡的轉換器實現慣用的文檔導航，查找，修改文檔的方式。Beautiful Soup會幫你節省數小時甚至數天的工作時間。安裝比較簡單：

$pip install beautifulsoup4

驗證的方法，進入Python直接import一下，如果沒有異常，那就說明安裝成功了！

“美味的湯，綠色的濃湯，

在熱氣騰騰的蓋碗里裝！

誰不愿意嘗一嘗，這樣的好湯？

晚餐用的湯，美味的湯！”

BeautifulSoup庫的名字取自《愛麗絲夢游仙境》里的同名詩歌。

爬取數據

接下來，我們就用urllib.request獲取html內容，再用BeautifulSoup提取其中的數據，完成一次簡單的爬取。

把這段代碼保存為get_html.py，然后運行，看看輸出了什么：

果然，輸出了http://jr.jd.com 這個網頁的全部HTML代碼。

輸出的代碼簡直無法直視，如何方便的找到我們想抓取數據呢？用Chrome打開url，然后按F12，再按Ctrl + Shift + C。如果我們要抓導航欄，就用鼠標點擊任意一個導航欄的項目，瀏覽器就在html中找到了它的位置。效果如下：

定位到的html代碼：

有了這些信息，就可以用BeautifulSoup提取數據了。升級一下代碼：

把這段代碼保存為get_data.py，然后運行，看看輸出了什么：

沒錯，得到了我們想要的數據！

BeautifulSoup提供一些簡單的、Python式的函數用來處理導航、搜索、修改分析樹等功能。它是一個工具箱，通過解析文檔為用戶提供需要抓取的數據，因為簡單，所以不需要多少代碼就可以寫出一個完整的應用程序。怎么樣，是不是覺得只要復制粘貼就可以寫爬蟲了？簡單的爬蟲確實是可以的！

一個迷你爬蟲

我們先定一個小目標：爬取網易云音樂播放數大于500萬的歌單。

打開歌單的url: http://music.163.com/#/discover/playlist，然后用BeautifulSoup提取播放數<span class="nb">3715</span>。結果表明，我們什么也沒提取到。難道我們打開了一個假的網頁？

動態網頁：所謂的動態網頁，是指跟靜態網頁相對的一種網頁編程技術。靜態網頁，隨著html代碼的生成，頁面的內容和顯示效果就基本上不會發生變化了——除非你修改頁面代碼。而動態網頁則不然，頁面代碼雖然沒有變，但是顯示的內容卻是可以隨著時間、環境或者數據庫操作的結果而發生改變的。

值得強調的是，不要將動態網頁和頁面內容是否有動感混為一談。這里說的動態網頁，與網頁上的各種動畫、滾動字幕等視覺上的動態效果沒有直接關系，動態網頁也可以是純文字內容的，也可以是包含各種動畫的內容，這些只是網頁具體內容的表現形式，無論網頁是否具有動態效果，只要是采用了動態網站技術生成的網頁都可以稱為動態網頁。

現在我們明白了，這是一個動態網頁，我們得到它的時候，歌單還沒請求到呢，當然什么都提取不出來！

我們之前的技術不能執行那些讓頁面產生各種神奇效果的JavaScript 代碼。如果網站的HTML頁面沒有運行JavaScript，就可能和你在瀏覽器里看到的樣子完全不同，因為瀏覽器可以正確地執行JavaScript。用Python 解決這個問題只有兩種途徑：直接從JavaScript 代碼里采集內容，或者用Python 的第三方庫運行JavaScript，直接采集你在瀏覽器里看到的頁面。我們當然選擇后者。今天第一課，不深究原理，先簡單粗暴的實現我們的小目標。

Selenium：是一個強大的網絡數據采集工具，其最初是為網站自動化測試而開發的。近幾年，它還被廣泛用于獲取精確的網站快照，因為它們可以直接運行在瀏覽器上。Selenium 庫是一個在WebDriver 上調用的API。WebDriver 有點兒像可以加載網站的瀏覽器，但是它也可以像BeautifulSoup對象一樣用來查找頁面元素，與頁面上的元素進行交互（發送文本、點擊等），以及執行其他動作來運行網絡爬蟲。安裝方式與其他Python第三方庫一樣。

$pip install Selenium

驗證一下：

Selenium 自己不帶瀏覽器，它需要與第三方瀏覽器結合在一起使用。例如，如果你在Firefox 上運行Selenium，可以直接看到一個Firefox 窗口被打開，進入網站，然后執行你在代碼中設置的動作。雖然這樣可以看得更清楚，但不適用于我們的爬蟲程序，爬一頁就打開一頁效率太低，所以我們用一個叫PhantomJS的工具代替真實的瀏覽器。

PhantomJS：是一個“無頭”（headless）瀏覽器。它會把網站加載到內存并執行頁面上的JavaScript，但是它不會向用戶展示網頁的圖形界面。把Selenium和PhantomJS 結合在一起，就可以運行一個非常強大的網絡爬蟲了，可以處理cookie、JavaScript、header，以及任何你需要做的事情。

PhantomJS并不是Python的第三方庫，不能用pip安裝。它是一個完善的瀏覽器，所以你需要去它的官方網站下載，然后把可執行文件拷貝到Python安裝目錄的Scripts文件夾，像這樣：

開始干活！

打開歌單的第一頁：

http://music.163.com/#/discover/playlist/?order=hot&cat=%E5%85%A8%E9%83%A8&limit=35&offset=0

用Chrome的“開發者工具”F12先分析一下，很容易就看穿了一切。

播放數nb (number broadcast)：29915

封面 msk (mask)：有標題和url

同理，可以找到“下一頁”的url，最后一頁的url是“javascript：void(0)”。

最后，用18行代碼即可完成我們的工作。

把這段代碼保存為get_data.py，然后運行。運行結束后，在程序的目錄里生成了一個playlist.csv文件。

看到成果后是不是很有成就感？如果你感興趣，還可以按照這個思路，找找評論數最多的單曲，再也不用擔心沒歌聽了！

需要免費獲取本文章講解的視頻+源碼，關注+轉發此文然后私信我回復“音樂”即可領取資料，也歡迎大家和我一起交流學習Python，共同成長

今天的內容比較淺顯，希望對你有用。就先介紹到這里，我們下期再見！

易云音樂2018年度聽歌報告—遇見你，真好。

相信有不少人在上周，應該已經看過自己網易云音樂的年度報告了。

小F也是去湊湊熱鬧，瞅了一波自己的年度聽歌報告。

那么你在云村又聽了多少首歌，聽到最多的歌詞又是什么呢？

2018年你的年度歌手又是誰，哪些又是你最愛的歌呢？

不過相比去年，我的票圈并沒有很多發自己年度報告的朋友。

不得不說，版權之爭開始，網易云音樂似乎就在走下坡路。

很多喜歡的歌聽不了，這應該是大家共同的痛點。

最大的印象就是周董的歌，在愚人節時下架了，原以為只是個玩笑，不想卻是真的。

本次通過對網易云音樂華語歌單數據的獲取，對華語歌單數據進行可視化分析。

可視化庫不采用pyecharts，來點新東西。

使用matplotlib可視化庫，利用這個底層庫來進行可視化展示。

/ 01 / 網頁分析

01 歌單索引頁

選取華語熱門歌單頁面。

獲取歌單播放量，名稱，及作者，還有歌單詳情頁鏈接。

本次一共獲取了1302張華語歌單。

02 歌單詳情頁

獲取歌單詳情頁信息，信息比較多。

有歌單名，收藏量，評論數，標簽，介紹，歌曲總數，播放量，收錄的歌名。

這里歌曲的時長、歌手、專輯信息在網頁的iframe中。

需要用selenium去獲取信息，鑒于耗時過長，小F選擇放棄...

有興趣的小伙伴，可以試一下哈...

/ 02 / 數據獲取

01 歌單索引頁

from bs4 import BeautifulSoup
import requests
import time
headers = {
 'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36'
}
for i in range(0, 1330, 35):
 print(i)
 time.sleep(2)
 url = 'https://music.163.com/discover/playlist/?cat=歐美&order=hot&limit=35&offset=' + str(i)
 response = requests.get(url=url, headers=headers)
 html = response.text
 soup = BeautifulSoup(html, 'html.parser')
 # 獲取包含歌單詳情頁網址的標簽
 ids = soup.select('.dec a')
 # 獲取包含歌單索引頁信息的標簽
 lis = soup.select('#m-pl-container li')
 print(len(lis))
 for j in range(len(lis)):
 # 獲取歌單詳情頁地址
 url = ids[j]['href']
 # 獲取歌單標題
 title = ids[j]['title']
 # 獲取歌單播放量
 play = lis[j].select('.nb')[0].get_text()
 # 獲取歌單貢獻者名字
 user = lis[j].select('p')[1].select('a')[0].get_text()
 # 輸出歌單索引頁信息
 print(url, title, play, user)
 # 將信息寫入CSV文件中
 with open('playlist.csv', 'a+', encoding='utf-8-sig') as f:
 f.write(url + ',' + title + ',' + play + ',' + user + '\n')

獲取歌單索引頁信息如下，共1302張華語歌單。

02 歌單詳情頁

from bs4 import BeautifulSoup
import pandas as pd
import requests
import time
df = pd.read_csv('playlist.csv', header=None, error_bad_lines=False, names=['url', 'title', 'play', 'user'])
headers = {
 'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36'
}
for i in df['url']:
 time.sleep(2)
 url = 'https://music.163.com' + i
 response = requests.get(url=url, headers=headers)
 html = response.text
 soup = BeautifulSoup(html, 'html.parser')
 # 獲取歌單標題
 title = soup.select('h2')[0].get_text().replace(',', '，')
 # 獲取標簽
 tags = []
 tags_message = soup.select('.u-tag i')
 for p in tags_message:
 tags.append(p.get_text())
 # 對標簽進行格式化
 if len(tags) > 1:
 tag = '-'.join(tags)
 else:
 tag = tags[0]
 # 獲取歌單介紹
 if soup.select('#album-desc-more'):
 text = soup.select('#album-desc-more')[0].get_text().replace('\n', '').replace(',', '，')
 else:
 text = '無'
 # 獲取歌單收藏量
 collection = soup.select('#content-operation i')[1].get_text().replace('(', '').replace(')', '')
 # 歌單播放量
 play = soup.select('.s-fc6')[0].get_text()
 # 歌單內歌曲數
 songs = soup.select('#playlist-track-count')[0].get_text()
 # 歌單評論數
 comments = soup.select('#cnt_comment_count')[0].get_text()
 # 輸出歌單詳情頁信息
 print(title, tag, text, collection, play, songs, comments)
 # 將詳情頁信息寫入CSV文件中
 with open('music_message.csv', 'a+', encoding='utf-8-sig') as f:
 f.write(title + ',' + tag + ',' + text + ',' + collection + ',' + play + ',' + songs + ',' + comments + '\n')
 # 獲取歌單內歌曲名稱
 li = soup.select('.f-hide li a')
 for j in li:
 with open('music_name.csv', 'a+', encoding='utf-8-sig') as f:
 f.write(j.get_text() + '\n')

獲取的1302張華語歌單的詳情。

1302張歌單里的121118首歌。

/ 03 / 數據可視化

可視化代碼已上傳GitHub，點擊左下角閱讀原文即可訪問！??！

01 歌曲出現次數 TOP10

榜上的十首歌，除了「水星記」，小F聽得次數都不少。

那么你又是如何的呢？

在小F的印象里，這些歌都曾在網易云音樂熱歌榜的榜首出現過。

02 歌單貢獻UP主 TOP10

10大歌單貢獻UP主，感謝這些辛勤的“搬運工”，給大家帶來優質的歌單。

給廣大懶人癌患者，亦或選擇困難癥患者，帶來福利。

03 歌單播放量 TOP10

歌單播放量前十名單，第一名7000多萬播放量。

其實matplotlib生成的圖是挺清楚的，只不過一上傳就變模糊了。

所以這里你可能會覺得圖片質量不行...

其實并不是，為此小F做了相應的圖表，具體見文末~

04 歌單收藏量 TOP10

同樣是好東西，收藏收藏?。?！

有一些歌單和播放量TOP10里歌單有重復。

05 歌單評論數 TOP10

歌單「再見大俠：武俠小說泰斗金庸逝世」評論數最多。

相信不少人的閱讀時光，就是與金庸前輩的武俠小說一起度過。

飛雪連天射白鹿，笑書神俠倚碧鴛。

還有由小說改編成的電視劇，都是經典?。?！

小F武俠小說看的少，武俠電視劇看的多...

06 歌單收藏數量分布情況

將收藏數做對數處理，使得能直觀看出歌單收藏數的分布。

主要分布在0-15萬之間(ln(150000)=12)。

07 歌單播放數量分布情況

歌單播放數主要分布在0-1000萬。

其中ln(10000000)=16。

08 歌單標簽圖

既然選取的是華語歌單，那么華語這二字必不可少，而且還占大頭。

那么就看看除了華語，還有什么其他標簽。

「流行」沒啥好說的。

「古風」「說唱」「民謠」近些年來熱度是越來越高，不過也有玩壞的時候。

比如「離人愁」、「一人我飲酒醉」，小F作為吃瓜群眾，只能說且行且珍惜...

09 歌單介紹詞云圖

歌單介紹詞云圖，希望你能找到你喜歡某首歌的原因?。?！

到底是希望，還是青春，亦或是回憶呢？

/ 04 / 總結

最后，把本次搜刮的干貨，分享給大家。

可視化及相關代碼都放「GitHub」上頭了。

有興趣的加群：960410445