者：胡蘿卜醬

微信公眾號(hào)：經(jīng)濟(jì)人學(xué)數(shù)據(jù)分析（ID:DAT-2017）

歡迎轉(zhuǎn)載，請(qǐng)注明出處。

本文共1640字，建議閱讀6分鐘。

本文爬取了去哪兒網(wǎng)上面的6000多個(gè)景點(diǎn)數(shù)據(jù)，為你匯總并分析國(guó)慶出游情況。

出門(mén)游玩，走哪里都是人，人，人，人……。你的腦海里是否出現(xiàn)了以下畫(huà)面：

為了方便大家的出游選擇，小編爬取了去哪兒網(wǎng)上面的6000多個(gè)景點(diǎn)數(shù)據(jù)，包含景點(diǎn)評(píng)級(jí)、熱度、銷(xiāo)量等等數(shù)據(jù)，匯總成這篇出游參考指南。

爬蟲(chóng)

爬蟲(chóng)繼續(xù)用的是小編最近的心頭愛(ài)selenium，用法可以參考“爬蟲(chóng)神器selenium之貓眼電影榜單實(shí)例”。打開(kāi)去哪兒網(wǎng)站，右鍵，分析網(wǎng)頁(yè)。

我們需要的數(shù)據(jù)非常的清晰：

話(huà)不多說(shuō)，只要定位到自己想要的信息，那么代碼非常簡(jiǎn)單。

 1from tqdm import tqdm
 2import time
 3from selenium import webdriver
 4from selenium.common.exceptions import TimeoutException, WebDriverException
 5import pandas as pd
 6import numpy as np
 7position=["北京","天津","上海","重慶","河北","山西","遼寧","吉林","黑龍江","江蘇","浙江","安徽","福建","江西","山東","河南","湖北","湖南","廣東","海南","四川","貴州","云南","陜西","甘肅","青海","臺(tái)灣","內(nèi)蒙古","廣西","西藏","寧夏","新疆","香港","澳門(mén)"]
 8
 9name,level,hot,address,num=[],[],[],[],[]
10def get_one_page(key,page):
11 try:
12 #打開(kāi)瀏覽器窗口
13 option_chrome=webdriver.ChromeOptions()
14 option_chrome.add_argument('--headless')
15
16 driver=webdriver.Chrome(chrome_options=option_chrome)
17 time.sleep(1)
18
19 url="http://piao.qunar.com/ticket/list.htm?keyword="+str(key)+"&region=&from=mpl_search_suggest&page="+str(page)
20 driver.get(url) 
21 infor=driver.find_elements_by_class_name("sight_item")
22 for i in range(len(infor)):
23 #獲取景點(diǎn)名字
24 name.append(infor[i].find_element_by_class_name("name").text)
25 #獲取景點(diǎn)評(píng)級(jí)
26 try:
27 level.append(infor[i].find_element_by_class_name("level").text)
28 except:
29 level.append("")
30 #獲取景點(diǎn)熱度
31 hot.append(infor[i].find_element_by_class_name("product_star_level").text[3:])
32 #獲取景點(diǎn)地址
33 address.append(infor[i].find_element_by_class_name("area").text)
34 #獲取景點(diǎn)銷(xiāo)量
35 try:
36 num.append(infor[i].find_element_by_class_name("hot_num").text)
37 except:
38 num.append(0)
39
40 driver.quit()
41 return
42 except TimeoutException or WebDriverException:
43 return get_one_page()
44
45for key in tqdm(position):
46 print ("正在爬取{}".format(key))
47 #取前10頁(yè)
48 for page in range(1,14):
49 print ("正在爬取第{}頁(yè)".format(page))
50 get_one_page(key,page)
51
52sight={'name': name, 'level': level, 'hot': hot, 'address': address, 'num':num}
53sight=pd.DataFrame(sight, columns=['name', 'level', 'hot', 'address', 'num'])
54sight.to_csv("sight.csv",encoding="utf_8_sig") 

本文僅爬取國(guó)內(nèi)的數(shù)據(jù)，由于景點(diǎn)數(shù)據(jù)眾多，每個(gè)省份僅取了前13頁(yè)。獲得景點(diǎn)個(gè)數(shù)6630個(gè)。

數(shù)據(jù)可視化

熱門(mén)景區(qū)top30：

大熊貓不愧為國(guó)寶，最熱門(mén)就是它。其次是故宮，鄭州動(dòng)物園，峨眉山，秦始皇兵馬俑等等。因?yàn)樾【帥](méi)有去過(guò)多少地方玩，也不知道為啥鄭州動(dòng)物園能排到第三，大家知道的可以告訴小編一下它的特色嗎？

省份與評(píng)級(jí)：

說(shuō)實(shí)話(huà)，這個(gè)圖的配色真的是太丑了，主要是小編過(guò)于懶惰，不想好好配色了

。

熱力圖：

熱力圖根據(jù)省份和城市分別作圖，其次在根據(jù)銷(xiāo)量和熱度兩類(lèi)圖，這里采用的是“Python調(diào)用高德地圖API實(shí)現(xiàn)經(jīng)緯度換算、地圖可視化”一文的方式，調(diào)用高德地圖API完成。

首先是省份和景區(qū)熱度：

然后是省份和銷(xiāo)量：

接下來(lái)是城市和景區(qū)熱度：

最后是城市和景區(qū)銷(xiāo)量：

值得注意的是，城市和銷(xiāo)量一圖熱力范圍不明顯，原因?yàn)榫皡^(qū)之間銷(xiāo)量天差地別，一些太少的的統(tǒng)計(jì)下來(lái)，作圖非常的不明顯了。若大家不喜歡用高德地圖API作圖，那么"人生苦短，我要用pyecharts畫(huà)圖"的方法也非常適合做熱力圖，比如這里小編做了一張省份和銷(xiāo)量的圖：

綜合來(lái)看，北京，四川，沿海等地都是旅游的熱門(mén)省份。建議大家盡量避免去這些省份游玩。

推薦景區(qū)：

知道了需要避免的景區(qū)和省份城市，那么可以去哪些人少的地方呢？這里胡蘿卜醬根據(jù)景區(qū)分級(jí)，分別推薦15個(gè)人少的景區(qū)：

最后兩張圖是根據(jù)熱度做的圖，沒(méi)有條形的則是熱度為0，那么大家可以選擇上述景點(diǎn)中熱度較高的進(jìn)行游玩。

可視化代碼：

 1data=pd.read_csv("sight.csv")
 2data=data.fillna(0)
 3data=data.drop(columns=['Unnamed: 0'])
 4
 5#將地址分為省，市，區(qū)
 6data["address"]=data["address"].apply(lambda x: x.replace("[","").replace("]",""))
 7data["province"]=data["address"].apply(lambda x: x.split("·")[0])
 8data["city"]=data["address"].apply(lambda x: x.split("·")[1])
 9data["area"]=data["address"].apply(lambda x: x.split("·")[-1])
10
11#銷(xiāo)量最多的前30景點(diǎn)
12num_top=data.sort_values(by='num',axis=0,ascending=False).reset_index(drop=True)
13import seaborn as sns
14import matplotlib.pyplot as plt
15plt.rcParams['font.sans-serif']=['Microsoft YaHei']#指定默認(rèn)字體 
16plt.rcParams['axes.unicode_minus']=False # 解決保存圖像是負(fù)號(hào)'-'顯示為方塊的問(wèn)題
17sns.set(font='SimHei') # 解決Seaborn中文顯示問(wèn)題
18sns.set_context("talk")
19fig=plt.figure(figsize=(15,10))
20sns.barplot(num_top["name"][:30],num_top["num"][:30])
21plt.xticks(rotation=90)
22fig.show()
23
24#省份與景區(qū)評(píng)級(jí)
25data["level_sum"]=1
26var=data.groupby(['province', 'level']).level_sum.sum()
27var.unstack().plot(kind='bar',figsize=(35,10), stacked=False, color=['red', 'blue','green','yellow'])
28
29#根據(jù)省、市統(tǒng)計(jì)銷(xiāo)量和
30pro_num=data.groupby(['province']).agg('sum').reset_index()
31city_num=data.groupby(['city']).agg('sum').reset_index()
32#基于數(shù)據(jù)做熱力圖
33import requests
34def transform(geo):
35 key='bb9a4fae3390081abfcb10bc7ed307a6' 
36 url="http://restapi.amap.com/v3/geocode/geo?key=" +str(key) +"&address=" + str(geo)
37 response=requests.get(url)
38 if response.status_code==200:
39 answer=response.json()
40 try:
41 loc=answer['geocodes'][0]['location']
42 except:
43 loc=0
44 return loc
45
46pro_num["lati"]=pro_num["province"].apply(lambda x: transform(x))
47city_num["lati"]=city_num["city"].apply(lambda x: transform(x))
48pro_num.to_csv("pro_num.csv",encoding="utf_8_sig")
49city_num.to_csv("city_num.csv",encoding="utf_8_sig")
50
51from pyecharts import Map
52map=Map("省份景點(diǎn)銷(xiāo)量熱力圖", title_color="#fff", title_pos="center", width=1200, height=600, background_color='#404a59')
53map.add("",pro_num["province"], pro_num["num"], maptype="china", visual_range=[5000, 80000], is_visualmap=True, visual_text_color='#000', is_label_show=True)
54map.render(path="pro_num.html")
55map=Map("省份景點(diǎn)熱度熱力圖", title_color="#fff", title_pos="center", width=1200, height=600, background_color='#404a59')
56map.add("",pro_num["province"], pro_num["hot"], maptype="china", visual_range=[25,80], is_visualmap=True, visual_text_color='#000', is_label_show=True)
57map.render(path="pro_hot.html")
58
59#人少的5A景點(diǎn)，4A景點(diǎn)，3A景點(diǎn)
60top_5A=data[data["level"]=="5A景區(qū)"].sort_values(by='num',axis=0,ascending=True).reset_index(drop=True)
61top_4A=data[data["level"]=="4A景區(qū)"].sort_values(by='num',axis=0,ascending=True).reset_index(drop=True)
62top_3A=data[data["level"]=="3A景區(qū)"].sort_values(by='num',axis=0,ascending=True).reset_index(drop=True)
63fig=plt.figure(figsize=(15,15))
64plt.pie(top_5A["num"][:15],labels=top_5A["name"][:15],autopct='%1.2f%%')
65plt.title("人少的5A景區(qū)") 
66plt.show()
67fig=plt.figure(figsize=(15,15))
68ax=sns.barplot(top_4A["hot"][:15],top_4A["name"][:15])
69ax.set_title("人少的4A景區(qū)") 
70fig.show()
71fig=plt.figure(figsize=(15,10))
72ax=sns.barplot(top_3A["name"][:15],top_3A["hot"][:15])
73ax.set_title("人少的3A景區(qū)") 
74plt.xticks(rotation=90)
75fig.show() 

結(jié)語(yǔ)

爬蟲(chóng)采集于2018.9.27，可能因?yàn)椴杉瘯r(shí)間不同，結(jié)果會(huì)有偏差。需要注意的是，若采用pyecharts做城市和景區(qū)熱度、銷(xiāo)量的圖時(shí)，需要考慮pyecharts無(wú)法獲得一些景區(qū)位置，解決辦法可以參考"《狄仁杰之四大天王》影評(píng)分析（爬蟲(chóng)+詞云+熱力圖）"一文。

分析完了之后，小編反正決定國(guó)慶節(jié)都呆在家里了，不想出門(mén)，只想當(dāng)快樂(lè)的肥仔。最后，祝大家國(guó)慶快樂(lè)?。?！