為一名在數據行業打拼了兩年多的數據分析師，雖然目前收入還算ok，但每每想起房價，男兒三十還未立，內心就不免彷徨不已~

兩年時間里曾經換過一份工作，一直都是從事大數據相關的行業。目前是一家企業的BI工程師，主要工作就是給業務部門出報表和業務分析報告。

回想自己過去的工作成績也還算是不錯的，多次通過自己分析告，解決了業務的疑難雜癥，領導們各種離不開。

但安逸久了總會有點莫名的慌張，所以我所在的這個崗位未來會有多大發展空間，十年之后我能成為什么樣的人呢？自己的收入空間還有多少？

一番惆悵之后，別再問路在何方了，于是抄起自己的“家伙”，花了一小會時間爬了智聯招聘上BI崗位的數據信息，做了個分析。

PS：所用工具為Python+BI

數據分析的過程如同燒一頓飯，先要數據采集（買菜），然后數據建模（配菜）、數據清洗（洗菜）、數據分析（做菜）、數據可視化（擺盤上菜）。

所以第一步，要采集/選擇數據。

一、Python爬取智聯招聘崗位信息（附源碼）

選擇智聯招聘，通過Python來進行“BI工程師”的關鍵數據信息的爬取，這里大家也可以試著爬取自己崗位的關鍵詞，如“數據分析師”、“java開發工程師 ”等。經過F12分析調試，數據是以JSON的形式存儲的，可以通過智聯招聘提供的接口調用返回。

那么我這邊通過Python對智聯招聘網站的數據進行解析，爬取了30頁數據，并且將崗位名稱、公司名稱、薪水、所在城市、所屬行業、學歷要求、工作年限這些關鍵信息用CSV文件保存下來。

附上完整Python源碼：

import requests
import json
import csv
from urllib.parse import urlencode
import time
 
def saveHtml(file_name,file_content): #保存conten對象為html文件
 with open(file_name.replace('/','_')+'.html','wb') as f:
 f.write(file_content)
 
def GetData(url,writer):#解析并將數據保存為CSV文件
 response=requests.get(url)
 data=response.content
 saveHtml('zlzp',data) #保存html文件
 jsondata=json.loads(data)
 dataList=jsondata['data']['results']
 #print(jsondata)
 for dic in dataList:
 jobName=dic['jobName'] #崗位名稱
 company=dic['company']['name'] #公司名稱
 salary=dic['salary'] #薪水
 city=dic['city']['display'] #城市
 jobtype=dic['jobType']['display'] #所屬行業
 eduLevel=dic['eduLevel']['name'] #學歷要求
 workingExp=dic['workingExp']['name'] #工作經驗
 print(jobName,company,salary,city,jobtype,eduLevel,workingExp)
 writer.writerow([jobName,company,salary,city,jobtype,eduLevel,workingExp])
param={ 'start':0,
 'pageSize':60,
 'cityId':489,
 'workExperience':-1,
 'education':-1,
 'companyType': -1,
 'employmentType': -1,
 'jobWelfareTag': -1,
 'kw': 'BI工程師', #搜索關鍵詞，可以根據你需要爬取的崗位信息進行更換
 'kt': 3,
 'lastUrlQuery': {"p":1,"pageSize":"60","jl":"681","kw":"python","kt":"3"}
 }#參數配置
pages=range(1,31)#爬取1-30頁數據
out_f=open('test.csv', 'w', newline='')
writer=csv.writer(out_f)
writer.writerow(['jobName','company','salary','city','jobtype','eduLevel','workingExp'])
for p in pages: #自動翻頁
 param['start']=(p-1)*60
 param['lastUrlQuery']['p']=p
 url='https://fe-api.zhaopin.com/c/i/sou?' + urlencode(param)
 GetData(url,writer)
 time.sleep(3)#間隔休眠3秒，防止IP被封
 print(p)
out_f.close() 

經過一番編譯調試，代碼成功運行。

全部數據爬取完畢，一共1800條，保存在本地CSV文件中。

數據是爬到了，具體我想了解哪些信息呢：各城市的BI崗位需求情況以及薪資水平；薪水隨工作經驗的漲幅情況，以及有哪些具體的高薪崗。

由此可見，想要分析的角度很多，且看了源數據，還要做不少的數據處理。最簡單快速出可視化的方法自然是用BI工具，來對數據做簡單清洗加工，并呈現可視化。

BI能應付絕大多數場景的數據分析，尤其擅長多維數據切片，不需要建模；甚至數據清洗環節也能放在前端，通過過濾篩選、新建計算公式等來解決。最后呈現可視化，并可設計數據報告。

這里我用FineBI來做這樣一份分析。

FineBI做分析大體是這樣的流程：連接/導入數據——數據處理/清洗（過濾、篩選、新增公式列）——探索式分析——數據可視化——出報告。

二、數據清洗加工

1.薪水上下限分割：

將CSV文件數據導入FineBI中（新建數據鏈接，建立一個分析業務包，然后導入這張excel表）。因為薪水是以xxK-xxk（還有一些類似校招/薪資面議的數據）的形式進行存儲的，我這邊使用FineBI新增公式列（類似excel函數）將這些字符進行分割：

薪水下限（數值）：left( indexofarray ( split (salary,"-") ,1),find( "K",INDEXOFARRAY( split(salary,"-") ,1))-1)

薪水上限（含K字符）：right ( indexofarray( split(salary,"-") ,2),len(salary)- find("K",indexofarray(split(salary,"-"),2 ) ) )

薪水上限（數值）：left( 薪水上限(文本),find("K",薪水上限(文本))-1 )

這樣就得到每個崗位的數值格式的薪水區間了：

2.臟數據清洗：

瀏覽了一下數據，沒有大問題，但是發現里面有一些類似BIM工程師的崗位信息，這些應該都是土木行業的工程師，這邊我直接過濾掉即可（不包含“BIM”且不包含“bim”）。

3.崗位平均數據計算

再新增列，平均薪水=(薪水下限+薪水上限)/2，即可得到每個崗位的平均薪水。

4.真實城市截取

由于城市字段存儲有的數據為“城市-區域”格式，例如“上海-徐匯區”，為了方便分析每個城市的數據，最后新增列“城市”，截取“-”前面的真實城市數據。

城市：if(find("-",city)>0 , left(city, find("-",city)-1 ),city)

至此，18000多條數據差不多清洗完畢，食材已經全部準備好，下面可以正式開始數據可視化的美食下鍋烹飪。

三、數據可視化

數據可視化可以說是很簡單了，拖拽要分析的數據字段即可。

但是這里用finebi分析要理解一個思路。常規我們用excel做分析或者說做圖表，是先選用鉆則圖表然后設定系列、數值。這里沒有系列和數值的概念，只有橫軸和豎軸。拖入什么字段，該字段就以該軸進行擴展，至于圖表嘛，finebi會自動判別推薦。

我這邊以各城市平均薪水/崗位數量分析為例給大家簡單展示FineBI的可視化呈現過程。

1、橫軸以“城市”字段擴展，展現兩類數據。先是薪水值，拖拽到縱軸，默認對數值類的字段是匯總求和的。點擊字段可直接對改字段修改計算、過濾等操作。

2、然后分析每個城市BI崗位的情況。將數據記錄數這個指標拖入到縱軸展示。同樣的方式，可以修改字段名。這里為了區分兩者，將其修改為折線圖，并且倒敘展示。

同理，其他圖表也是這樣的操作，想清楚展現什么樣的數據，怎樣展現，數據要作何處理。就得心應手了。其他圖表就不一一贅述了。

最后，大概花了15分鐘，一份完整的智聯招聘網站-BI工程師崗位數據分析的可視化報告就制作完成啦~

審美有限，只能做成這樣，其實這個FineBI還能做出這樣的效果。

四、分析結果

1.目前BI工程師崗位在智聯招聘網站的平均薪資為13.46K（痛哭。。。拉低平均薪水的存在），主要薪水區間大概在12-15K（占比27.07%），相關工作需求總數為634個（僅僅為某一天的招聘需求數據）。

2.從城市崗位需求數量分布來看，BI工程師需求主要集中在北京、上海、深圳、廣州區域；各城市BI工程師平均薪水方面，去除崗位需求量較少的城市來看，國內排在前面的分別為深圳（14.72K）、上海（14.59K）、北京（14.51）、杭州（12.07K）、成都（11.13K）、廣州（10.94K）。

3.從工作年限的平均薪水和崗位需求數量來看，工作5-10年的資深BI工程師的平均薪水可以達到20K以上（朝資深BI工程師方向奮斗！！！1年以下年限的計算出來的平均薪水雖然為19K，但是由于樣本量只有3個，所以參考意義不大），其中大部分的工作需求年限為3-5年，平均薪水為14.24K。

4.從學歷方面來看，最低學歷需求主要以本科/大專為主，本科和大專學歷要求的平均薪資分別為12.68K和11.97K（感覺差距并不大，過硬的技術實力可能才是企業最為看重的吧），博士和碩士學歷需求很少。

5.看了一些高薪的招聘企業，最高的可以給到30K~40K的薪酬水平，其中主要是互聯網、IT類公司為主。

醍醐灌頂，頓時有了奮斗的動力~知識就是財富，繼續好好學習去吧，少年！！！

最后，附上本次爬取到的相關崗位明細的CSV數據（私心回復“csv”獲取），如果大家也有分析自己崗位未來前景的想法，但是可能不熟悉數據可視化工具的，可以拿這份數據用FineBI練練手。

常有人不太會，使用excel來進行一些數據分析，通過下文的例子，簡要說明其過程。

書寫此文的目的是宣傳excel的基礎應用，提高大家的工作效率。

此文為excel使用的基礎文章，高手請略過。

更深層次的excel使用技巧可以在工作中碰到時，可以進一步學習。

例子說明：

1. 獲得原始的基礎數據

2. 觀察數據的特點，然后進行數據格式化

3. 導入excel軟件，排序，分析

4. 改名，并存檔

例子的說明以及背景說明。

今天在網上，看到一個“2015年中國經濟城市百強”的文章，想初步對其進行數據分析，以備后用。

文章出處：http://blog.sina.com.cn/s/blog_53f8060b0102wsrh.html

處理的思路：

1. 從該鏈接獲得原始的基礎數據，目的：看看人均排名，網上沒有，自己整一個。——將數據復制到文本文件中，重命名為100.txt（因為若直接復制到excel中，會放到每一行的第一格，還要整理數據，所以先復制到文本文件中）

2. 觀察數據的特點，然后進行數據格式化——把一些符號（如：（，），億元、等替換成，適當分割數據，形成列數據）

3. 導入excel軟件，排序，分析——導入100.txt到excel軟件，進一步整理，補全標題行，補齊數據，并根據需要排序

4. 改名，并存檔——把100.txt另存為excel格式的文件，并修改文件標簽名。

詳細的操作，見視頻。

最終的，按照人均數的部分排名截圖（前20名）：

說明：

視頻是操作流程，由作者本人錄制，時長21:30居然。

在查找數據時，用時稍長，但同時也告訴了你去哪里找數據，如何查數據，另外，還有一些有價值的話，喜歡的可以看看。

<script src="https://lf3-cdn-tos.bytescm.com/obj/cdn-static-resource/tt_player/tt.player.js?v=20160723"></script>

建議在wifi下觀看視頻（土豪可以隨意），以后會盡量壓縮視頻的時間長度，或使用截圖來說明。

既然錄了，傳一次視頻，看看反響如何，（未錄制文件更名的操作）

若喜歡的人多，繼續嘗試視頻，若一般，則會修正。

感謝您的閱讀，聰明人可以不用看視頻，了解思路即可。