言：

毫無(wú)例外，基本上是所有人都有一顆中獎(jiǎng)的心，不管是有錢的，還是沒(méi)錢的！你們說(shuō)對(duì)嗎？

對(duì)于技術(shù)人員來(lái)說(shuō)，通過(guò)技術(shù)分析，可以增加中獎(jiǎng)幾率，現(xiàn)使用python語(yǔ)言收集歷史雙色球中獎(jiǎng)信息，之后進(jìn)行預(yù)測(cè)分析。

萬(wàn)物皆可分析之--今天為大家?guī)?lái)的內(nèi)容，是Python數(shù)據(jù)分析之獲取雙色球歷史信息的方法。希望大家會(huì)喜歡!本次的代碼數(shù)據(jù)還算湊合，可以參考參考。

說(shuō)明：采用2016年5月15日獲取的雙色球數(shù)據(jù)為基礎(chǔ)進(jìn)行分析，總抽獎(jiǎng)數(shù)1940次。

初級(jí)代碼，有些內(nèi)容比較繁瑣，有更好的代碼，大家可以分享。

#!/usr/bin/python
# -*- coding:UTF-8 -*-
#coding:utf-8
#author:levycui
#date:20160513
#Description:雙色球信息收集
import urllib2
from bs4 import BeautifulSoup #采用BeautifulSoup
import os
import re
#偽裝成瀏覽器登陸,獲取網(wǎng)頁(yè)源代碼

 try:
 post=urllib2.urlopen(req)
 except urllib2.HTTPError,e:
 print e.code
 print e.reason
 return post.read()
#初始化url 雙色球首頁(yè)
url='http://kaijiang.zhcw.com/zhcw/html/ssq/list_1.html'
#===============================================================================

 else:
 return 0
#===============================================================================

 #初始化n
 n=0
 #將雙色球數(shù)字信息寫(xiě)入num.txt文件
 fp=open("num.txt" ,"w")
 for div in em_list:
 emnum1=div.get_text()
 # print emnum1
 text=div.get_text()
 text=text.encode('utf-8')
 #print title
 n=n+1
 if n==7:
 text=text + "\n"
 n=0
 else:
 text=text + ","
 fp.write(str(text))
 fp.close()

 #將num.txt和date.txt文件進(jìn)行整合寫(xiě)入hun.txt文件中
 #格式如下：
 #('2017-05-03', '09,12,24,28,29,30,02')
 #('2017-05-01', '06,08,13,14,22,27,10')
 #('2017-04-28', '03,08,13,14,15,30,04')
 #
 fp01=open("date.txt","r")
 a=[]
 for line01 in fp01:
 a.append(line01.strip('\n'))
 # print a

if __name__=="__main__":
 pageNum=getPageNum(url)
 print pageNum
 getpagetext=getText(url)
 print getpagetext

以上就是本文全部?jī)?nèi)容了！

最后，小編想說(shuō)一句話：我是一名python開(kāi)發(fā)工程師，整理了一套最新的python系統(tǒng)學(xué)習(xí)教程，包括從基礎(chǔ)的python腳本到web開(kāi)發(fā)、爬蟲(chóng)、數(shù)據(jù)分析、數(shù)據(jù)可視化、機(jī)器學(xué)習(xí),面試寶典，面試寶典，面試寶典。想要這些資料的可以關(guān)注小編，并在后臺(tái)私信小編：“07”即可領(lǐng)取。

天來(lái)寫(xiě)一個(gè)自動(dòng)計(jì)算微博抽獎(jiǎng)男女比例的代碼，很早就應(yīng)該發(fā)這篇了，只是不想蹭熱點(diǎn)（才不是拖更）。

整個(gè)的過(guò)程大概分為三步：

S1：從抽獎(jiǎng)公示頁(yè)獲取所有中獎(jiǎng)?wù)叩奈⒉㊣D

S2：由每個(gè)中獎(jiǎng)?wù)叩奈⒉㊣D進(jìn)入其相應(yīng)主頁(yè)，獲得需要的個(gè)人信息（性別、粉絲數(shù)、微博數(shù)等）

S3：對(duì)收集到的信息進(jìn)行相應(yīng)的匯總分析

接下來(lái)一步一步地進(jìn)行就好了，沒(méi)什么難點(diǎn)和需要注意的地方，權(quán)當(dāng)做是一次很小的練手。

首先每次微博抽獎(jiǎng)都會(huì)有一個(gè)公示鏈接。形如：http://event.weibo.com/yae/event/lottery/result?pageid=100140E1204222&id=3538105&f=weibo

其中pageid和id兩個(gè)變量就可以定位一次抽獎(jiǎng)。

中獎(jiǎng)名單每頁(yè)公示3個(gè)，當(dāng)你點(diǎn)下一頁(yè)的時(shí)候會(huì)以AJAX方式請(qǐng)求數(shù)據(jù)。

因此我們只需要請(qǐng)求第一頁(yè)以后，獲取獲獎(jiǎng)的總?cè)藬?shù)，然后循環(huán)分別獲取其余AJAX請(qǐng)求。

由于鏈接和諧，所以私信小編007即可獲取數(shù)十套PDF的獲取方式！

將每個(gè)獲獎(jiǎng)人的ID放在一個(gè)列表里，每次append即可。

在這邊有一點(diǎn)就是，我們必須要在登陸狀態(tài)下訪問(wèn)才可以看到獲獎(jiǎng)情況，否則會(huì)跳轉(zhuǎn)登錄頁(yè)。解決辦法是帶cookie訪問(wèn)。無(wú)腦加headers和cookies不會(huì)有問(wèn)題。

def lottery(page, pageid, lid):
 cookies={# your cookies }
 headers={# copy the headers }
 params=(
 ('pageid', pageid), # 100140E1198435
 ('id', lid), # 3436763
 ('page', page), # 2
 ('prizeLevel', '1'),
 ('_t', '0'),
 ('__rnd', int(time.time() * 1000)), # 1542650067843
 )
 response=requests.get('https://event.weibo.com/yae/aj/event/lottery/result', headers=headers, params=params,
 cookies=cookies)
 return response.text

我們可以看到AJAX返回的內(nèi)容是一個(gè)JSON，但是這個(gè)JSON內(nèi)的數(shù)據(jù)卻又沒(méi)有那么的友好，并不是我們常見(jiàn)的直接給出了每個(gè)用戶的數(shù)據(jù)字典，而是給了我們一個(gè)HTML標(biāo)簽包裹的代碼塊。也就是說(shuō)需要進(jìn)一步的解析，不過(guò)好在并不復(fù)雜，這里我選擇自己比較熟悉的BS來(lái)做，別的解析方法也都可以。

運(yùn)行代碼，我們便可以得到所有中獎(jiǎng)用戶ID組成的一個(gè)列表了。

def result(pageid, lid):
 userid=[]
 jsonObj=json.loads(lottery('1', pageid, lid))
 html=jsonObj['data']['html']
 # print(html)
 bsObj=BeautifulSoup(html, 'lxml')
 # <span class='lottery_published_gray'>113</span>
 spans=bsObj.find_all('span', {'class': 'lottery_published_gray'})
 count=spans[-1].text
 n=int(count) // 3 + 1
 if n==1:
 dt=bsObj.find_all('dt')
 for each in dt:
 userid.append(each.find('a')['href'].split('/')[3])
 print(userid)
 else:
 for i in range(1, n + 1):
 jsonObj=json.loads(lottery(i, pageid, lid))
 html=jsonObj['data']['html']
 bsObj=BeautifulSoup(html, 'lxml')
 dt=bsObj.find_all('dt')
 for each in dt:
 userid.append(each.find('a')['href'].split('/')[3])
 print(userid)
 return userid

獲取性別要進(jìn)入到每個(gè)用戶的個(gè)人信息頁(yè)面。在這里我們選擇請(qǐng)求手機(jī)版頁(yè)面，沒(méi)有太多雜亂的頁(yè)面結(jié)構(gòu)和廣告，反爬也相對(duì)寬松。

還是跟剛才差不多，帶cookies請(qǐng)求頁(yè)面就好了。這邊的結(jié)構(gòu)很規(guī)范，用XPATH也可以，當(dāng)然如果我們只取性別的話，正則也是夠用的。其余的信息像是姓名、地區(qū)、生日、標(biāo)簽、簡(jiǎn)介等等，大家可以相應(yīng)地自己實(shí)現(xiàn)。

def userInfo(uid):
 cookies={# your cookies}
 headers={# copy the headers}
 response=requests.get('https://weibo.cn/' + uid + '/info', headers=headers, cookies=cookies)
 h=response.text
 # print(h)
 pattern=re.compile(r'性別:(.)')
 sex=pattern.search(h).group(1)
 return sex

如此循環(huán)得到了所有用戶的性別后，我們只需要統(tǒng)計(jì)列表中的男女比例就可以了。

# 大概在300次左右會(huì)出現(xiàn)請(qǐng)求失敗。所以如果中間人數(shù)特別多的話，還是設(shè)置一下延時(shí)。

最后就是簡(jiǎn)單的數(shù)據(jù)分析。因?yàn)橐粊?lái)數(shù)據(jù)總量不大，二來(lái)我們不打算進(jìn)行太深入的數(shù)據(jù)分析，在不考慮存儲(chǔ)的情況下，我們直接使用了列表來(lái)存結(jié)果。如果要進(jìn)一步分析，最好還是用字典（JSON）、CSV等方式進(jìn)行持久化操作。既然是列表存儲(chǔ)的話，我們可以直接用列表的count方法來(lái)計(jì)算出男女比例。大家也可以結(jié)合可視化方法來(lái)更直觀地展示結(jié)果。

print(usersex.count('女'))
print(usersex.count('男'))

最終可以看一下兩次抽獎(jiǎng)的結(jié)果：

usersex1=['女', '女', '女', '女', '女', '女', '女', '女', '女', '女', '女', '女', '女', '女', '女', '女', '女', '女', '女', '女', '女', '女',
 '女', '女', '女', '女', '女', '女', '女', '女', '女', '女', '男', '女', '女', '女', '女', '女', '女', '女', '女', '女', '女', '女',
 '女', '女', '女', '女', '女', '女', '女', '女', '女', '女', '女', '女', '女', '女', '女', '女', '女', '女', '女', '女', '女', '女',
 '女', '女', '女', '女', '女', '女', '女', '女', '女', '女', '女', '女', '女', '女', '女', '女', '女', '女', '女', '女', '女', '女',
 '女', '女', '女', '女', '女', '女', '女', '女', '女', '女', '女', '女', '女', '女', '女', '女', '女', '女', '女', '女', '女', '女',
 '女', '女', '女']
usersex2=['男', '女', '女', '男', '女', '男', '女', '女', '女', '男', '女', '女', '女', '女', '女', '女', '女', '男', '女', '男', '女', '男',
 '男', '女', '男', '女', '女', '女', '女', '女', '女', '女', '女', '女', '女', '女', '女', '女', '男', '女', '男', '男', '男', '女',
 '女', '男', '女', '女', '女', '女', '女', '女', '女', '女', '女', '女', '女', '男', '女', '女', '男', '女', '女', '女', '女', '女',
 '女']

第一次抽獎(jiǎng)113人中，有112人為女；第二次抽獎(jiǎng)67人中，有51人為女。

今天的內(nèi)容我也為大家錄了一期視頻講解，大家可以點(diǎn)擊原文跳轉(zhuǎn)觀看，比較適合零基礎(chǔ)的同學(xué)學(xué)習(xí)~