據(jù)采集中，發(fā)布時間解析的正確與否，直接關(guān)系著使用數(shù)據(jù)的產(chǎn)品的質(zhì)量。一般在做做大規(guī)模數(shù)據(jù)爬取時，都會整理一下發(fā)布時間規(guī)律，如特殊關(guān)鍵字，時間正則等。下面介紹一下，我在工作中處理的具體步驟。

1：收集發(fā)布時間標識詞

一般情況下，標識發(fā)布時間的關(guān)鍵詞有：更新時間：、發(fā)布日期:、發(fā)表時間：、發(fā)稿時間：、發(fā)布于:、編輯日期：、發(fā)布于：等。通過這些特殊關(guān)鍵詞，可以高效、準確的判斷出時間所在位置，提供解析的準確率。

2：收集發(fā)布時間正則

發(fā)布時間的正則表達式，一般情況下主要有以下十一種發(fā)布時間獲取規(guī)則：

(\d{4}-\d{1,2}-\d{1,2}\s\d{1,2}:\d{1,2}:\d{1,2})

(\d{2}-\d{1,2}-\d{1,2}\s\d{1,2}:\d{1,2}:\d{1,2})

(\d{4}-\d{1,2}-\d{1,2}\s\d{1,2}:\d{1,2})

(\d{2}-\d{1,2}-\d{1,2}\s\d{1,2}:\d{1,2})

(\d{4}-\d{1,2}-\d{1,2})

(\d{2}-\d{1,2}-\d{1,2})

(\d{1,2}-\d{1,2}\s\d{1,2}:\d{1,2}:\d{1,2})

(\d{1,2}-\d{1,2}\s\d{1,2}:\d{1,2})

(\d{1,2}:\d{1,2}:\d{1,2})

(\d{1,2}-\d{1,2})

(\d{1,2}:\d{1,2})

使用的過程中，需要注意這九種表達式的順序。由于我在使用過程中，發(fā)布時間標識詞與正則表達式，是在一個系統(tǒng)中統(tǒng)一管理。

所以，對每個標識詞和表達式進行了排序，排序值越小，越先處理。如下如： 正則表達式、 關(guān)鍵詞。

3：處理特殊時間格式

特殊時間格式如：“分鐘前”、“小時前”、“天前”、“周前”、“今天”等。主要把這些時間轉(zhuǎn)換為正常的時間格式，便與后續(xù)的解析。

4：HTML源碼預處理

1：刪除多余的HTML標簽

刪除meta、style、script、link、select、input、button、img等標簽，消除這些標簽中的值對解析的影響；

2：特殊標簽處理

替換“”、"<span"、“”等為“ ”

3：特殊字符處理

主要是對時間進行統(tǒng)一化、規(guī)范化。如“年”、“\”、“/”、“月”等替換為“-”；“日”、"T"等替換為“ ”等；

4：刪除HTML所有的標簽、特殊符號、字母等

5：根據(jù)收集的發(fā)布時間說明詞，截取HTML源碼

if self.keywords !=None:

for kw in self.keywords:

try:

index=0

if kw in html:

index=html.index(kw)

begin=0;

end=len(html)

if(index > 1):

end=index + 100

if index >=100:

begin=index - 100

else:

begin=index

html=html[begin:end]

break

except : print(traceback.format_exc())

6：替換所有的漢字為“ ”，同時規(guī)范字符串

5：解析發(fā)布時間

1：根據(jù)收集的時間正則，解析發(fā)布時間

2：根據(jù)獲取時間時使用的正則，規(guī)范發(fā)布時間

3：判斷當前時間是否合法。主要是判斷解析出的時間是否大于當前時間，如果大于，則用當前時間填充。避免影響后續(xù)產(chǎn)品的數(shù)據(jù)使用。

文為原創(chuàng)分享，轉(zhuǎn)載請注明出處。

1、引言

即時通訊IM應用中的聊天消息時間顯示是個再常見不過的需求，現(xiàn)在都講究用戶體驗，所以時間顯示再也不能像傳統(tǒng)軟件一樣簡單粗地暴顯示成“年/月/日 時:分:秒”這樣。所以，市面上幾乎所有的IM都會對聊天消息的時間顯示格化做人性化處理，從而提升用戶體驗（使用感受會明顯友好）。

這兩天正在繼續(xù)開發(fā)RainbowChat-Web產(chǎn)品，所以正需要這樣的代碼。但經(jīng)過在即時通訊網(wǎng)的論壇和技術(shù)交流群里詢問，以及網(wǎng)上的所謂仿微信例子，都不符合要求。這些例子要么簡陋粗暴（有邏輯bug硬傷）、要么并不完整（可能只是隨手寫的練手代碼，并不適合放到產(chǎn)品中），所以本著做技術(shù)精益求精的態(tài)度，沒有現(xiàn)成的輪子可用，那就只能造輪子了。

那么，按怎樣的顯示邏輯來實現(xiàn)呢？作為移動端IM的王者，微信無疑處處是標桿，所以本次的消息時間顯示格式，直接參照微信的實現(xiàn)邏輯準沒錯（隨大流雖然沒個性，但不至于非主流）。

* 提示：本文中的代碼實現(xiàn)，是從 RainbowChat 和 RainbowChat-Web 兩個IM產(chǎn)品中扒出來簡化后的結(jié)果，是基于完全相同的算法邏輯分別用OC、Java和JavaScript實現(xiàn)的。如您覺得有用，可以改改直接用于您的產(chǎn)品，如您有更好的建議請直接回復和評論。代碼僅供參考，不足之外，還請見諒！

（本文同步發(fā)布于：http://www.52im.net/thread-2371-1-1.html）