著線下交友方式的受限，線上交友成為了很多單身男女的選擇，也因此征婚交友源碼的開發越來越受歡迎，市場競爭也越發激烈。要想在競爭激烈的市場上脫穎而出需要做好三方面，分別是技術、功能和性能。今天我們就實現前端性能優化進行分析。

一、使用CDN

為了提升征婚交友源碼的前端性能，使用CDN是很常見的手段，首先需要選擇技術成熟、節點覆蓋范圍廣的CDN三方，然后再將系統中靜態的資源等通過CDN進行分發，以此來提升用戶訪問的響應速度。

二、減少請求次數

在加載征婚交友源碼中某一頁面時，盡量將圖片、CSS、JS合并要一起，以減少請求次數，這樣不僅能提升網絡請求效率，還能加快頁面加載速度，最重要的是能優化用戶的視同體驗。

三、使用gzip壓縮內容

征婚交友源碼中很多原始數據的體積都是比較大的，無論是傳輸還是下載均需耗費大量的系統資源，因此，為了實現前端性能優化，可以對部分原始數據進行壓縮處理，這樣就能有效提升數據的傳輸速度。

四、權衡DNS查找次數

適當地減少征婚交友源碼的主機名，能有效提升響應速度，不過，由于減少主機會降低頁面的并行下載數量，所以要做好權衡。

五、把CSS放到頂部

征婚交友源碼的頁面加載順序通常是由上往下加載的，所以需要將CSS放在頁面的頂部，實現頁面的優先渲染，以此來提升用戶的加載體驗。

六、把JS放到底部

如果在征婚交友源碼中優先加載JS，則會在加載后續資源時造成阻塞，因此，將JS放到底部，最后加載則是優化前端性能的有效措施。

七、刪除重復的JS和CSS

在征婚交友源碼中重復的JS和CSS會導致請求次數的增加，不必要的運算又會浪費大量的資源和時間，所以在開發時，盡可能將重復的JS和CSS刪除掉。

八、減少DOM元素數量

如果征婚交友源碼中DOM數量過多，就會導致服務器解析負擔的增加，自然也會影響到前端的使用性能，減少DOM元素數量，就能在一定程度上實現前端性能的優化。

征婚交友源碼的前端性能優化并不是一蹴而就的事，需要我們一步一步地去探索。前端性能優化方式遠不止上述的幾種，需要我們在日常的工作中不斷地去積累。只有不斷提升征婚交友源碼的質量，才能在市場中獲得更好地發展。

聲明：本文由云豹科技原創，轉載請注明作者名及原文鏈接，否則視為侵權

者：某某白米飯

來源：Python 技術

派森醬在刷豆瓣的時候發現，豆瓣上居然還有一個叫我被豆油表白了的交友話題，閱讀量居然高達 8087734 次，擁有 1000+ 篇話題，幾乎每篇平均被閱讀了 8000+ ，看了一下里面的小姐姐照片還挺多的。今天我們就用爬蟲把他們下載下來。

首先在瀏覽器中登錄豆瓣，打開話題廣場在右側有一個分類查看話題點開情感。

打開后就是下面這個樣子的。

爬蟲開始

打開控制面板 F12, 找到帶 items 的連接，然后復制整個 Request Headers 到代碼中，采用復制 cookie 的方式登錄豆瓣。

 url_basic='https://m.douban.com/rexxar/api/v2/gallery/topic/18306/items?from_web=1&sort=hot&start={}&count=20&status_full_text=1&guest_only=0&ck=GStY'
  headers={ 
    'Accept': 'application/json, text/javascript, */*; q=0.01',
    'Accept-Encoding': 'gzip, deflate, br',
    'Accept-Language': 'zh-CN,zh;q=0.9',
    'Connection': 'keep-alive',
    'Content-Type': 'application/x-www-form-urlencoded',
    'Cookie': 'bid=n7vzKfXLoUA; douban-fav-remind=1; ll="108296"; __utmc=30149280; __utmz=30149280.1624276858.2.2.utmcsr=google|utmccn=(organic)|utmcmd=organic|utmctr=(not%20provided); ap_v=0,6.0; gr_user_id=ca8b9156-1926-4c82-9dda-27fc7f7ad51b; __utma=30149280.66080894.1623848440.1624276858.1624282580.3; __utmt=1; dbcl2="157316158:e4ojS8paSUc"; ck=GStY; push_doumail_num=0; __utmv=30149280.15731; frodotk="a187943e3a17e8bbe496bcbaae47ba31"; push_noty_num=0; __utmb=30149280.11.10.1624282580',
    'Host': 'm.douban.com',
    'Origin': 'https://www.douban.com',
    'Referer': 'https://www.douban.com/gallery/topic/18306/',
    'sec-ch-ua': '" Not;A Brand";v="99", "Google Chrome";v="91", "Chromium";v="91"',
    'sec-ch-ua-mobile': '?0',
    'Sec-Fetch-Dest': 'empty',
    'Sec-Fetch-Mode': 'cors',
    'Sec-Fetch-Site': 'same-site',
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.106 Safari/537.36'
  }

url_basic 就是可以返回列表 json 的地址，只有 start 參數在隨鼠標下滑翻頁改變。

 for i in range(1,35):
    
    res=requests.get(url=url_basic.format(i * 20), headers=headers)
    res_json=json.loads(res.text)
    index=0
    for item in res_json.get('items'):
      target=item.get('target')
      status=target.get('status')
      print("這里是第 {} 個".format((i - 1) * 20 + index));
      index=index + 1
      with open('douban.txt', 'a+') as f:
        f.write(json.dumps(status) + '\n');

    sleeptime=random.randint(1, 10)
    time.sleep(sleeptime)

這里把下載下來的數據緩存在 txt 文件里面。

圖表

交友地圖

先提取小姐姐的地址做一個熱力圖，看看哪邊的小姐姐最多。

需要安裝 cpca 第三方庫，cpca 是一個用于提取簡體中文字符串中省，市和區并能夠進行映射，檢驗和簡單繪圖的python模塊。簡單來說就是將交友文字中出現的市區名稱轉換為省份名稱。

pip install cpca

windows 上安裝可能出現 Building wheel for pyahocorasick (setup.py) ... error 錯誤，需要安裝 Microsoft Visual C++ Build Tools 后再 pip install cpca。

第二個安裝的是 pyecharts 第三方庫，用來可視化熱力圖。

pip install pyecharts

可以看出華東和華南交友的小姐姐要比華北和西部的小姐姐多很多，看起來單身小姐姐都集中在一線城市及其周邊。

Python 代碼如下：

from pyecharts.charts import Geo
from pyecharts.globals import ChartType

addr_dic={}
file_object=open('douban.txt','r')
try:
    for line in file_object:
        item=json.loads(line)
        if item==None:
            continue
        author=item['author']
        text=item['text']

        addr_transform=cpca.transform([text])
        addr=None

        if addr_transform['省'].str.split(' ')[0] !=None:
            addr=addr_transform['省'].str.split(' ')[0][0].rstrip('省')

        //這里提取創作者里面的地址
        if addr is None and author['loc'] is not None:
            cpca.transform([author['loc']['name']])

            if addr_transform['省'].str.split(' ')[0] !=None:
                addr=addr_transform['省'].str.split(' ')[0][0].rstrip('省')
        
        //這個地址要轉換一下，不然 echarts 不認
        if addr is not None:
            if addr=='廣西壯族自治區':
                addr='廣西'
            if addr=='香港特別行政區':
                addr='香港'
            if addr=='澳門特別行政區':
                addr='澳門'
        addr_dic[addr]=addr_dic.get(addr, 0) + 1

finally:
    file_object.close()

// 小姐姐熱力圖
(
    Geo()
    .add_schema(maptype="china")
    .add(
        "",
        [list(z) for z in zip(list(addr_dic.keys()), list(addr_dic.values()))],
        type_=ChartType.HEATMAP,
    )
    .set_series_opts(label_opts=opts.LabelOpts(is_show=False))
    .set_global_opts(
        visualmap_opts=opts.VisualMapOpts(),
    ).render("熱力圖.html")
  )

詞云

詞云可以用來展示小姐姐們自身的情況和對對方的要求。用 pyecharts 生成詞云和用 jieba 第三方庫分詞。

安裝一下 jieba 第三方庫。

pip install jieba

Python 代碼如下：

import jieba
from collections import Counter
from pyecharts.charts import WordCloud

for line in file_object:
    item=json.loads(line)
    if item==None:
        continue
    text=item['text']

    seg_list=jieba.cut(text, cut_all=False)
    text_list.extend(seg_list)

# 詞頻統計,使用Count計數方法
words_counter=Counter(text_list)
# 將Counter類型轉換為列表
words_list=words_counter.most_common(500)
(
    WordCloud()
    .add(series_name="", data_pair=words, word_size_range=[20, 66])
    .render("詞云.html")
)

照片下載

最后來下載小姐姐照片吧，直接用 request.get() 方法請求 images 里面的地址。

for line in file_object:
    item=json.loads(line)
    if item==None:
        continue
    images=item['images']
    id=item['id']

    index=0
    for i in images:
        index=index + 1
        url=i.get('large').get('url')
        r=requests.get(url);
        with open('./image/{}-{}.jpg'.format(id, index), 'wb') as f:
            f.write(r.content) 

總結

這篇爬蟲到這里就結束了，派森醬在這里祝愿朋友們都能找到自己的良人。