寫在最前面※

【關于商品審核時間】

工作日

10:30之前提交審核的，11:00之前審完

15:00之前提交審核的，15:30之前審完

20:00之前提交審核的，20:30之前審完

周末/公共假期

20:00之前提交審核的，20:30之前審完

如果審核遇到問題，請將審核未通過的商品編號發到群里（如：6535408016756310200，可在商品管理中查看），我們會集中為大家處理。

商品前端展示與后臺錄入內容對照示例：

一、創建商品

點擊“商品”—“創建商品”

二、設置產品參數

支付方式：在線支付。目前小店僅支持這一種支付方式

商品URL：（此項選填）可填入淘寶/天貓（其他平臺暫不支持）商品鏈接后，點擊獲取寶貝詳情，自動獲取已有寶貝已有淘寶/天貓商品信息

-效果如圖【抓取后的信息請認真核對，如有順序顛倒、圖片未能正常抓取 請手動補充調整】

產品標題：準確簡潔的描述商品，如：不銹鋼真空保溫杯，長效保溫，支持驗貨

※如果是虛擬商品，請在標題寫清楚【線上發貨，無物流信息】

賣點：四個漢字（前端不展示）

商家推薦語：用一句話描述并推薦一下商品的優點，如：大分量雨前龍井茶 （前端不展示）

商品類目：請根據商品屬性選擇，可參考：類目對應表：https://shimo.im/sheet/AbmrMa54LOgps9qT。不同類目涉及的商品規格信息不同。

商品規格：請按實際情況填寫

價格：需不高于市場同類商品價格，并且在后續設置的訂單套餐價格范圍內

原價：不填

傭金比例：0

運費設置：運費默認為包郵，如果您設置運費的需求，請新建運費模板并選擇。

※如何新建運費模板？

1.選擇【運費設置】右邊的【新建運費模板】

或者進入【物流】-【運費模板】新建運費模板

2.設置模板名稱、寶貝地址

模板名稱：請根據需求隨意設置

寶貝地址：寶貝地址為商家發貨地址，請選擇商品上線后的實際發貨地

3.選擇計價方式

按件數計價：選擇按件數計價，填寫默認運費，如 1件10元，沒增加1件，增加運費2元。

按重量計價：選擇按件數計價，填寫默認運費，如 1kg10元，每增加1kg，增加運費2元。

4.設置指定地區運費

如果有些地區不采用默認運費，需要單獨設置。請點擊【為指定地區設置運費】，設置特定地區的運費規則。計價方式 與之前選擇的計價方式一致。

注意：此項不是必須設置，如統一運費規則，不需要設置此項。

5.點擊【提交】完成新增運費模板

三、設置產品主圖

主圖要求如下：

1.必須上傳5張圖片

2.圖片必須為正方形（長寬比1:1）簡易圖片裁剪教程：https://jingyan.baidu.com/article/cd4c29793d0a39756f6e6077.html

3.只支持png，jpg，jpeg三種格式的圖片

四、產品詳情

1.建議將詳情內容做成寬度為600的圖片后上傳，每張圖片大小最好控制在1M左右。只支持png，jpg，jpeg三種格式的圖片。如需上傳動圖，請先將圖片擴展名改為.jpg。

（修改方式：http://dwz.cn/7XOHP2）【請注意 一定要上傳圖片！文本形式的產品詳情嚴重影響轉化率，提交審核后會被駁回哦！】

2.詳情頁圖片中要說明商品規格重量、特點、優勢、使用方法、保質期等，從多角度盡量展示商品的全部細節。文字說明建議做成圖片，便于閱讀。

3.如無詳情，可將主圖圖片輔以文字說明制作成詳情圖片，合理排序后上傳。

五、訂單套餐

1.首先點擊“創建商品規格”

-規格名稱：可根據產品名稱填寫

-子規格名稱：可根據商品的規格類型填寫，如：顏色、套餐組合、圖案、瓶、盒等

-子規格選項：可填寫商品的具體規格內容，如：商品重量、商品數量、商品尺寸等

【子規格的數量。選項可根據實際情況增加減少】

設置完成后點擊確定

2.選擇已經保存的規格名稱，設置庫存價格商品編碼

商品編碼不展示給用戶，可自行設置

單價可以大于或者小于售價，但是必須有一個套餐價格與售價保持一致

庫存數量可設置較大數值，防止商品賣光庫存不足

六、商品管理

正在售賣商品：已經提交審核正在線上售賣商品可以在這里查看

提交申請商品：已提交審核但仍在審核中的商品可以在這里查看

下架商品：已被下架商品可以在這里查看

封禁商品：違規被封禁處理的商品可以在這里查看

保存為提交商品：完成商品創建，點擊了【保存】的商品可以在這里查看，如需給保存商品提交審核 請點擊【修改商品】

回收站：已刪除商品可以在這里查看

七、商品資質

商品所需相關資質，請查看：【特殊類目商家資質要求】 對照上傳。

了解禁止投放商品請查看：【頭條小店禁售商品管理規范】

比Python，JavaScript才是更適合寫爬蟲的語言。原因有如下三個方面：

• JavaScript異步IO機制適用于爬蟲這種IO密集型任務。JavaScript中的回調非常自然，使用異步網絡請求能夠充分利用CPU。
• JavaScript中的jQuery毫無疑問是最強悍的HTML解析工具，使用JavaScript寫爬蟲能夠減少學習負擔和記憶負擔。雖然Python中有PyQuery，但終究還是比不上jQuery自然。
• 爬取結果多為JSON，JavaScript是最適合處理JSON的語言。

一、任務：爬取用戶在Github上的repo信息

通過實例的方式學習爬蟲是最好的方法，先定一個小目標：爬取github repo信息。入口URL如下，我們只需要一直點擊next按鈕就能夠遍歷到用戶的所有repo。

https://github.com/{{username}}?tab=repositories

獲取repo之后，可以做什么？

• 統計用戶最常使用的語言，統計用戶語言使用分布情況統計用戶所獲取的star數，fork數

二、爬蟲雙股劍：axios和jQuery

axios是JavaScript中很常用的異步網絡請求庫，相比jQuery，它更輕量、更專業。既能夠用于瀏覽器端，也可以用于Node。它的語法風格是promise形式的。在本任務中，只需要了解如下用法就足夠了：

axios.get(url).then((resp) => {
 請求成功，處理resp.data中的html數據
}).catch((err) => {
 請求失敗，錯誤處理
})

請求之后需要處理回復結果，處理回復結果的庫當然是用jQuery。實際上，我們有更好的選擇：cheerio。

在node下，使用jQuery，需要使用jsdom庫模擬一個window對象，這種方法效率較低，四個字形容就是：笨重穩妥。

如下代碼使用jQuery解析haha.html文件

fs = require("fs")
jquery=require('jquery')
jsdom=require('jsdom') //fs.readFileSync()返回結果是一個buffer，相當于byte[] 
html = fs.readFileSync('haha.html').toString('utf8') 
dom= new jsdom.JSDOM(html) 
$=jquery(dom.window) console.log($('h1'))

cheerio只實現了jQuery中的DOM部分，相當于jQuery的一個子集。cheerio的語法和jQuery完全一致，在使用cheerio時，幾乎感覺不到它和jQuery的差異。在解析HTML方面，毫無疑問，cheerio是更好的選擇。如下代碼使用cheerio解析haha.html文件。

cheerio=require('cheerio')
html=require('fs').readFileSync("haha.html").toString('utf8')
$=cheerio.load(html)
console.log($('h1'))

只需20余行，便可實現簡單的github爬蟲，此爬蟲只爬取了一頁repo列表。

var axios = require("axios")
var cheerio = require("cheerio")
axios.get("https://github.com/weiyinfu?tab=repositories").then(resp => {
 var $ = cheerio.load(resp.data)
 var lis = $("#user-repositories-list li")
 var repos = []
 for (var i = 0; i < lis.length; i++) {
 var li = lis.eq(i)
 var repo = {
 repoName: li.find("h3").text().trim(),
 repoUrl: li.find("h3 a").attr("href").trim(),
 repoDesc: li.find("p").text().trim(),
 language: li.find("[itemprop=programmingLanguage]").text().trim(),
 star: li.find(".muted-link.mr-3").eq(0).text().trim(),
 fork: li.find(".muted-link.mr-3").eq(1).text().trim(),
 forkedFrom: li.find(".f6.text-gray.mb-1 a").text().trim()
 }
 repos.push(repo)
 }
 console.log(repos)
})

三、更豐富的功能

爬蟲不是目的，而是達成目的的一種手段。獲取數據也不是目的，從數據中提取統計信息并呈現給人才是最終目的。

在github爬蟲的基礎上，我們可以擴展出更加豐富的功能：使用echarts等圖表展示結果。

要想讓更多人使用此爬蟲工具獲取自己的github統計信息，就需要將做成一個網站的形式，通過搜索頁面輸入用戶名，啟動爬蟲立即爬取github信息，然后使用echarts進行統計展示。網站肯定也要用js作為后端，這樣才能和js爬蟲無縫銜接，不然還要考慮跨語言調用。js后端有兩大web框架express和koa，二者API非常相似，并無優劣之分，但express更加流行。

如上設計有一處用戶體驗不佳的地方：當啟動爬蟲爬取github信息時，用戶可能需要等待好幾秒，這個過程不能讓用戶干等著。一種解決思路是：讓用戶看到爬蟲爬取的進度或者爬取過程。可以通過websocket向用戶推送爬取過程信息并在前端進行展示。展示時，使用類似控制臺的界面進行展示。

如何存儲爬取到的數據呢？使用MongoDB或者文件都可以，最好實現兩種存儲方式，讓系統的存儲方式變得可配置。使用MongoDB時，用到js中的連接池框架generic-pool。

整個項目用到的庫包括：

• express：后端框架
• cheerio+axios：爬蟲
• ws：websocket展示爬取過程
• webpack：打包工具
• less：樣式語言
• echarts：圖表展示
• vue：模板渲染
• jquery：DOM操作
• mongodb：存儲數據
• generic-pool：數據庫連接池

試用地址：

https://weiyinfu.cn/githubstatistic/search.html?

案例地址：https://github.com/weiyinfu/GithubStatistic

原文鏈接：https://zhuanlan.zhihu.com/p/53763115