網頁json數據轉換成csv數據并提供下載鏈接

言

數據相關網站有時需要提供數據下載鏈接，以便于用戶下載數據。網頁上嘗試用json數據，但是用戶

環境

Windows10
jquery2.1.4

方法

HTML文件中加入下載標簽
<div id="download"></div>
假設已有json數據ret：

ret=[{name: "motor1", temp1: 48, temp2: 49, time: "2018-05-17 10:21:53", length: 10},
{name: "motor1", temp1: 48, temp2: 48, time: "2018-05-17 10:21:30", length: 10},
{name: "motor1", temp1: 64, temp2: 48, time: "2018-05-15 16:52:50", length: 10},
{name: "motor1", temp1: 64, temp2: 48, time: "2018-05-15 16:52:49", length: 10},
{name: "motor1", temp1: 64, temp2: 48, time: "2018-05-15 16:52:47", length: 10},
{name: "motor1", temp1: 64, temp2: 48, time: "2018-05-15 16:52:46", length: 10},
{name: "motor1", temp1: 64, temp2: 64, time: "2018-05-15 16:52:36", length: 10},
{name: "motor1", temp1: 64, temp2: 64, time: "2018-05-15 16:51:55", length: 10},
{name: "motor1", temp1: 64, temp2: 70, time: "2018-05-15 16:19:53", length: 10},
{name: "motor1", temp1: 64, temp2: 72, time: "2018-05-15 16:18:18", length: 10}]
1
2
3
4
5
6
7
8
9
10
11

使用json轉csv的庫json2csv, 下載后導入庫
<script src="/static/js/json2csv.js" type="text/javascript"></script>
json數據轉cvs并生成下載鏈接
<script>
var myData=[]，
length=10;
// 我的json數據從后端傳過來的，需要導入一下，否則讀不到，大家根據情況使用，可刪掉
for(var i=0; i<length; i++){
myData.push(ret[i]);
}
// 將json數據轉化為csv
var fields=['name', 'temp1', 'temp2', 'time'];
var result=json2csv({ data: myData, fields: fields });
// 創建下載鏈接
var data="data:text/csv;charset=utf-8," + encodeURIComponent(result); // 格式化數據
var aa=$("<a></a>").text("下載數據"); // 創建<a>標簽
aa.attr('href', data); // 給<a>標簽添加href屬性
aa.attr('download', 'data.csv'); // 給<a>標簽創建download屬性
$("#download").append(aa); // 插入標簽
</script>

章開始之前，我們先來看一個常見的問題：

接到一個任務，需要抓取某個網站上的數據內容，網頁上需要輸入搜索關鍵詞，然后點擊搜索按鈕，等待頁面加載完畢，獲取網頁上的搜索結果，而每一個搜索結果項，都需要點擊展開才能查看到具體內容。

對于該問題，我們可以從網上找到一些解決問題的途徑，但是大都不是很全面。這里小編對所有可能出現的問題做了一次調研，并匯總成如下的解決方案，希望對大家有所幫助。

首先，我們先來匯總一下python生態下爬取網站數據需要用到的工具。

1，selenium chromedriver，這個標準的自動化工具，可以幫助我們從后臺操控google瀏覽器，并能模擬鼠標移動和點擊事件，配合xpath快速定位網頁元素，從根本上解放了我們的雙手。

2，ajax-hook, 這個是用來攔截xhr的鉤子，可以快速獲取網站服務器的響應內容，而無需我們被動地從網頁上來獲取。

明確了我們處理任務的可用資源，下一步就是各種踩坑了。

這里小編先列舉一下，我所遇到的坑：

1，selenium的webdriver加載網頁，怎么判斷頁面是否加載完全，使用

wait=WebDriverWait(self.driver, timeout=10)

wait.until(lambda my_driver: my_driver.execute_script('return document.readyState')=='complete')

發現這種方案不可行，遇到動態網頁異步加載就gameover，不通用，可行的方案應該wait for webelement loaded，也就是等待你所關注的網頁元素加載完畢才行。

2，xpath的相對路徑查找，是帶了position的向下查找，也就是說每次調用xpath find, 其position就往下移動一次。所以如果用xpath在同一個流程調用多次只有第一次可以找到元素，后面都是失敗的。所以對于需要反復查找的元素，最好要用絕對路徑，獲取xpath絕對路徑很簡單

打開瀏覽器的開發者工具，點擊左上角的小箭頭，移動鼠標到具體某個按鈕或者輸入框點擊一下就可以定位到html的標簽源代碼位置，鼠標右鍵，Copy xpath即可

3，怎么截獲并過濾xhr請求，將響應內容保存下來，而不會造成內存暴漲。

from selenium import webdriver

from selenium.webdriver.chrome.options import Options

from selenium.webdriver.support.ui import WebDriverWait

chrome_options=Options()

chrome_options.add_argument("--disable-extensions")

chrome_options.add_argument("--disable-gpu")

chrome_options.add_argument("--headless")

chrome_options.add_argument("--no-sandbox")

prefs={

'download.default_directory': os.getenv('OS_LOG_PATH')

}

chrome_options.add_experimental_option('prefs', prefs)

capabilities=webdriver.DesiredCapabilities().CHROME

capabilities['acceptSslCerts']=True

driver=webdriver.Chrome(options=chrome_options, desired_capabilities=capabilities)

我們先來初始化一下webdriver，網上有很多資料，但是都不是很全面，上面是我整理的初始化內容，大家按照這個來，就不會有問題。

截獲https/http響應body內容，網上大致有三種實現思路：

1，開啟browser, performance log，再根據requestId，調用chrome-devtools protocal Network.getResponseBody, 獲取響應body。但是問題來了，我們需要大量采集response，而performance log都是存在內存中，還需要我們人為清理，并且performance log采集的信息很雜，沒有過濾的入口提供給開發者。而且最煩的是，還需要去解析log，需要為了查詢一個repsonse body，有時候需要人為過濾N行日志。。。。。（直接無語凝噎）

2，使用代理，網上傳的最多的是browsermob-proxy，但是這個玩意很無語的是只提供response的統計信息，不返回實質性的response body內容，配置各種參數都不會返回content.text字段，氣得跳腳，去github上看源碼發現，text被下放了，當前穩定版本都會省略這個參數。所以你辛辛苦苦安裝proxy，調整ssl參數，在python中配置各種proxy har，設置captureContent，結果卻得不到response body，不自覺就口吐芬芳了。所以想要其返回text字段，你需要改它的源碼，改源碼不難，但是很煩。

3，使用ajax-hook, 這個方案的思路是：在源網頁加載之前，實現一個XMLHttpRequest的代理對象，然后覆蓋全局的XMLHttpRequest，這樣一但上層調用 new XMLHttpRequest這樣的代碼時，其實創建的是Ajax-hook的代理對象實例

我們先新建一個hook.js腳本

(function(console){

console.save=function(data, filename){

if(!data) {

console.error('Console.save: No data')

return;

}

if(!filename) filename='console.json'

if(typeof data==="object"){

data=JSON.stringify(data, undefined, 4)

}

var blob=new Blob([data], {type: 'text/json'}),

e=document.createEvent('MouseEvents'),

a=document.createElement('a')

a.download=filename

a.href=window.URL.createObjectURL(blob)

a.dataset.downloadurl=['text/json', a.download, a.href].join(':')

e.initMouseEvent('click', true, false, window, 0, 0, 0, 0, 0, false, false, false, false, 0, null)

a.dispatchEvent(e)

}

})(console)

ah.proxy({

//請求發起前進入

onRequest: (config, handler)=> {

console.log(config.url)

handler.next(config);

//請求發生錯誤時進入，比如超時；注意，不包括http狀態碼錯誤，如404仍然會認為請求成功

onError: (err, handler)=> {

console.log(err.type)

handler.next(err)

//請求成功后進入

onResponse: (response, handler)=> {

if (response.config.url.startsWith('api/apps') && response.config.url.endsWith('/search')) {

timestamp=new Date().getTime().toString()

console.save(response.response, timestamp+'.json')

}

handler.next(response)

}

})

該hook.js是我改良之后的，可以拿來直接用，功能就是根據response.config.url過濾我們需要的請求，并將response body保存到本地的json文件中，注意到上文中webdriver初始化的字段中有個選項，download.default_directory

prefs={

'download.default_directory': os.getenv('OS_LOG_PATH')

}

os.getenv('OS_LOGPATH')這個是獲取環境變量，環境變量的值為我們需要保存response body的文件夾路徑，每一個response body都是一個json文件。大功告成！！簡潔明了，不需要依賴于其他任何東西，就可以實現了，長舒一口氣。

總結經驗：

1，不要盲目使用網上的源碼，也不要死扣一種解決方案，不要輕易就相信網上的博文資料而不親自實踐，人云亦云。

2，解決問題最有效的途徑是：看清問題的本質，從問題的內部挖掘出解決文圖的思路，拆解成更容易解決的小問題。當一個問題關聯了太多變量因素時，要學會控制單一變量，用排除法一步步解決，省時省力，不容易走彎路。

者 | 豬哥

責編 | maozz

JSON的誕生原因是因為XML整合到HTML中各個瀏覽器實現的細節不盡相同，所以道格拉斯·克羅克福特（Douglas Crockford）和奇普·莫寧斯達（Chip Morningstar）一起從JS的數據類型中提取了一個子集，作為新的數據交換格式，因為主流的瀏覽器使用了通用的JavaScript引擎組件，所以在解析這種新數據格式時就不存在兼容性問題，于是他們將這種數據格式命名為 “JavaScript Object Notation”，縮寫為 JSON，由此JSON便誕生了！

今天我們來學習一下JSON的結構形式、數據類型、使用場景以及注意事項吧！

JSON格式

上面我們知道JSON是從JavaScript的數據類型中提取出來的子集，那JSON有幾種結構形式呢？又有哪些數據類型呢？他們又分別對應著JavaScript中的哪些數據類型呢？

JSON的2種結構形式，鍵值對形式和數組形式。

舉了一個JSON的實例，就是鍵值對形式的，如下：

{
"person": {
"name": "pig",
"age": "18",
"sex": "man",
"hometown": {
"province": "江西省",
"city": "撫州市",
"county": "崇仁縣"
}
}
}

這種結構的JSON數據規則是：一個無序的“‘名稱/值’對”集合。一個對象以 {左括號開始， }右括號結束。每個“名稱”后跟一個 :冒號；“‘名稱/值’ 對”之間使用 ,逗號分隔。

因為大多數的時候大家用的JSON可能都是上面那種key-value形式，所以很多人在講解JSON的時候總是會忽略數組形式，這一點是需要注意的。

那JSON的數組形式是怎么樣的呢？舉一個實例吧！

["pig", 18, "man", "江西省撫州市崇仁縣"]

數組形式的JSON數據就是值（value）的有序集合。一個數組以 [左中括號開始， ]右中括號結束。值之間使用 ,逗號分隔。

JOSN的6種數據類型

上面兩種JSON形式內部都是包含value的，那JSON的value到底有哪些類型，而且上期我們說JSON其實就是從Js數據格式中提取了一個子集，那具體有哪幾種數據類型呢？

string：字符串，必須要用雙引號引起來。
number：數值，與JavaScript的number一致，整數（不使用小數點或指數計數法）最多為 15 位，小數的最大位數是 17。
object：JavaScript的對象形式，{ key:value }表示方式，可嵌套。
array：數組，JavaScript的Array表示方式[ value ]，可嵌套。
true/false：布爾類型，JavaScript的boolean類型。
：空值，JavaScript的。

以上數據形式圖片來源JSON官方文檔：http://www.json.org/json-zh.html

JSON使用場景

介紹完JSON的數據格式，那我們來看看JSON在企業中使用的比較多的場景。

接口返回數據和序列化。JSON用的最多的地方莫過于Web了，現在的數據接口基本上都是返回的JSON，具體細化的場景有：

Ajxa異步訪問數據
RPC遠程調用
前后端分離后端返回的數據
開放API，如百度、高德等一些開放接口
企業間合作接口

這種API接口一般都會提供一個接口文檔，說明接口的入參、出參等，

一般的接口返回數據都會封裝成JSON格式，比如類似下面這種

{
"code": 1,
"msg": "success",
"data": {
"name": "pig",
"age": "18",
"sex": "man",
"hometown": {
"province": "江西省",
"city": "撫州市",
"county": "崇仁縣"
}
}
}

程序在運行時所有的變量都是保存在內存當中的，如果出現程序重啟或者機器宕機的情況，那這些數據就丟失了。一般情況運行時變量并不是那么重要丟了就丟了，但有些內存中的數據是需要保存起來供下次程序或者其他程序使用。

保存內存中的數據要么保存在數據庫，要么保存直接到文件中，而將內存中的數據變成可保存或可傳輸的數據的過程叫做序列化，在Python中叫pickling，在其他語言中也被稱之為serialization，marshalling，flattening等等，都是一個意思。

正常的序列化是將編程語言中的對象直接轉成可保存或可傳輸的，這樣會保存對象的類型信息，而JSON序列化則不會保留對象類型！

為了讓大家更直觀的感受區別，豬哥用代碼做一個測試，大家一目了然

Python對象直接序列化會保存class信息，下次使用loads加載到內存時直接變成Python對象。
JSON對象序列化只保存屬性數據，不保留class信息，下次使用loads加載到內存可以直接轉成dict對象，當然也可以轉為Person對象，但是需要寫輔助方法。

對于JSON序列化不能保存class信息的特點，那JSON序列化還有什么用？答案是當然有用，對于不同編程語言序列化讀取有用，比如：我用Python爬取數據然后轉成對象，現在我需要將它序列化磁盤，然后使用Java語言讀取這份數據，這個時候由于跨語言數據類型不同，所以就需要用到JSON序列化。

存在即合理，兩種序列化可根據需求自行選擇！

最后就是生成Token和配置文件

首先聲明Token的形式多種多樣，有JSON、字符串、數字等等，只要能滿足需求即可，沒有規定用哪種形式。

JSON格式的Token最有代表性的莫過于JWT（JSON Web Tokens）。

隨著技術的發展，分布式web應用的普及，通過Session管理用戶登錄狀態成本越來越高，因此慢慢發展成為Token的方式做登錄身份校驗，然后通過Token去取Redis中的緩存的用戶信息，隨著之后JWT的出現，校驗方式更加簡單便捷化，無需通過Redis緩存，而是直接根據Token取出保存的用戶信息，以及對Token可用性校驗，單點登錄更為簡單。

使用JWT做過app的登錄系統，大概的流程就是：

用戶輸入用戶名密碼
app請求登錄中心驗證用戶名密碼
如果驗證通過則生成一個Token，其中Token中包含：
用戶的uid、Token過期時間、過期延期時間等，然后返回給app
app獲得Token，保存在cookie中，下次請求其他服務則帶上
其他服務獲取到Token之后調用登錄中心接口驗證
驗證通過則響應

JWT登錄認證有哪些優勢：

性能好：服務器不需要保存大量的session
單點登錄（登錄一個應用，同一個企業的其他應用都可以訪問）：使用JWT做一個登錄中心基本搞定，很容易實現。
兼容性好：支持移動設備，支持跨程序調用，Cookie 是不允許垮域訪問的，而 Token 則不存在這個問題。
安全性好：因為有簽名，所以JWT可以防止被篡改。更多JWT相關知識自行在網上學習，本文不過多介紹！

說實話JSON作為配置文件使用場景并不多，最具代表性的就是npm的package.json包管理配置文件了，下面就是一個npm的package.json配置文件內容。

{
"name": "server", //項目名稱
"version": "0.0.0",
"private": true,
"main": "server.js", //項目入口地址，即執行npm后會執行的項目
"scripts": {
"start": "node ./bin/www" ///scripts指定了運行腳本命令的npm命令行縮寫
},
"dependencies": {
"cookie-parser": "~1.4.3", //指定項目開發所需的模塊
"debug": "~2.6.9",
"express": "~4.16.0",
"http-errors": "~1.6.2",
"jade": "~1.11.0",
"morgan": "~1.9.0"
}
}

但其實JSON并不合適做配置文件，因為它不能寫注釋、作為配置文件的可讀性差等原因。

配置文件的格式有很多種如：toml、yaml、xml、ini等，目前很多地方開始使用yaml作為配置文件格式。

JSON在Python中的使用

最后我們來看看Python中操作JSON的常用方法有哪些，在Python中操作JSON時需要引入json標準庫。

import json

類型轉換

Python類型轉JSON：json.dump

# 1、Python的dict類型轉JSON
person_dict={'name': 'pig', 'age': 18, 'sex': 'man', 'hometown': '江西撫州'}
# indent參數為縮進空格數
person_dict_json=json.dumps(person_dict, indent=4)
print(person_dict_json, '\n')
# 2、Python的列表類型轉JSON
person_list=['pig', 18, 'man', '江西撫州']
person_list_json=json.dumps(person_list)
print(person_list_json, '\n')
# 3、Python的對象類型轉JSON
person_obj=Person('pig', 18, 'man', '江西撫州')
# 中間的匿名函數是獲得對象所有屬性的字典形式
person_obj_json=json.dumps(person_obj, default=lambda obj: obj.__dict__, indent=4)
print(person_obj_json, '\n')

執行結果：

JSON轉Python類型：json.loads

# 4、JSON轉Python的dict類型
person_json='{ "name": "pig","age": 18, "sex": "man", "hometown": "江西撫州"}'
person_json_dict=json.loads(person_json)
print(type(person_json_dict), '\n')
# 5、JSON轉Python的列表類型
person_json2='["pig", 18, "man", "江西撫州"]'
person_json_list=json.loads(person_json2)
print(type(person_json_list), '\n')
# 6、JSON轉Python的自定義對象類型
person_json='{ "name": "pig","age": 18, "sex": "man", "hometown": "江西撫州"}'
# object_hook參數是將dict對象轉成自定義對象
person_json_obj=json.loads(person_json, object_hook=lambda d: Person(d['name'], d['age'], d['sex'], d['hometown']))
print(type(person_json_obj), '\n')

執行結果如下：

對應的數據類型

上面我們演示了Python類型與JSON的相互轉換，最開始的時候我們講過JSON有6種數據類型，那這6種數據類型分別對應Python中的哪些數據類型呢？

需要注意的點

JSON的鍵名和字符串都必須使用雙引號引起來，而Python中單引號也可以表示為字符串，所以這是個比較容易犯的錯誤！

Python類型與JSON相互轉換的時候到底是用load/dump還是用loads\dumps？

他們之間有什么區別？
什么時候該加s什么時候不該加s？

這個我們可以通過查看源碼找到答案：

不加s的方法入參多了一個fp表示filepath，最后多了一個寫入文件的操作。

所以我們在記憶的時候可以這樣記憶：

加s表示轉成字符串(str)，不加s表示轉成文件。

Python自定義對象與JSON相互轉換的時候需要輔助方法來指明屬性與鍵名的對應關系，如果不指定一個方法則會拋出異常！

相信有些看的仔細的同學會好奇上面使用json.dumps方法將Python類型轉JSON的時候，如果出現中文，則會出現：

\u6c5f\u897f\u629a\u5dde

這種東西，這是為什么呢？

原因是：Python 3中的json在做dumps操作時，會將中文轉換成unicode編碼，并以16進制方式存儲，而并不是UTF-8格式！

總結

今天我們學習了JSON的2種形式，切記JSON還有[...]這種形式的。

學習了JSON的6種數據類型他們分別對于Python中的哪些類型。

了解了JSON的一些使用場景以及實際的例子。

還學習了在Python中如何使用JSON以及需要注意的事項。

一個JSON知識點卻分兩篇長文（近萬字）來講，其重要性不言而喻。因為不管你是做爬蟲、還是做數據分析、web、甚至前端、測試、運維，JSON都是你必須要掌握的一個知識點

本文為作者投稿，版權歸作者個人所有。

在線咨詢

上一篇：hyperscirpt-rxjs之表單輸入
下一篇：開發者怎樣才能寫出好的 API？

您的項目需求

*請認真填寫需求信息，我們會在24小時內與您取得聯系。

整合營銷服務商

網頁json數據轉換成csv數據并提供下載鏈接

您的項目需求