整合營銷服務商
電腦端+手機端+微信端=數據同步管理
免費咨詢熱線：
電腦端+手機端+微信端=數據同步管理
免費咨詢熱線：
假已經開始，在網上看了很多小案例特效，感覺自己要做一個完整的項目才能有所成長，雖然自己只會做一些HTML。css結合的靜態網站，這個京東商城項目只有少部分用javascript寫成的動態頁面，對于我剛學了一點javascript皮毛的人還是一個鍛煉的，再把JavaScript后面的一些對象、函數、算法等學完我打算寫一個屬于自己的博客，買一個域名和空間，博客上線了那就完美了。
剛一完成我就分享到群里，大家看我一天就能完成這么一個網站，說我太牛了，哈哈，你們想要網站源碼的可以加前端群640633433
寫靜態的網站，最煩的就一些亂七八糟的布局，細細麻麻的頭的弄大了，不過程序員最重要的就是細心呀，我也是一個剛學前端不久，才會現在這么多的東西的人，對于我學習HTML、CSS的方法是記住一些常用的標簽，多做一些小案例項目，然后在通過大一點的仿站靜態頁面完全可以搞定了。
這個京東項目實戰到這里就算是做完了，想要完整代碼自己學習練手的小伙伴進我的群自助領取，已經上傳到群文件里了：640633433，歡迎初學和進階中的小伙伴。
如果項目有哪些缺陷，歡迎在評論區指正！
分win10的系統用火狐瀏覽器打開京東商城網站，在商品詳情界面會報錯，頁面只顯示http://www.jd.com/?l=1&err=3 截圖如下：
瀏覽器報錯截圖如下：
原因在于京東網bai站把java script的JS文件du的MIME類型定義為text/html，但新版的zhiFirefox的安全dao上拒絕了這類mime類型不正確的文專件，導致這兩屬個網站無法讀取JS文件，造成顯示不正常。
京東會有一些網頁顯示不出來，而淘寶會不斷地顯示訪問驗證，甚至就是驗證了也無法通過。不排除其它網站也存在類似的問題。當然，這不是瀏覽器的錯，而是網站的錯，它們用了不符合安全要求的網站設置。其它網站也許會有類似的問題。
Firefox可自定義的東西比較多，經過查找，終于找到了關閉此安全檢查的選項，為了訪問這些網站，只能降低一下安全了。
解決方法：firefox瀏覽器地址欄輸入about:config查找：wrong_mime →把為值都改成數值
生苦短，我用 Python
如果我的文章對您有幫助，請關注支持下作者的公眾號：極客挖掘機，您的關注，是對小編堅持原創的最大鼓勵：）
前文傳送門：
小白學 Python 爬蟲（1）：開篇
小白學 Python 爬蟲（2）：前置準備（一）基本類庫的安裝
小白學 Python 爬蟲（3）：前置準備（二）Linux基礎入門
小白學 Python 爬蟲（4）：前置準備（三）Docker基礎入門
小白學 Python 爬蟲（5）：前置準備（四）數據庫基礎
小白學 Python 爬蟲（6）：前置準備（五）爬蟲框架的安裝
小白學 Python 爬蟲（7）：HTTP 基礎
小白學 Python 爬蟲（8）：網頁基礎
小白學 Python 爬蟲（9）：爬蟲基礎
小白學 Python 爬蟲（10）：Session 和 Cookies
小白學 Python 爬蟲（11）：urllib 基礎使用（一）
小白學 Python 爬蟲（12）：urllib 基礎使用（二）
小白學 Python 爬蟲（13）：urllib 基礎使用（三）
小白學 Python 爬蟲（14）：urllib 基礎使用（四）
小白學 Python 爬蟲（15）：urllib 基礎使用（五）
小白學 Python 爬蟲（16）：urllib 實戰之爬取妹子圖
小白學 Python 爬蟲（17）：Requests 基礎使用
小白學 Python 爬蟲（18）：Requests 進階操作
小白學 Python 爬蟲（19）：Xpath 基操
小白學 Python 爬蟲（20）：Xpath 進階
小白學 Python 爬蟲（21）：解析庫 Beautiful Soup（上）
小白學 Python 爬蟲（22）：解析庫 Beautiful Soup（下）
小白學 Python 爬蟲（23）：解析庫 pyquery 入門
小白學 Python 爬蟲（24）：2019 豆瓣電影排行
小白學 Python 爬蟲（25）：爬取股票信息
小白學 Python 爬蟲（26）：為啥買不起上海二手房你都買不起
小白學 Python 爬蟲（27）：自動化測試框架 Selenium 從入門到放棄（上）
小白學 Python 爬蟲（28）：自動化測試框架 Selenium 從入門到放棄（下）
先介紹下我們本篇文章的目標，如圖：
本篇文章計劃獲取商品的一些基本信息，如名稱、商店、價格、是否自營、圖片路徑等等。
首先要確認自己本地已經安裝好了 Selenium 包括 Chrome ，并已經配置好了 ChromeDriver 。如果還沒安裝好，可以參考前面的前置準備。
接下來我們就要分析一下了。
首先，我們的搜索關鍵字是 iPhone ，直接先翻到最后一頁看下結果，發現有好多商品并不是 iPhone ，而是 iPhone 的手機殼，這個明顯不是我們想要的結果，小編這里選擇了一下品牌 Apple ，再翻到最后一頁，這次就全都是手機了。
先把地址欄的地址 Copy 出來看一下，里面有很多無效參數：
https://search.jd.com/search?keyword=iPhone&enc=utf-8&qrst=1&rt=1&stop=1&vt=2&ev=exbrand_Apple%5E&page=199&s=5933&click=0
如果問小編怎么知道是無效參數還是有效參數，emmmmmmmmm
這個要么靠經驗，一般大網站的參數的命名都是比較規范的，當然也不排除命名不規范的。還有一種辦法就是試，小編這邊試出來的結果是這樣滴：
https://search.jd.com/Search?keyword=iPhone&ev=exbrand_Apple
第一個參數 keyword 就是我們需要的商品名稱，第二個參數 ev 是品牌的參數。
接下來我們看如何獲取商品的詳細信息，我們使用 F12 打開開發者模式，使用看下具體的信息都放在哪里：
可以看到，我們想要獲取的信息在這個頁面的 DOM 節點中都能獲取到。
接下來因為我們是使用 Selenium 來模擬瀏覽器訪問電商網站，所以后續的接口分析也就不需要做了，直接獲取瀏覽器顯示的內容的源代碼就可以輕松獲取到各種信息。
首先，我們需要構造一個獲取商品列表頁面的 URL ，這個上面已經得到了，接下來就是使用 Selenium 來獲取這個頁面了：
from selenium import webdriver
from selenium.common.exceptions import TimeoutException
driver = webdriver.Chrome()
driver.implicitly_wait(10)
driver.set_window_size(1280,800)
def index_page(page):
"""
抓取索引頁
:param page: 頁碼
"""
print('正在爬取第', str(page), '頁數據')
try:
url = 'https://search.jd.com/Search?keyword=iPhone&ev=exbrand_Apple'
driver.get(url)
if page > 1:
input = driver.find_element_by_xpath('//*[@id="J_bottomPage"]/span[2]/input')
button = driver.find_element_by_xpath('//*[@id="J_bottomPage"]/span[2]/a')
input.clear()
input.send_keys(page)
button.click()
get_products()
except TimeoutException:
index_page(page)
這里我們依然使用隱式等待來進行 URL 訪問，這里小編通過 xpath 的方式獲取到了整個頁面最下面的翻頁組件：
小編這里的翻頁實際上是使用這里的輸入框和后面的確認按鈕進行的。
這里其實有一個坑，JD 的首頁上的圖片是懶加載的，就是當頁面的滾動條沒有滾到這個圖片可以顯示在屏幕上的位置的時候，這個圖片是不會加載出來的。這就造成了小編一開始的只能獲取到前 4 個商品的圖片地址。
小編后來想了個辦法，使用 JavaScript 來模擬滾動條滾動，先將所有的圖片加載出來，然后再進行數據的獲取，代碼如下：
def get_products():
"""
提取商品數據
"""
js = '''
timer = setInterval(function(){
var scrollTop=document.documentElement.scrollTop||document.body.scrollTop;
var ispeed=Math.floor(document.body.scrollHeight / 100);
if(scrollTop > document.body.scrollHeight * 90 / 100){
clearInterval(timer);
}
console.log('scrollTop:'+scrollTop)
console.log('scrollHeight:'+document.body.scrollHeight)
window.scrollTo(0, scrollTop+ispeed)
}, 20)
'''
driver.execute_script(js)
time.sleep(2.5)
html = driver.page_source
doc = PyQuery(html)
items = doc('#J_goodsList .gl-item .gl-i-wrap').items()
i = 0
for item in items:
insert_data = {
'image': item.find('.p-img a img').attr('src'),
'price': item.find('.p-price i').text(),
'name': item.find('.p-name em').text(),
'commit': item.find('.p-commit a').text(),
'shop': item.find('.p-shop a').text(),
'icons': item.find('.p-icons .goods-icons').text()
}
i += 1
print('當前第', str(i), '條數據，內容為：' , insert_data)
中間那段 js 就是模擬滾動條向下滾動的代碼，這里小編做了一個定時任務，這個定時任務將整個頁面的長度分成了 100 份，每 20 ms 就向下滾動 1% ，共計應該總共 2s 可以滾到最下面，這里下面做了 2.5s 的睡眠，保證這個頁面的圖片都能加載出來，最后再獲取頁面上的數據。
主體代碼到這里就結束了，剩下的代碼無非就是將數據保存起來，不管是保存在數據中還是保存在 Excel 中，或者是 CSV 中，又或者是純粹的文本文件 txt 或者是 json ，都不難，小編這次就不寫了，希望大家能自己完善下這個代碼。
運行的時候，可以看到一個瀏覽器彈出來，然后滾動條自動以比較順滑的速度滾到最下方（小編為了這個順滑的速度調了很久），確保所有圖片都加載出來，再使用 pyquery 獲取相關的數據，最后組成了一個 json 對象，給大家看下抓取下來的結果吧：
我們在爬取數據的時候，彈出來一個瀏覽器總感覺有點老不爽了，可以使用如下命令將這個瀏覽器隱藏起來，不過需要的是 Chrome 比較新的版本。
# 開啟無窗口模式
chrome_options = webdriver.ChromeOptions()
chrome_options.add_argument('--headless')
driver = webdriver.Chrome(chrome_options=chrome_options)
首先，創建 ChromeOptions 對象，接著添加 headless 參數，然后在初始化 Chrome 對象的時候通過 chrome_options 傳遞這個 ChromeOptions 對象，這樣我們就可以成功啟用 Chrome 的Headless模式了。
如果我們不想使用 Chrome 瀏覽器，還可以使用 FireFox 瀏覽器，前提是需要安裝好 FireFox 和對應的驅動 GeckoDriver ，并且完成相關配置，不清楚如何安裝的同學可以翻一翻前面的前置準備。
我們需要切換 FireFox 瀏覽器的時候，異常的簡單，只需要修改一句話就可以了：
driver = webdriver.Firefox()
這里我們修改了 webdriver 初始化的方式，這樣在接下來的操作中就會自動使用 FireFox 瀏覽器了。
如果 Firefox 也想開啟無界面模式的話，同樣也是可以的，和上面 Chrome 開啟無界面模式大同小異：
# FireFox 開啟無窗口模式
firefox_options = webdriver.FirefoxOptions()
firefox_options.add_argument('--headless')
driver = webdriver.Firefox(firefox_options=firefox_options)
一樣是在 Webdriver 初始化的時候增加 headless 參數就可以了。
好了，本篇的內容就到這里了，希望各位同學可以自己動手練習下哦~~~
注意： 本文相關內容僅做學習使用，使用時請遵守國家相關法律規定。
本系列的所有代碼小編都會放在代碼管理倉庫 Github 和 Gitee 上，方便大家取用。
示例代碼-Github
示例代碼-Gitee
*請認真填寫需求信息，我們會在24小時內與您取得聯系。
