絡(luò)爬蟲基本思路

基本思路：由關(guān)鍵字指定的url把所有相關(guān)的html頁面全抓下來（html即為字符串），然后解析html文本（通常是正則表達(dá)式或者現(xiàn)成工具包如jsoup），提取文本信息，然后把文本信息存儲起來。

網(wǎng)絡(luò)爬蟲操作步驟

URL(統(tǒng)一資源定位符）

下載資源

分析下載資源（正則表達(dá)式）

抽取、清洗、儲存

該文章只會操作兩步步驟URL和下載html資源。

網(wǎng)絡(luò)編程小知識

URI:(Universal Resource Identifier)統(tǒng)一資源標(biāo)記符，用來標(biāo)記抽象或物理資源的一個(gè)緊湊字符串。

URL:(Universal Resource Locator)統(tǒng)一資源定位符，一種定位資源的主要訪問機(jī)制的字符串，一個(gè)標(biāo)準(zhǔn)的URL必須包括：protocal（協(xié)議）、host（主機(jī)）、port（端口號）、path（路徑）、parameter（參數(shù)）、anchor（錨）。

URN：(Universal Resource Name)統(tǒng)一資源名稱，通過特定命名空間中的唯一名稱或ID來標(biāo)識資源。

URL和URN都是URI，但是URI不一定是URL或者URN。

SEO搜索引擎優(yōu)化

SEO是搜索引擎優(yōu)化（Search Engine Optimization）的英文縮寫，中文譯為“搜索引擎優(yōu)化”。在了解搜索引擎自然排名機(jī)制的基礎(chǔ)上，對網(wǎng)站進(jìn)行內(nèi)部及外部的調(diào)整優(yōu)化，改進(jìn)網(wǎng)站在搜索引擎中的關(guān)鍵詞自然排名，獲得更多流量，從而達(dá)成網(wǎng)站銷售及品牌建設(shè)的預(yù)期目標(biāo)。

網(wǎng)絡(luò)爬蟲技術(shù)是SEO搜索引擎優(yōu)化的基礎(chǔ)（對網(wǎng)絡(luò)爬蟲感興趣的同學(xué)可以深入研究）

JAVA中的JDK已經(jīng)對URL(資源定位符)封裝完畢，使用者只要會用即可。

使用JAVA代碼下載網(wǎng)站資源有如下兩種情況：

該代碼主要是通過URL類的openStream方法來獲取網(wǎng)絡(luò)資源，如果還想了解URL類的信息的同學(xué)可以去看看JDK中URL類的源代碼。

二、網(wǎng)站不允許外來訪問(模仿瀏覽器使用HTTP協(xié)議交流)代碼如下

注意事項(xiàng)

JAVA中的控制臺儲存空間有限，所以有時(shí)候HTML源代碼會顯示不全，但你可以通過IO操作來拷貝到文件中去。

HttpURLConnection類的setRequestProperty方法中的（String key，String value）參數(shù)需要到瀏覽器相應(yīng)網(wǎng)頁中去拷貝。

拷貝如下：

1、進(jìn)入瀏覽器相關(guān)網(wǎng)頁。

2、按住F12進(jìn)入devtools。

3、拷貝Request包中最后一行數(shù)據(jù)。

4、冒號前的對應(yīng)key參數(shù)，冒號后的對應(yīng)value參數(shù)。

點(diǎn)擊關(guān)注私信小編“資源”即可獲得

多用戶遇到網(wǎng)頁內(nèi)容顯示不全的故障，而且網(wǎng)絡(luò)連接也正常，下面給大分享解決win7網(wǎng)頁顯示不全解決步驟。

　　1、點(diǎn)擊窗口上方的工具，選擇internet選項(xiàng)，如下圖所示：

　　2、在常規(guī)選項(xiàng)卡下的瀏覽歷史記錄點(diǎn)擊刪除按鈕，這樣就可以刪除臨時(shí)文件和cookie文件了，如下圖所示：

　　3、如果這個(gè)位置的空間過小的話，也會導(dǎo)致網(wǎng)頁顯示不全，可以試著將這個(gè)位置的空間調(diào)大一點(diǎn)，如下圖所示：

　　4、打開臨時(shí)文件的文件夾了，將其中不需要的文件全部刪除掉，這樣也會為臨時(shí)文件釋放一些空間，點(diǎn)擊“確定”，如下圖所示：