好程序員Java教程分享使用HttpClient抓取頁面內容

程序員Java教程分享使用HttpClient抓取頁面內容

使用HttpClient工具來發送Http請求

1.簡介

HttpClient 是 Apache Jakarta Common 下的子項目，用來提供高效的、最新的、功能豐富的支持 HTTP 協議的客戶端編程工具包，并且它支持 HTTP 協議最新的版本和建議。HttpClient 已經應用在很多的項目中，比如 Apache Jakarta 上很著名的另外兩個開源項目 Cactus 和 HTMLUnit 都使用了 HttpClient。

HttpClient 相比傳統 JDK 自帶的 URLConnection，增加了易用性和靈活性，它不僅是客戶端發送 HTTP 請求變得容易，而且也方便了開發人員測試接口（基于 HTTP 協議的），即提高了開發的效率，也方便提高代碼的健壯性。因此熟練掌握 HttpClient 是很重要的必修內容，掌握 HttpClient 后，相信對于 HTTP 協議的了解會更加深入。

2.應用場景

圖片1

3.HttpClient工具的使用

1）添加依賴

<dependency>
<groupId>org.apache.httpcomponents</groupId>
<artifactId>httpclient</artifactId>
<version>4.5.5</version>
</dependency>
<dependency>
<groupId>org.apache.httpcomponents</groupId>
<artifactId>fluent-hc</artifactId>
<version>4.5.5</version>
</dependency>
<dependency>
<groupId>org.apache.httpcomponents</groupId>
<artifactId>httpmime</artifactId>
<version>4.5.5</version>
</dependency>

2）編寫測試代碼

@Test
public void testHttpClient() throws IOException {
//1.獲得HttpClient對象
CloseableHttpClient client = HttpClients.createDefault();
//2.創建請求對象，如果是post請求 HttpPost 如果是get請求 HttpGet對象
String uri = "http://www.baidu.com";
HttpGet get = new HttpGet(uri);
//3.執行get請求,獲得響應消息對象
CloseableHttpResponse response = client.execute(get);
//4.獲取響應行
StatusLine statusLine = response.getStatusLine();
//5.獲取狀態碼
int code = statusLine.getStatusCode();
if(code==200){
//響應成功
HttpEntity entity = response.getEntity();
//6.獲取響應體中的內容
// InputStream is = entity.getContent();
// byte[] b = new byte[8192];
// int len = 0;
// while((len = is.read(b))!=-1){
// System.out.println(new String(b,0,len));
// }
// is.close();
System.out.println(EntityUtils.toString(entity, "utf-8"));
}

. HTTP請求格式

做過Socket編程的人都知道，當我們設計一個通信協議時，“消息頭/消息體”的分割方式是很常用的，消息頭告訴對方這個消息是干什么的，消息體告訴對方怎么干。HTTP協議傳輸的消息也是這樣規定的，每一個HTTP包都分為HTTP頭和HTTP體兩部分，消息體是可選的，而消息頭是必須的。每當我們打開一個網頁，在上面點擊右鍵，選擇“查看源文件”，這時看到的HTML代碼就是HTTP的消息體，那么消息頭可以通過瀏覽器的開發工具或者插件可以看到，如果火狐的Firebug，IE的Httpwatch。

客戶端通過發送 HTTP 請求向服務器請求對資源的訪問。它向服務器傳遞了一個數據塊，也就是請求信息，HTTP 請求由三部分組成：請求行、請求頭和請求正文。

請求行：請求方法 URI 協議/版本

請求頭(Request Header)

請求正文

下面是一個HTTP請求的數據：

POST /index.php HTTP/1.1

Host: localhost

User-Agent: Mozilla/5.0 (Windows NT 5.1; rv:10.0.2) Gecko/20100101 Firefox/10.0.2

Accept: text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8

Accept-Language: zh-cn,zh;q=0.5

Accept-Encoding: gzip, deflate

Connection: keep-alive

Referer: http://localhost/

Content-Length：25

Content-Type：application/x-www-form-urlencoded

username=aa&password=1234

1、請求行：請求方法URI協議/版本

請求的第一行是“方法 URL 協議/版本”，并以回車換行作為結尾。請求行以空格分隔。格式如下：

POST /index.php HTTP/1.1

以上代碼中“GET”代表請求方法，“//ndex.php”表示URI，“HTTP/1.1代表協議和協議的版本。

根據HTTP標準，HTTP請求可以使用多種請求方法。例如：HTTP1.1支持7種請求方法：GET、POST、HEAD、OPTIONS、PUT、DELETE和TARCE。在Internet應用中，最常用的方法是GET和POST。

URL完整地指定了要訪問的網絡資源，通常只要給出相對于服務器的根目錄的相對目錄即可，因此總是以“/”開頭，最后，協議版本聲明了通信過程中使用HTTP的版本。

請求方法

在 HTTP 協議中，HTTP 請求可以使用多種請求方法，這些方法指明了要以何種方式來訪問 Request-URI 所標識的資源。HTTP1.1 支持的請求方法如下表所示：

HTTP1.1 中的請求方式：

方法

作用

GET

請求獲取由 Request-URI 所標識的資源

POST

請求服務器接收在請求中封裝的實體，并將其作為由 Request-Line 中的 Request-URI 所標識的資源的一部分

HEAD

請求獲取由 Request-URI 所標識的資源的響應消息報頭

PUT

請求服務器存儲一個資源，并用 Request-URI 作為其標識符

DELETE

請求服務器刪除由 Request-URI 所標識的資源

TRACE

請求服務器回送到的請求信息，主要用于測試或診斷

CONNECT

保留將來使用

OPTIONS

請求查詢服務器的性能，或者查詢與資源相關的選項和需求

重點介紹 GET、POST 和 HEAD 三個方法：

（1）GET

GET 方法用于獲取由 Request-URI 所標識的資源的信息，常見的形式是：

GET Request-URI HTTP/1.1

GET方法是默認的HTTP請求方法，例如當我們通過在瀏覽器的地址欄中直接輸入網址的方式去訪問網頁的時候，瀏覽器采用的就是 GET 方法向服務器獲取資源。

我們可以使用GET方法來提交表單數據，用GET方法提交的表單數據只經過了簡單的編碼，同時它將作為URL的一部分向服務器發送，因此，如果使用GET方法來提交表單數據就存在著安全隱患上。例如：

Http://localhost/login.php?username=aa&password=1234

從上面的URL請求中，很容易就可以辯認出表單提交的內容。（？之后的內容）另外由于GET方法提交的數據是作為URL請求的一部分所以提交的數據量不能太大。這是因為瀏覽器對url的長度有限制

各種瀏覽器也會對url的長度有所限制，下面是幾種常見瀏覽器的url長度限制:(單位:字符)

IE : 2803

Firefox:65536

Chrome:8182

Safari:80000

Opera:190000

（2）POST

POST方法是GET方法的一個替代方法，它主要是向Web服務器提交表單數據，尤其是大批量的數據。在請求頭信息結束之后的兩個回車換行之后（實際是空一行），就是表單提交的數據。如上面提到的post表單數據：

username=aa&password=1234

POST方法克服了GET方法的一些缺點。通過POST方法提交表單數據時，數據不是作為URL請求的一部分而是作為標準數據傳送給Web服務器，這就克服了GET方法中的信息無法保密和數據量太小的缺點。因此，出于安全的考慮以及對用戶隱私的尊重，通常表單提交時采用POST方法。

　從編程的角度來講，如果用戶通過GET方法提交數據，則數據存放在QUERY＿STRING環境變量中，而POST方法提交的數據則可以從標準輸入流中獲取。

GET與POST方法有以下區別：

1、在客戶端，Get方式在通過URL提交數據，數據在URL中可以看到；POST方式，數據放在HTTP包的body中。

2、 GET方式提交的數據大小有限制（因為瀏覽器對URL的長度有限制），而POST則沒有此限制。

3、安全性問題。正如在（1）中提到，使用 Get 的時候，參數會顯示在地址欄上，而 Post 不會。所以，如果這些數據是中文數據而且是非敏感數據，那么使用 get；如果用戶輸入的數據不是中文字符而且包含敏感數據，那么還是使用 post為好。

4.、服務器取值方式不一樣。GET方式取值，如php可以使用$_GET來取得變量的值，而POST方式通過$_POST來獲取變量的值。

（3）HEAD

HEAD 方法與 GET 方法幾乎是相同的，它們的區別在于 HEAD 方法只是請求消息報頭，而不是完整的內容。對于 HEAD 請求的回應部分來說，它的 HTTP 頭部中包含的信息與通過 GET 請求所得到的信息是相同的。利用這個方法，不必傳輸整個資源內容，就可以得到 Request-URI 所標識的資源的信息。這個方法通常被用于測試超鏈接的有效性，是否可以訪問，以及最近是否更新。

要注意的是，在 HTML 文檔中，書寫 get 和 post，大小寫都可以，但在 HTTP 協議中的 GET 和 POST 只能是大寫形式。

2. 請求頭

每個頭域由一個域名，冒號（:）和域值三部分組成。域名是大小寫無關的，域值前可以添加任何數量的空格符，頭域可以被擴展為多行，在每行開始處，使用至少一個空格或制表符。

HTTP最常見的請求頭如下：

Transport 頭域

Connection：

作用：表示是否需要持久連接。

如果服務器看到這里的值為“Keep-Alive”，或者看到請求使用的是HTTP 1.1（HTTP 1.1默認進行持久連接）,它就可以利用持久連接的優點，當頁面包含多個元素時（例如Applet，圖片），顯著地減少下載所需要的時間。要實現這一點，服務器需要在應答中發送一個Content-Length頭，最簡單的實現方法是：先把內容寫入 ByteArrayOutputStream，然后在正式寫出內容之前計算它的大小；

例如：　Connection: keep-alive 當一個網頁打開完成后，客戶端和服務器之間用于傳輸HTTP數據的TCP連接不會關閉，如果客戶端再次訪問這個服務器上的網頁，會繼續使用這一條已經建立的連接

例如： Connection: close 代表一個Request完成后，客戶端和服務器之間用于傳輸HTTP數據的TCP連接會關閉，當客戶端再次發送Request，需要重新建立TCP連接。

Host（發送請求時，該報頭域是必需的）

Host請求報頭域主要用于指定被請求資源的Internet主機和端口號，它通常從HTTP URL中提取出來的。

eg：http://；localhost/index.html

瀏覽器發送的請求消息中，就會包含Host請求報頭域，如下：

Host：localhost

此處使用缺省端口號80，若指定了端口號8080，則變成：Host：localhost:8080

Client 頭域

Accept：

作用：瀏覽器可以接受的媒體類型（MIME類型）,

例如： Accept: text/html 代表瀏覽器可以接受服務器回發的類型為 text/html 也就是我們常說的html文檔, 如果服務器無法返回text/html類型的數據，服務器應該返回一個406錯誤(non acceptable)。

通配符 * 代表任意類型。例如 Accept: */* 代表瀏覽器可以處理所有類型，(一般瀏覽器發給服務器都是發這個)

Accept-Encoding：

作用：瀏覽器申明自己接收的編碼方法，通常指定壓縮方法，是否支持壓縮，支持什么壓縮方法（gzip，deflate），（注意：這不是只字符編碼）;

例如： Accept-Encoding: gzip, deflate。Server能夠向支持gzip/deflate的瀏覽器返回經gzip或者deflate編碼的HTML頁面。許多情形下這可以減少5到10倍的下載時間，也節省帶寬。

Accept-Language：

作用：瀏覽器申明自己接收的語言。

語言跟字符集的區別：中文是語言，中文有多種字符集，比如big5，gb2312，gbk等等；

例如： Accept-Language:zh-cn 。如果請求消息中沒有設置這個報頭域，服務器假定客戶端對各種語言都可以接受。

User-Agent：

作用：告訴HTTP服務器，客戶端使用的操作系統和瀏覽器的名稱和版本.

我們上網登陸論壇的時候，往往會看到一些歡迎信息，其中列出了你的操作系統的名稱和版本，你所使用的瀏覽器的名稱和版本，這往往讓很多人感到很神奇，實際上，服務器應用程序就是從User-Agent這個請求報頭域中獲取到這些信息User-Agent請求報頭域允許客戶端將它的操作系統、瀏覽器和其它屬性告訴服務器。

例如： User-Agent: Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 5.1; Trident/4.0; CIBA; .NET CLR 2.0.50727; .NET CLR 3.0.4506.2152; .NET CLR 3.5.30729; .NET4.0C; InfoPath.2; .NET4.0E)

Accept-Charset：

作用：瀏覽器申明自己接收的字符集，這就是本文前面介紹的各種字符集和字符編碼，如gb2312，utf-8（通常我們說Charset包括了相應的字符編碼方案）；

例如：Accept-Charset:iso-8859-1,gb2312.如果在請求消息中沒有設置這個域，缺省是任何字符集都可以接受。

Authorization：授權信息，通常出現在對服務器發送的WWW-Authenticate頭的應答中；

Authorization請求報頭域主要用于證明客戶端有權查看某個資源。當瀏覽器訪問一個頁面時，如果收到服務器的響應代碼為401（未授權），可以發送一個包含Authorization請求報頭域的請求，要求服務器對其進行驗證。

Cookie/Login 頭域

Cookie:

作用：最重要的header, 將cookie的值發送給HTTP 服務器

Entity頭域

Content-Length

作用：發送給HTTP服務器數據的長度。即請求消息正文的長度；

例如： Content-Length: 38

Content-Type：

作用：

例如：Content-Type: application/x-www-form-urlencoded

Miscellaneous 頭域

Referer:

作用：提供了Request的上下文信息的服務器，告訴服務器我是從哪個鏈接過來的，比如從我主頁上鏈接到一個朋友那里，他的服務器就能夠從HTTP Referer中統計出每天有多少用戶點擊我主頁上的鏈接訪問他的網站。

例如: Referer:http://translate.google.cn/?hl=zh-cn&tab=wT

Cache 頭域

If-Modified-Since：

作用：把瀏覽器端緩存頁面的最后修改時間發送到服務器去，服務器會把這個時間與服務器上實際文件的最后修改時間進行對比。如果時間一致，那么返回304，客戶端就直接使用本地緩存文件。如果時間不一致，就會返回200和新的文件內容。客戶端接到之后，會丟棄舊文件，把新文件緩存起來，并顯示在瀏覽器中。

例如：If-Modified-Since: Thu, 09 Feb 2012 09:07:57 GMT。

If-None-Match：

作用: If-None-Match和ETag一起工作，工作原理是在HTTP Response中添加ETag信息。當用戶再次請求該資源時，將在HTTP Request 中加入If-None-Match信息(ETag的值)。如果服務器驗證資源的ETag沒有改變（該資源沒有更新），將返回一個304狀態告訴客戶端使用本地緩存文件。否則將返回200狀態和新的資源和Etag. 使用這樣的機制將提高網站的性能

例如: If-None-Match: "03f2b33c0bfcc1:0"

Pragma：

作用：防止頁面被緩存，在HTTP/1.1版本中，它和Cache-Control:no-cache作用一模一樣

Pargma只有一個用法，例如： Pragma: no-cache

注意: 在HTTP/1.0版本中，只實現了Pragema:no-cache, 沒有實現Cache-Control

Cache-Control：

作用: 這個是非常重要的規則。這個用來指定Response-Request遵循的緩存機制。各個指令含義如下

Cache-Control:Public 可以被任何緩存所緩存（）

Cache-Control:Private 內容只緩存到私有緩存中

Cache-Control:no-cache 所有內容都不會被緩存

2. HTTP響應格式

在接收和解釋請求消息后，服務器會返回一個 HTTP 響應消息。與 HTTP 請求類似，HTTP 響應也是由三個部分組成，分別是：狀態行、消息報頭和響應正文。如：

HTTP/1.1 200 OK

Date: Sun, 17 Mar 2013 08:12:54 GMT

Server: Apache/2.2.8 (Win32) PHP/5.2.5

X-Powered-By: PHP/5.2.5

Set-Cookie: PHPSESSID=c0huq7pdkmm5gg6osoe3mgjmm3; path=/

Expires: Thu, 19 Nov 1981 08:52:00 GMT

Cache-Control: no-store, no-cache, must-revalidate, post-check=0, pre-check=0

Pragma: no-cache

Content-Length: 4393

Keep-Alive: timeout=5, max=100

Connection: Keep-Alive

Content-Type: text/html; charset=utf-8

<html>

<head>

<title>HTTP響應示例<title>

</head>

<body>

Hello HTTP!

</body>

</html>

1、狀態行

狀態行由協議版本、數字形式的狀態代碼，及相應的狀態描述組成，各元素之間以空格分隔，結尾時回車換行符，格式如下：

HTTP-Version Status-Code Reason-Phrase CRLF

HTTP-Version 表示服務器 HTTP 協議的版本，Status-Code 表示服務器發回的響應代碼，Reason-Phrase 表示狀態代碼的文本描述，CRLF 表示回車換行。例如：

HTTP/1.1 200 OK (CRLF)

狀態代碼與狀態描述

狀態代碼由 3 位數字組成，表示請求是否被理解或被滿足，狀態描述給出了關于狀態碼的簡短的文字描述。狀態碼的第一個數字定義了響應類別，后面兩位數字沒有具體分類。第一個數字有 5 種取值，如下所示。

1xx：指示信息——表示請求已經接受，繼續處理
2xx：成功——表示請求已經被成功接收、理解、接受。
3xx：重定向——要完成請求必須進行更進一步的操作
4xx：客戶端錯誤——請求有語法錯誤或請求無法實現
5xx：服務器端錯誤——服務器未能實現合法的請求。

常見狀態代碼、狀態描述、說明：

200 OK //客戶端請求成功

400 Bad Request //客戶端請求有語法錯誤，不能被服務器所理解

401 Unauthorized //請求未經授權，這個狀態代碼必須和WWW-Authenticate報頭域一起使用

403 Forbidden //服務器收到請求，但是拒絕提供服務

404 Not Found //請求資源不存在，eg：輸入了錯誤的URL

500 Internal Server Error //服務器發生不可預期的錯誤

503 Server Unavailable //服務器當前不能處理客戶端的請求，一段時間后可能恢復正常

2、響應正文

響應正文就是服務器返回的資源的內容，響應頭和正文之間也必須用空行分隔。如：

<html>
<head>
<title>HTTP響應示例<title>
</head>
<body>
Hello HTTP!
</body>
</html>

3 、響應頭信息

HTTP最常見的響應頭如下所示：

Cache頭域

Date：

作用：生成消息的具體時間和日期，即當前的GMT時間。

例如：　Date: Sun, 17 Mar 2013 08:12:54 GMT

Expires：

作用: 瀏覽器會在指定過期時間內使用本地緩存，指明應該在什么時候認為文檔已經過期，從而不再緩存它。

例如: Expires: Thu, 19 Nov 1981 08:52:00 GMT　　

Vary

作用：

例如: Vary: Accept-Encoding

Cookie/Login 頭域

P3P

作用: 用于跨域設置Cookie, 這樣可以解決iframe跨域訪問cookie的問題

例如: P3P: CP=CURa ADMa DEVa PSAo PSDo OUR BUS UNI PUR INT DEM STA PRE COM NAV OTC NOI DSP COR

Set-Cookie

作用：非常重要的header, 用于把cookie 發送到客戶端瀏覽器，每一個寫入cookie都會生成一個Set-Cookie.

例如: Set-Cookie: PHPSESSID=c0huq7pdkmm5gg6osoe3mgjmm3; path=/

Entity實體頭域：

實體內容的屬性，包括實體信息類型，長度，壓縮方法，最后一次修改時間，數據有效性等。

ETag：

作用: 和If-None-Match 配合使用。（實例請看上節中If-None-Match的實例）

例如: ETag: "03f2b33c0bfcc1:0"

Last-Modified：

作用：用于指示資源的最后修改日期和時間。（實例請看上節的If-Modified-Since的實例）

例如: Last-Modified: Wed, 21 Dec 2011 09:09:10 GMT

Content-Type：

作用：WEB服務器告訴瀏覽器自己響應的對象的類型和字符集,

例如:

Content-Type: text/html; charset=utf-8

　　Content-Type:text/html;charset=GB2312

　　Content-Type: image/jpeg

Content-Length：

指明實體正文的長度，以字節方式存儲的十進制數字來表示。在數據下行的過程中，Content-Length的方式要預先在服務器中緩存所有數據，然后所有數據再一股腦兒地發給客戶端。

　　例如: Content-Length: 19847

Content-Encoding：

作用：文檔的編碼（Encode）方法。一般是壓縮方式。

WEB服務器表明自己使用了什么壓縮方法（gzip，deflate）壓縮響應中的對象。利用gzip壓縮文檔能夠顯著地減少HTML文檔的下載時間。

例如：Content-Encoding：gzip

Content-Language：

作用： WEB服務器告訴瀏覽器自己響應的對象的語言者

例如： Content-Language:da

Miscellaneous 頭域

Server：

作用：指明HTTP服務器的軟件信息

例如:Apache/2.2.8 (Win32) PHP/5.2.5

X-Powered-By：

作用：表示網站是用什么技術開發的

例如： X-Powered-By: PHP/5.2.5

Transport頭域

Connection：

例如： Connection: close 代表一個Request完成后，客戶端和服務器之間用于傳輸HTTP數據的TCP連接會關閉，當客戶端再次發送Request，需要重新建立TCP連接。

Location頭域

Location：

作用：用于重定向一個新的位置，包含新的URL地址

實例請看304狀態實例

HTTP協議是無狀態的和Connection: keep-alive的區別

　　無狀態是指協議對于事務處理沒有記憶能力，服務器不知道客戶端是什么狀態。從另一方面講，打開一個服務器上的網頁和你之前打開這個服務器上的網頁之間沒有任何聯系。

　　HTTP是一個無狀態的面向連接的協議，無狀態不代表HTTP不能保持TCP連接，更不能代表HTTP使用的是UDP協議（無連接）。

　　從HTTP/1.1起，默認都開啟了Keep-Alive，保持連接特性，簡單地說，當一個網頁打開完成后，客戶端和服務器之間用于傳輸HTTP數據的TCP連接不會關閉，如果客戶端再次訪問這個服務器上的網頁，會繼續使用這一條已經建立的連接。

　　Keep-Alive不會永久保持連接，它有一個保持時間，可以在不同的服務器軟件（如Apache）中設定這個時間。

3. 瀏覽器緩存

瀏覽器緩存：包括頁面html緩存和圖片js，css等資源的緩存。如下圖，瀏覽器緩存是基于把頁面信息保存到用戶本地電腦硬盤里。

1、緩存的優點：

1）服務器響應更快：因為請求從緩存服務器（離客戶端更近）而不是源服務器被相應，這個過程耗時更少，讓服務器看上去響應更快。

2）減少網絡帶寬消耗：當副本被重用時會減低客戶端的帶寬消耗；客戶可以節省帶寬費用，控制帶寬的需求的增長并更易于管理。

2、緩存工作原理

頁面緩存狀態是由http header決定的，一個瀏覽器請求信息，一個是服務器響應信息。主要包括Pragma: no-cache、Cache-Control、 Expires、 Last-Modified、If-Modified-Since。其中Pragma: no-cache由HTTP/1.0規定，Cache-Control由HTTP/1.1規定。

工作原理圖：

從圖中我們可以看到原理主要分三步：

第一次請求：瀏覽器通過http的header報頭，附帶Expires，Cache-Control，Last-Modified/Etag向服務器請求，此時服務器記錄第一次請求的Last-Modified/Etag
再次請求：當瀏覽器再次請求的時候，請求頭附帶Expires，Cache-Control，If-Modified-Since/Etag向服務器請求
服務器根據第一次記錄的Last-Modified/Etag和再次請求的If-Modified-Since/Etag做對比，判斷是否需要更新，服務器通過這兩個頭判斷本地資源未發生變化，客戶端不需要重新下載，返回304響應。常見流程如下圖所示：

與緩存相關的HTTP擴展消息頭

Expires：設置頁面過期時間，格林威治時間GMT

Cache-Control：更細致的控制緩存的內容

Last-Modified：請求對象最后一次的修改時間用來判斷緩存是否過期通常由文件的時間信息產生

ETag：響應中資源的校驗值，在服務器上某個時段是唯一標識的。ETag是一個可以與Web資源關聯的記號（token），和Last-Modified功能才不多，也是一個標識符，一般和Last-Modified一起使用，加強服務器判斷的準確度。

Date：服務器的時間

If-Modified-Since：客戶端存取的該資源最后一次修改的時間，用來和服務器端的Last-Modified做比較

If-None-Match：客戶端存取的該資源的檢驗值，同ETag。

Cache-Control的主要參數

Cache-Control: private/public Public 響應會被緩存，并且在多用戶間共享。 Private 響應只能夠作為私有的緩存，不能再用戶間共享。

Cache-Control: no-cache：不進行緩存

Cache-Control: max-age=x：緩存時間以秒為單位

Cache-Control: must-revalidate：如果頁面是過期的則去服務器進行獲取。

2、關于圖片，css，js，flash的緩存

這個主要通過服務器的配置來實現這個技術，如果使用apache服務器的話，可以使用mod_expires模塊來實現：

編譯mod_expires模塊：

Cd /root/httpd-2.2.3/modules/metadata

/usr/local/apache/bin/apxs -i -a -c mod_expires.c //編譯

編輯httpd.conf配置：添加下面內容

ExpiresActive on

ExpiresDefault "access plus 1 month"

ExpiresByType text/html "access plus 1 months"

ExpiresByType text/css "access plus 1 months"

ExpiresByType image/gif "access plus 1 months"

ExpiresByType image/jpeg "access plus 1 months"

ExpiresByType image/jpg "access plus 1 months"

ExpiresByType image/png "access plus 1 months"

EXpiresByType application/x-shockwave-flash "access plus 1 months"

EXpiresByType application/x-javascript "access plus 1 months"

#ExpiresByType video/x-flv "access plus 1 months"

</IfModule>

解釋：第一句--開啟服務

第二句--默認時間是一個月

在下面是關于各種類型的資源的緩存時間設置

.什么是jsoup

jsoup 是一款 Java 的 HTML 解析器，可直接解析某個 URL 地址、HTML 文本內容。它提供了一套非常省力的 API，可通過 DOM，CSS 以及類似于 jQuery 的操作方法來取出和操作數據，可操作 HTML 元素、屬性、文本。

JSoup 功能

jsoup 實現 WHATWG HTML5 規范，并將 HTML 解析為與現代瀏覽器相同的 DOM。

從 URL，文件或字符串中提取并解析 HTML。
查找和提取數據，使用 DOM 遍歷或 CSS 選擇器。
操縱 HTML 元素，屬性和文本。
根據安全的白名單清理用戶提交的內容，以防止 XSS 攻擊。
輸出整潔的 HTML。

JSoup 主要類

大多數情況下，下面給出 3 個類是我們需要重點了解的。

Jsoup 類

Jsoup 類是任何 Jsoup 程序的入口點，并將提供從各種來源加載和解析 HTML 文檔的方法。 Jsoup 類的一些重要方法如下：

方法	描述
static Connection connect(String url)	創建并返回 URL 的連接。
static Document parse(File in, String charsetName)	將指定的字符集文件解析成文檔。
static Document parse(String html)	將給定的 html 代碼解析成文檔。
static String clean(String bodyHtml, Whitelist whitelist)	從輸入 HTML 返回安全的 HTML，通過解析輸入 HTML 并通過允許的標簽和屬性的白名單進行過濾。

Jsoup 類的其他重要方法可以參見 - https://jsoup.org/apidocs/org/jsoup/Jsoup.html

Document 類

該類表示通過 Jsoup 庫加載 HTML 文檔。可以使用此類執行適用于整個 HTML 文檔的操作。 Element 類的重要方法可以參見 - http://jsoup.org/apidocs/org/jsoup/nodes/Document.html 。

Element 類

HTML 元素是由標簽名稱，屬性和子節點組成。使用 Element 類，您可以提取數據，遍歷節點和操作 HTML。 Element 類的重要方法可參見 - http://jsoup.org/apidocs/org/jsoup/nodes/Element.html 。

2.代碼工程

實驗目的

實現解析liuhaihua.cn首頁list

pom.xml

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <parent>
        <artifactId>springboot-demo</artifactId>
        <groupId>com.et</groupId>
        <version>1.0-SNAPSHOT</version>
    </parent>
    <modelVersion>4.0.0</modelVersion>

    <artifactId>jsoup</artifactId>

    <properties>
        <maven.compiler.source>8</maven.compiler.source>
        <maven.compiler.target>8</maven.compiler.target>
    </properties>
    <dependencies>

        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-web</artifactId>
        </dependency>

        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-autoconfigure</artifactId>
        </dependency>
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-test</artifactId>
            <scope>test</scope>
        </dependency>
        <dependency>
            <groupId>org.jsoup</groupId>
            <artifactId>jsoup</artifactId>
            <version>1.12.1</version>
        </dependency>
        <dependency>
            <groupId>org.apache.httpcomponents</groupId>
            <artifactId>httpclient</artifactId>
        </dependency>

    </dependencies>
</project>

controller

package com.et.jsoup;

import org.springframework.web.bind.annotation.RequestMapping;
import org.springframework.web.bind.annotation.RestController;

import java.util.HashMap;
import java.util.Map;

@RestController
public class HelloWorldController {
    @RequestMapping("/hello")
    public Map<String, Object> showHelloWorld(){
        Map<String, Object> map = new HashMap<>();
        map =JsoupUtil.parseHtml("http://www.liuhaihua.cn/");
        map.put("msg", "HelloWorld");
        return map;
    }
}

工具類

package com.et.jsoup;
import java.io.IOException;
import java.util.ArrayList;
import java.util.HashMap;
import java.util.List;
import java.util.Map;

import org.apache.http.HttpEntity;
import org.apache.http.HttpStatus;
import org.apache.http.client.ClientProtocolException;
import org.apache.http.client.methods.CloseableHttpResponse;
import org.apache.http.client.methods.HttpGet;
import org.apache.http.client.utils.HttpClientUtils;
import org.apache.http.impl.client.CloseableHttpClient;
import org.apache.http.impl.client.HttpClients;
import org.apache.http.util.EntityUtils;
import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;

/**
 * @author liuhaihua
 * @version 1.0
 * @ClassName JsoupUtil
 * @Description todo
 * @date 2024/06/24/ 9:16
 */

public class JsoupUtil {
        public static Map<String ,Object> parseHtml(String url){
            Map<String,Object> map = new HashMap<>();
            //1.生成httpclient，相當于該打開一個瀏覽器
            CloseableHttpClient httpClient = HttpClients.createDefault();
            CloseableHttpResponse response = null;
            //2.創建get請求，相當于在瀏覽器地址欄輸入 網址
            HttpGet request = new HttpGet(url);
            //設置請求頭，將爬蟲偽裝成瀏覽器
            request.setHeader("User-Agent","Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.169 Safari/537.36");
//        HttpHost proxy = new HttpHost("60.13.42.232", 9999);
//        RequestConfig config = RequestConfig.custom().setProxy(proxy).build();
//        request.setConfig(config);
            try {
                //3.執行get請求，相當于在輸入地址欄后敲回車鍵
                response = httpClient.execute(request);

                //4.判斷響應狀態為200，進行處理
                if(response.getStatusLine().getStatusCode() == HttpStatus.SC_OK) {
                    //5.獲取響應內容
                    HttpEntity httpEntity = response.getEntity();
                    String html = EntityUtils.toString(httpEntity, "utf-8");
                    System.out.println(html);

                    /**
                     * 下面是Jsoup展現自我的平臺
                     */
                    //6.Jsoup解析html
                    Document document = Jsoup.parse(html);
                    //像js一樣，通過標簽獲取title
                    System.out.println(document.getElementsByTag("title").first());
                    Elements blogmain = document.getElementsByClass("col-sm-8 blog-main");


                    //像js一樣，通過class 獲取列表下的所有博客
                    Elements postItems =  blogmain.first().getElementsByClass("fade-in");
                    //循環處理每篇博客
                    List<Map>  list =  new ArrayList<>();
                    for (Element postItem : postItems) {
                        Map<String,Object> row = new HashMap<>();
                        //像jquery選擇器一樣，獲取文章標題元素
                        Elements titleEle = postItem.select(".entry-title a");
                        System.out.println("文章標題:" + titleEle.text());;
                        row.put("title",titleEle.text());
                        System.out.println("文章地址:" + titleEle.attr("href"));
                        row.put("href",titleEle.attr("href"));
                        //像jquery選擇器一樣，獲取文章作者元素
                        Elements footEle = postItem.select(".archive-content");
                        System.out.println("文章概要:" + footEle.text());;
                        row.put("summary",footEle.text());
                        Elements view = postItem.select(".views");
                        System.out.println( view.text());
                        row.put("views",view.text());
                        System.out.println("*********************************");
                        list.add(row);
                    }
                    map.put("data",list);

                } else {
                    //如果返回狀態不是200，比如404（頁面不存在）等，根據情況做處理，這里略
                    System.out.println("返回狀態不是200");
                    System.out.println(EntityUtils.toString(response.getEntity(), "utf-8"));
                }

            } catch (ClientProtocolException e) {
                e.printStackTrace();
            } catch (IOException e) {
                e.printStackTrace();
            } finally {
                //6.關閉
                HttpClientUtils.closeQuietly(response);
                HttpClientUtils.closeQuietly(httpClient);
            }
            return  map;
        }
        public static void main(String[] args) {
            parseHtml("http://www.liuhaihua.cn/");
        }

}

DemoApplication.java

package com.et.jsoup;

import org.springframework.boot.SpringApplication;
import org.springframework.boot.autoconfigure.SpringBootApplication;

@SpringBootApplication
public class DemoApplication {

   public static void main(String[] args) {
      SpringApplication.run(DemoApplication.class, args);
   }
}

以上只是一些關鍵代碼，所有代碼請參見下面代碼倉庫

代碼倉庫

https://github.com/Harries/springboot-demo

3.測試

啟動spring boot應用
訪問http://127.0.0.1:8088/hello,返回解析結果

4.引用

官網：https://jsoup.org/
GitHub：https://github.com/jhy/jsoup/
http://www.liuhaihua.cn/archives/710776.html

在線咨詢

上一篇：成都前端學習路線圖（新手必備）
下一篇：Html、Css、JavaScript制作圓形進度條的代碼及基礎分析

您的項目需求

*請認真填寫需求信息，我們會在24小時內與您取得聯系。

整合營銷服務商