取元素的個數

$("img").size()

獲取jQuery選擇器中元素的個數：

<script language="javascript" src="jquery.min.js"></script>
<script language="javascript">
document.onclick=function(){
    var i=$("div").size()+1; //獲取div塊的數目（此時還沒有添加div塊）
    $(document.body).append($("<div>"+i+"</div>")); //添加一個div塊
    $("span").html(i); //修改顯示的總數
}
</script>

HTML代碼:

頁面中一共有<span>0</span>個div塊。點擊鼠標添加div：

注意:$(document.body)可以簡化為$("body")

jQuery1.8廢棄了size() 用length代替

提取元素

$("img[title]")[1] 獲取所有設置了title屬性的img標記中的第2個元素

以下代碼與上面完全等效

$("img[title]").get(1); //從0開始計數

另外，get()方法在不設置任何參數時，可以將元素轉化為一個元素對象的數組。

jQuery提取選擇器中的元素：

<script language="javascript" src="jquery.min.js"></script>
<script language="javascript">
function disp(divs){
    for(var i=0;i<divs.length;i++)
        $(document.body).append($("<div style='background:"+divs[i].style.background+";'>"+divs[i].innerHTML+"</div>"));
}
$(function(){
    var aDiv=$("div").get(); //轉化為div對象數組
    disp(aDiv.reverse()); //反序，傳給處理函數
});
</script>
<div style="background:#FFFFFF">1</div>
<div style="background:#CCCCCC">2</div>
<div style="background:#999999">3</div>
<div style="background:#666666">4</div>
<div style="background:#333333">5</div>
<div style="background:#000000">6</div>

注意：get([index])取得其中一個匹配的元素。index表示取得第幾個匹配的元素。

這能夠讓你選擇一個實際的DOM元素并且對他直接操作, 而不是通過jQuery函數。$("div").get(0)與$("div")[0]等價。

反過來index(element)方法可以查找元素element所處的位置

例如：var iNum=$("li").index($("li[title=isaac]")[0]);

用index()方法獲取元素的序號

<script language="javascript" src="jquery.min.js"></script>
<script language="javascript">
$(function(){
    //click()添加點擊事件
    $("div").click(function(){
    //將塊本身用this關鍵字傳入，從而獲取自身的序號
    var index=$("div").index(this);
    $("span").html(index.toString());
    });
});
</script>
<div>0</div><div>1</div><div>2</div><div>3</div><div>4</div><div>5</div>
點擊的div塊序號為：<span></span>
查找元素的索引值
HTML 代碼:
<ul>
<li id="foo">foo</li>
<li id="bar">bar</li>
<li id="baz">baz</li>
</ul>

jQuery 代碼:

$('li').index(document.getElementById('bar')); //1, 傳遞一個DOM對象, 返回這個對象在原先集合中的索引位置

$('li').index($('#bar')); //1, 傳遞一個jQuery對象

$('li').index($('li:gt(0)')); //1, 傳遞一組jQuery對象, 返回這個對象中第一個元素在原先集合中的索引位置

$('#bar').index('li'); //1, 傳遞一個標記, 返回#bar在所有li中的索引位置

$('#bar').index(); //1, 不傳遞參數, 返回這個元素在同輩中的索引位置

index()注意的問題:

<ul>
<li>娛樂</li>
<img src="img/on.png"/>
<li>政治</li>
<img src="img/on.png"/>
<li>體育</li>
<img src="img/on.png"/>
<li>娛樂</li>
<li>娛樂</li>
</ul>
$("li").click(function(){
    //index內部是吧鈣元素的所有兄弟進行排序
    //但是我們布局中經常會有一些多余的元素用來裝飾 但是我不想讓這些元素參與排序
    //jq內部也考慮到了這一點 他們改了
    console.log($(this).index()); //排序包括img和li(0 2 4 7 8)
    console.log($(this).index("li"));//我僅僅針對li進行排序
    //他溝通過(選擇器)里面的參數進行過濾
})
children() 查詢子元素
<p>Hello</p><div><span>Hello Again</span></div><p>And Again</p>

jQuery 代碼:

$("div").children()

結果:

[ <span>Hello Again</span> ]

parent() 查詢父元素

<div><p>Hello</p><p>Hello</p></div>

jQuery 代碼:

$("p").parent()

結果:

[ <div><p>Hello</p><p>Hello</p></div>]

siblings() 查詢兄弟節點元素

<p>Hello</p><div><span>Hello Again</span></div><p>And Again</p>

jQuery 代碼:

$("div").siblings()

結果:

[ <p>Hello</p>, <p>And Again</p> ]

next() 查詢緊鄰的下一個元素

找到每個段落的后面緊鄰的同輩元素。

HTML 代碼:

<p>Hello</p><p>Hello Again</p><div><span>And Again</span></div>

jQuery 代碼:

$("p").next()

結果:

[ <p>Hello Again</p>, <div><span>And Again</span></div> ]

prev() 查詢緊鄰的上一個元素

找到每個段落緊鄰的前一個同輩元素。

HTML 代碼:

<p>Hello</p><div><span>Hello Again</span></div><p>And Again</p>

jQuery 代碼:

$("p").prev()

結果:

[ <div><span>Hello Again</span></div> ]

添加、刪除、過濾元素

添加元素

$("img[alt]").add("img[title]");

等同于：

$("img[alt],img[title]");

$("img[alt]").add("img[title]").addClass("myClass");

等同于

$("img[alt],img[title]").addClass("myClass");

刪除元素

$("li[title]").not("[title*=isaac]");
$("div").not(".green, #blueone").addClass("myClass");

去掉風格為.green #blueone 的類 并添加.myClass的類

注意：not()方法所接受的參數都不能包含特定的元素，只能是通用的表達式，例如下面是典型的錯誤代碼：

$("li[title]").not("img[title*=isaac]")

正確的寫法為：

$("li[title]").not("[title*=isaac]")

過濾元素

$("li").filter("[title*=isaac]"); 

此種方法與not()一樣, 但是功能更強大。

以上代碼等同于

$("li[title*=issac]")

filter語句還于jQuery語句的鏈接

如

$(function(){
		$("div").addClass("myClass1").filter("[class*=middle]").addClass("myClass2");
});

注意：filter("[class=middle]")語句得不到理想的效果 需要添加* ^ $(經過測試jQuery支持后匹配有問題,包括最新版本jquery2.0.1)

filter()另外一種類型的參數是函數，它可以讓用戶自定義篩選函數，該函數要求返回一個布爾型值,參數為index為元素所處的序號(從零還是計數)

如：

$(function(){
$("div").addClass("myClass1").filter(function(index){ //index為元素所處的序號(從零還是計數)
    return index==1 || $(this).attr("id")=="fourth";
}).addClass("myClass2");
});

以上代碼為整個<div>列表增加樣式風格"myClass1",然后進行篩選，再為篩選出的元素單獨增加樣式風格"myClass2"。如果不采用jQuery鏈，將非常麻煩。

查詢過濾新元素集合

$("p").find("span");

以上代碼表示所有<p>標記的元素中搜索<span>標記,獲得一個新的元素集合，等同于

$("span",$("p")); //注意順序不能調換
如：

$(function(){
		$("p").find("span").addClass("myClass");
});

另外，還可以通過is()方法來檢測是否包括指定的元素

var bHasuImage=$("div").is("img"); //返回值為Boolean;

采用jQuery鏈

在jQuery鏈中，后面的操作都是以前面的操作結果為對象的。如果希望操作對象為上一步的對象，則可以使用end()方法。

$(function(){
		$("p").find("span").addClass("myClass1").end().addClass("myClass2");
});

利用end()方法將操作對象往回設置為$("p")；

另外andSelf()方法控制jQuery鏈 將前面兩個對象進行組合后共同處理。

$(function(){
		$("p").find("span").addClass("myClass1").andSelf().addClass("myClass2");
});

andSelf()方法將<p>和<span>組合在一起,添加樣式風格，這個風格對<p>和<span>均有效；

小結:

刪除元素.not()方法和過濾元素.filter()方法,所接受的參數都不能包含特定的元素,只能是通用表達式

$("li[title]").not("img[title*=isaac]")
$("li[title]").filter("img[title*=isaac]")

應當改寫為:

$("li[title]").not("[title*=isaac]")
$("li[title]").filter("[title*=isaac]")

同時不能使用直接的等于匹配(=),只能使用前匹配(^=)、任意匹配(*=),

而后匹配($=)(有些書寫的是&=),無論后匹配是$=還是&=,jQuery程序多次測試有問題;

綜合實例:

保留子元素中不含有ol的元素。

HTML 代碼:

<p><ol><li>Hello</li></ol></p><p>How are you?</p>

jQuery 代碼:

$("p").filter(function(index) {
    return $("ol", this).length==0;
});

結果:

[ <p>How are you?</p> ]

理解:$("ol", this)等同于$(this).find("ol"),this關鍵字代表遍歷后的p標記

以上語句可改成:(添加了讓DOM立即執行的函數)

、篩選請求

1. 使用過濾，需勾選User Filter才會生效，運行當前的過濾規則，需點擊Run Filterset now

2. Hosts：主機過濾之局域網過濾

• No Zone Filter：默認選項，不設置區域過濾器
• show only Intranet Hosts：只顯示內網的Hosts，即過濾掉外網的Hosts。此時，只顯示URL請求目標服務器在內網的請求
• show only internet Hosts：與上相對應，只顯示外網的Hosts

3. Hosts：主機過濾之廣域網過濾

• No Host Filter：默認選項，不設置過濾主機IP條件
• Hide the following Hosts：隱藏輸入到下面文本框中的Hosts
• Show only the following Hosts：僅顯示輸入到下面文本框中的Hosts
• Flag the following Hosts：標識下邊輸入的主機名的會話（加粗）

4. Client process：客戶端進程過濾

• Show only traffic from：指定只顯示哪個Windows進程中的請求，右側會列出當前所有的 Windows 進程。
• Show only Internet Explorer traffic：只顯示IE發出的請求。
• Hide trafficfrom service host：隱藏來自service

5. Request header：請求頭過濾

• Show only if URL contains：僅顯示URL中包含指定字符串的請求，字符串可以是URL中的一部分，多個字符串用空格分開，也可以使用EXACT:前綴來限定大小寫，或者使用REGEX:前綴正則表達式或完整的URL。
• Hide if URL contains：僅隱藏URL中包含指定字符串的請求，字符串可以是URL中的一部分，多個用空格分開，可以是正則或完整的URL。
• Flag requests with headers：標記帶有特定header的請求，如果在websession列表中存在該請求，會加粗顯示。
• Delete request headers：刪除請求中指定的Header字段
• Set request Header：在URL請求中添加頭字段，與上一條對應。前面輸入字段，后面輸入值。

6. Breakpionts：設置斷點

• Break request on Post：對所有Post請求設置斷點
• Break request on GET with query string：對所有帶參數的 GET 請求設置斷點
• Break on XMLHttpRequest：對所有Ajax請求設置斷點
• Break response on Content-type：對響應報文中header字段中，Content-Type屬性匹配成功的請求設置斷點

7. Response Status Code：響應狀態碼過濾

• Hide success(2xx)：隱藏響應狀態碼為2xx的URL請求
• Hide non-2xx：隱藏響應狀態碼不是2xx的URL請求
• Hide Authentication demands(401,407)：隱藏認證（響應狀態碼為：401 407）的URL請求
• Hide redirects(300,301,302,303,307)：隱藏重定向（響應狀態碼為：300，301，302，303，07）的URL請求
• Hide Not Modifield(304)：隱藏不是緩存的狀態碼（304）的URL請求

8. Response Type and Size ：響應類型和報文大小過濾

• 下拉類別選擇顯示類型

Show all Content-Type：顯示所有類型Content-Type的請求，Content-Type即為響應結果header信息中Content-Type字段
Show only IMAGE/*：僅顯示響應類型為圖片的請求
Show only HTML：僅顯示響應類型為HTML的請求
Show only TEXT/CSS：僅顯示響應類型為text/css的請求
Show only SCRIPTS：僅顯示響應類型為Scripts的請求
Show only XML：僅顯示響應類型為XML的請求
Show only JSON：僅顯示響應類型為Json的請求
Hide IMAGE/*：隱藏所有響應類型為圖片的請求

• Hide smaller than：隱藏小于指定大小響應結果的請求。
• Hide larger than：隱藏大于指定大小響應結果的請求。
• Time HeatMap：時間熱圖。
• Block script files：阻止返回正常JS文件，如果響應是腳本文件，那么響應 404。
• Block image files：阻止返回正常圖片文件，如果響應是圖片文件，那么響應 404。
• Block SWF files：阻止返回正常SWF文件，如果響應是SWF 文件，那么響應 404。
• Block CSS files：阻止返回正常CSS文件，如果響應是 CSS 文件，那么響應 404。

9. Response Header：響應頭過濾

• Flag responses that set cookies：會話列表的響應中有cookies信息的加上標識（斜體）。
• Flag responses with headers：會話列表里標記響應中帶有特定header的請求（即加粗）。
• Delete response headers：會話列表里刪除響應信息中，有指定的Header字段的會話。
• Set response header：在響應中添加header字段，第一個輸入框是header 的key，第二個輸入框是對應value

二、修改請求參數之臨時修改參數

1. 臨時修改參數，可通過urlreplace SeekStr ReplaceWithStr命令，做參數替換
2. 打開Fiddler，再打開百度，搜索csdn，在Fiddler中查看參數，wd是查詢參數

3. Fiddler命令行輸入urlreplace wd=csdn wd=js回車，回到瀏覽器點擊百度一下，會發現雖然搜索的是csdn，但是查出來的是js相關的信息，這種方法關閉Fiddler之后就會失效

三、斷點修改請求參數

1. 在請球之前攔截請求，以剛才的csdn為例

2. 點擊百度一下，會發現已經進入Fiddler斷點

3. 點擊請求，點擊Inspectors>WebForms，修改參數中的wd為js，點擊Run to Complation，會發現雖然搜索的是csdn，但是查出來的是js相關的信息

4. 這種方法修改參數，如果遇到請求參數中有時間戳的很容易造成請求失敗，而且斷點會斷住所有請求，如果想斷某個請求，最好還是做個請求篩選

四、通過Composer修改參數

1. 先通過瀏覽器百度csdn，Fiddler中查看Inspectors>WebView會看到搜索出來的是csdn，如果是亂碼點擊Decode解碼一下

2. 鼠標左鍵把請求拖到Composer，在Url中找到wd，修改為js，點擊執行，查看Inspectors>WebView會看到搜索出來的是js

3. 這種方法修改參數，如果遇到請求參數中有時間戳的很容易造成請求失敗，而且不會在瀏覽器上體現出來，相當于postman創建了一個請求，好處就是會有歷史記錄下次使用可以直接在歷史記錄里找

五、修改請求參數之永久修改參數，FiddlerScript修改參數

1. 找到FiddlerScript編輯腳本，也可以在工具欄Rules > Customize Rules中修改腳本

2. 找到static function OnBeforeRequest，添加oSession.uriContains("web=csdn")代碼，點擊save script保存腳本

3. 打開瀏覽器搜索csdn，會發現雖然搜索的是csdn，但是查出來的是js相關的信息，這種方法關閉瀏覽器不會失效、也不用打斷點，缺點是需要熟悉.Net，不過需要什么代碼，度娘應該會給你答案

六、修改請求腳本代碼

1. 攔截post請求，并修改JSON格式參數

if (oSession.HTTPMethodIs("POST") && oSession.uriContains("example.com")) {
    // 獲取請求的 Body 數據
    var requestBody=oSession.GetRequestBodyAsString();

    // 解析 JSON
    var json=Fiddler.WebFormats.JSON.JsonDecode(requestBody);


    // 修改 JSON 參數
    json.JSONObject["Body"]["kwy"]="value";
    // 刪除 JSON 參數
    json.JSONObject.Remove('key');
    json.JSONObject["Body"].Remove("key");
    
    // 將修改后的 JSON 轉換回字符串
    var modifiedRequestBody=Fiddler.WebFormats.JSON.JsonEncode(json.JSONObject);
    // 更新請求的 Body 數據
    oSession.utilSetRequestBody(modifiedRequestBody);
}

2. 攔截post請求，并修改普通參數，非JSON格式

if (oSession.HTTPMethodIs("POST") && oSession.uriContains("example.com")) {
    // 獲取請求的 Body 數據
    var requestBody=oSession.GetRequestBodyAsString();

    // 修改參數
    requestBody=requestBody.replace("param1=value1", "param1=newValue");

    // 更新請求的 Body 數據
    oSession.utilSetRequestBody(requestBody);
}

3. 攔截get請求，并修改url參數，如果post請求url中帶有參數，可以把GET換成POST

if (oSession.HTTPMethodIs("GET") && oSession.uriContains("example.com")) {
    // 獲取請求的 URL
    var url=oSession.fullUrl;

    // 修改參數
    url=url.replace("param1=value1", "param1=newvalue");

    // 更新請求的 URL
    oSession.fullUrl=url;
}

4. 攔截get請求，并刪除url參數，如果post請求url中帶有參數，可以把GET換成POST

import System.Web;

if (oSession.HTTPMethodIs("GET") & & oSession.uriContains("example.com")) {
    // 獲取請求的 URL
    var url=oSession.fullUrl;
    
    // 解析 URL 中的參數
    var uri=new System.Uri(url);
    var queryString=System.Web.HttpUtility.ParseQueryString(uri.Query);
    
    // 刪除指定的參數
    queryString.Remove("dt");
    
    // 構建新的 URL
    var newUrl=uri.GetLeftPart(System.UriPartial.Path) + "?" + queryString.ToString();
    
    // 更新請求的 URL
    oSession.fullUrl=newUrl;
}

5. 攔截get請求，并修改請求頭，如果需要修改POST請求頭，可以把GET換成POST

if (oSession.HTTPMethodIs("GET") && oSession.uriContains("example.com")) {
    // 獲取請求的頭部對象
    var headers=oSession.oRequest.headers;

    // 修改頭部的值
    headers["key"]="value";

    // 刪除指定的頭部
    headers.Remove("key");
}

6. 攔截get請求，并修改cookie，如果需要修改POST請求cookie，可以把GET換成POST

if (oSession.HTTPMethodIs("GET") && oSession.uriContains("example.com")) {
    // 獲取請求的 Cookie 值
    var cookieValue=oSession.oRequest["Cookie"];
    
    // 添加cookie
    cookieValue+=";key=value";
    
    // 修改cookie
    cookieValue=cookieValue.Replace("key=value", "key=newValue");
    
    // 刪除cookie
    cookieValue=cookieValue.Replace("key=value", "");

    oSession.oRequest["Cookie"]=cookieValue
}

7. 正則替換字符串，以修改cookie為例

if (oSession.HTTPMethodIs("GET") && oSession.uriContains("example.com")) {
    // 獲取請求的 Cookie 值
    var cookieValue=oSession.oRequest["Cookie"];
    
    var pattern="key=([^&]*)";
    var regex=new System.Text.RegularExpressions.Regex(pattern);
    var cookieValue=regex.Replace(cookieValue, "key=newValue");

    oSession.oRequest["Cookie"]=cookieValue
}

8. 輸出cookie到控制臺，可通過log查看

FiddlerApplication.Log.LogString("cookie: " + cookieValue);

import re# 定義正則表達式，通過compile()函數編譯pattern=re.compile('正則表達式')# 核心操作函數# 1.起始位置匹配一次:僅從指定的起始位置進行匹配(默認開頭位置)# 匹配成功返回匹配到的字符串，表示目標字符串是該字符串開頭的# 匹配失敗返回Nonevalue=pattern.match(string[, start[ , end]])# 2.全文匹配一次:從指定的起始位置開始匹配(默認開頭位置)# 陸續對字符串中的所有字符進行匹配# 匹配成功返回匹配到的字符串，表示目標字符串中包含該字符串# 匹配失敗返回Nonevalue=pattern.search(string[, start[, end]])# 3.全文匹配# 從目標字符串中查詢所有符合匹配規則的字符，并存儲到一個列表中# 匹配結束返回列表，包含匹配到的數據# 沒有匹配到數據返回空列表，否則返回包含所有匹配數據的列表value_list=pattern.findall(string[, start[, end]])# 4.全文匹配獲取迭代器# 從目標字符串中查詢所有符合匹配規則的字符，并存儲到一個迭代器中value_iter=pattern.finditer(string[, start[, end]])# 5.字符串切割：根據指定的正則表達式切割目標字符串并返回切割后的列表value_list=pattern.split(string)# 6.字符串替換：根據指定的匹配規則，將string中符合的字符串替換為value值，count是替換次數，默認全部替換value_replace=pattern.sub(value, string[, count])

# 輸出匹配到的數據value.group()# 輸出匹配到的第一組數據value.group(1)# 輸出匹配的第n組數據：前提條件是在正則表達式中使用圓括號進行了n次分組value.group(n)# 輸出匹配數據的索引范圍value.span()# 輸出匹配的第n組數據的索引范圍value.span(n)# 輸出匹配的第n組數據的索引開始位置value.start(n)# 輸出匹配的第n組數據的索引結束位置value.end(n)

# 定義目標字符串>>> s="helelo world"# 編譯正則匹配對象:這里我們只是想得到: lel>>> pattern=re.compile('l*l')# 進行數據匹配操作>>> r=re.compile('l.*l')# 展示數據>>> r.search(s).group()# 展示得到的數據，顯然匹配的數據中包含了其他數據'lelo worl'# 那么，下面這個例子，貌似更加實際>>> html="<div>i am div</div><p>i am p</p><div>i am div too</div>"# 定義匹配規則，只是想匹配div中包含的數據>>> pattern=re.compile("<div>.*</div>")# 打印展示數據>>> pattern.search(html).group()# 顯示的數據，明顯包含了不需要的數據，這是貪婪模式'<div>i am div</div><p>i am p</p><div>i am div</div>'# 重新定義>>> html="<div>i am div</div><p>i am p</p><div>i am div too</div>"# 修改過的正則表達式>>> pattern=re.compile("<div>.*?</div>")# 匹配得到數據>>> pattern.search(html).group()# 顯示的數據，包含的數據，就是精確匹配到的數據'<div>i am div</div>'

<html> <head>
 <title>文檔標題</title>
 </head>
 <body> <h1>一級標題<h1>
 <table>
 <tr>
 <th>標題</th>
 <th>標題</th>
 <th>標題</th>
 <th>標題</th>
 </tr>
 <tr>
 <td>內容</td>
 <td>內容</td>
 <td>內容</td>
 <td>內容</td>
 </tr>
 </table>
 </body></html>

# -*- coding:utf-8 -*-from lxml import etree# 模擬得到爬蟲數據content="""
 <html>
 <head>
 <title>大牧</title>
 </head>
 <body>
 <h1>個人簡介</h1>
 <div>
 <p>姓名：某某某</p>
 <p>住址：中國 鄉下</p>
 <p>座右銘：豈能盡如人意，但求無愧于心</p>
 </div>
 </body>
 </html>
"""# 轉換成html數據# html=etree.parse("index.html")# 從文件中直接加載html數據html=etree.HTML(content)# 通過etree.HTML()函數將字符串轉換成HTML文檔對象print dir(html)# 查看文檔對象的所有函數print html.getchildren()# 查看文檔對象根節點的所有子節點# 轉換成字符數據str_html=etree.tostring(html)# 將HTML文檔對象轉換成字符串print type(str_html)# 查看輸出類型print str_html# 查看輸出數據

# -*- coding:utf-8 -*-from lxml import etree# 模擬得到爬蟲數據content=u"""
 <html>
 <head>
 <title>大牧</title>
 </head>
 <body>
 <h1 name="title">個人簡介</h1>
 <div name="desc">
 <p name="name">姓名：<span>某某某</span></p>
 <p name="addr">住址：中國 鄉下</p>
 <p name="info">座右銘：豈能盡如人意，但求無愧于心</p>
 </div>
 </body>
 </html>
"""# 將爬取到的數據轉換成HTML文檔html=etree.HTML(content)# 查詢所有的p標簽p_x=html.xpath("http://p")
print(p_x)# 查詢所有Name屬性的值v_attr_name=html.xpath("http://@name")
print(v_attr_name)# 查詢所有包含name屬性的標簽e_attr_name=html.xpath("http://*[@name]")
print(e_attr_name)# 查詢所有包含name屬性，并且name屬性值為desc的標簽e_v_attr_name=html.xpath("http://*[@name='desc']")
print(e_v_attr_name)# 查詢所有p標簽的文本內容,不包含子標簽p_t=html.xpath("http://p")for p in p_t: print (p.text)# 查詢多個p標簽下的所有文本內容，包含子標簽中的文本內容p_m_t=html.xpath("http://p")for p2 in p_m_t:
 print(p2.xpath("string(.)"))

$ pip install beautifulsoup4

# coding:utf-8# 引入解析模塊BS4from bs4 import BeautifulSoup# 從文件中加載html網頁，指定HTML解析器使用lxml# 默認不指定的情況下，BS4會自動匹配當前系統中最優先的解析器soup=BeautifulSoup(open("index.html"), "lxml")# 如果是爬蟲獲取到的字符數據，直接交給BS4就OK拉# soup=BeatufulSoup(spider_content, "lxml")# 打印BeautifulSoup文檔對象，得到的是文檔樹內容print(soup)# 打印類型：<class 'bs4.BeautifulSoup'>print(type(soup))

# coding:utf-8from bs4 import BeautifulSoup# 得到構建的文檔對象soup=BeautifulSoup(open("index.html"), "lxml")# Tag操作# 1. 獲取標簽print(soup.title) # <title>文章標題</title>print(soup.p) # <p>姓名：<span id="name">大牧</span></p> # 只返回第一個匹配到的標簽對象print(soup.span) # <span id="name">大牧</span># 2.獲取標簽的屬性print(soup.p.attrs) # {}：得到屬性和值的字典print(soup.span.attrs) # {'id': 'name'}：得到屬性和值的字典print(soup.span['id']) # name：得到指定屬性的值soup.span['id']="real_name"print(soup.span['id']) # real_name : 可以方便的在BS4中直接對文檔進行修改# 3. 獲取標簽的內容print(soup.head.string) # 文章標題：如果標簽中只有一個子標簽~返回子標簽中的文本內容print(soup.p.string) # None：如果標簽中有多個子標簽，返回Noneprint(soup.span.string) # 大牧：直接返回包含的文本內容

# coding:utf-8# 引入BS4操作模塊from bs4 import BeautifulSoup# 加載網頁文檔，構建文檔對象soup=BeautifulSoup(open("index.html"), "lxml")
print(dir(soup))
print(soup.contents)# 得到文檔對象中所有子節點print(soup.div.contents)# 得到匹配到的第一個div的子節點列表print(soup.div.children)# 得到匹配到的第一個div的子節點列表迭代器# for e1 in soup.div.children:# print("-->", e1)print(soup.div.descendants)# 得到匹配到的第一個div的子節點迭代器,所有后代節點單獨一個一個列出# for e2 in soup.div.descendants:# print("==>", e2)

# coding:utf-8# 引入BS4模塊from bs4 import BeautifulSoup# 加載文檔對象soup=BeautifulSoup(open("../index.html"), "lxml")# DOM文檔樹查詢# 核心函數~請對比javasript dom結構了解它的方法# 如:findAllPrevious()/findAllNext()/findAll()/findPrevious()/findNext()等等# findAll()為例# 1. 查詢指定的字符串res1=soup.findAll("p")# 查詢所有包含p字符的標簽print(res1)# 2. 正則表達式import re
res2=soup.findAll(re.compile(r"d+"))# 查詢所有包含d字符的標簽print(res2)# 3. 列表：選擇res3=soup.findAll(["div", "h1"])# 查詢所有的div或者h1標簽print(res3)# 4. 關鍵字參數res4=soup.findAll(id="name")# 查詢屬性為id="name"的標簽print(res4)# 5. 內容匹配res5=soup.findAll(text=u"男")# 直接匹配內容中的字符，必須保證精確匹配print(res5)
res6=soup.findAll(text=[u"文章標題", u"大牧"])# 查詢包含精確內容的所有的標簽print(res6)
res7=soup.findAll(text=re.compile(u"大+"))# 通過正則表達式進行模糊匹配print(res7)