PHP神器：輕松獲取網頁HTML元素

文深入探討如何運用PHP高效獲取網頁HTML元素信息。

運用文件讀取函數，獲取網頁數據。

利用PHP腳本的強大功能，網頁數據的采集中極為便捷，各類網頁元素亦可轉化為字符形式線上展現。

2.使用正則表達式匹配目標元素

面對諸多網頁需求，巧妙運用正則表達式可以精準且迅速搜尋并提取所需的HTML元素。核心技術在于結合正則表達式與網頁數據，以實現精確篩選及獲取這些元素的目的。

3.使用DOMDocument類解析網頁

借助 DOMDocument 類，PHP 為我們提供了深入分析和處理網頁的途徑。該類功能強大且易用，尤其以其精準讀取 HTML 文檔樹及其靈活操作的表現，在準確獲取所需元素方面具有顯著優勢。

4.使用Simple HTML DOM庫

對于正則表達式和DOMDocument類的初學者而言，可能會遭遇困難。為提升工作效率，可嘗試借助于諸如Simple HTML DOM這類第三方工具。該工具能準確挖掘所需HTML元素，大幅縮減項目開發時間。

5.使用XPath查詢語言

憑借其卓越性能，XPath在應對XML及HTML文檔元素抽取任務中表現非凡，為我們提供了對HTML元素的精準與靈動操縱。

6.使用cURL庫發送HTTP請求

借助PHP中cURL庫的功能優勢，我們能夠精確滿足各種網絡頁面內容獲取和模擬仿真的需求，從而突出頁面關鍵信息的精度提取。

7.處理JavaScript生成的內容

針對個性化需求，運用JavaScript也可實現網站內容的動態生產。為高效達成此目的，我們能依賴于PHP所提供的兩種無頭瀏覽器工具包——Selenium以及PhantomJS。

8.處理AJAX請求返回的數據

為了實現在網頁間的數據交互和溝通，尤其是借助AJAX技術模擬網絡傳輸和數據獲取過程的各項操作，我們會充分利用PHP中獨有的CURL模塊和眾多第三方廠商開發的高效能庫，它們將會成為你處理海量信息的強大后盾。

9.使用API接口獲取數據

若目標網站具備API訪問許可，那么僅需根據接口文檔所指定的請求參數，便可自動獲取并拆分JSON或者XML格式的回饋數據，進而達到信息交換的目標。

10.注意事項和其他方法

在獲取網頁中的HTML元素時，需要注意以下幾點：

-確保目標網頁存在且可訪問；

-遵守目標網站的使用規則和法律法規；

-防止對目標網站造成過大的訪問壓力；

-根據具體需求選擇合適的方法和工具。

運用此策略，能精準提取所需HTML組件，為構建多樣化應用及特性提供強大后盾。盼望本文能對您在PHP開發過程中網頁元素搜尋有所裨益。

C#中，你可以使用System.Net.Http.HttpClient來從網頁獲取HTML內容，然后使用System.Text.RegularExpressions.Regex來解析和提取HTML中的<title>標簽內容。以下是一個簡單的示例，演示了如何執行此操作：

csharpusing System;
using System.Net.Http;
using System.Text.RegularExpressions;
using System.Threading.Tasks;

class Program
{
    static readonly HttpClient client = new HttpClient();

    static async Task Main(string[] args)
    {
        try
        {
            // 要抓取內容的網頁URL
            string url = "http://example.com";
            
            // 發送HTTP GET請求獲取網頁內容
            string htmlContent = await client.GetStringAsync(url);

            // 正則表達式，用于匹配<title>標簽內的內容
            string titlePattern = @"<title>(.+?)</title>";

            // 使用Regex.Match方法查找匹配項
            Match match = Regex.Match(htmlContent, titlePattern);

            // 如果找到了匹配項
            if (match.Success)
            {
                // 提取<title>標簽內的內容
                string title = match.Groups[1].Value;

                // 輸出提取到的title
                Console.WriteLine("網頁標題: " + title);
            }
            else
            {
                Console.WriteLine("未找到<title>標簽。");
            }
        }
        catch (HttpRequestException e)
        {
            Console.WriteLine("\nException Caught!");
            Console.WriteLine("Message :{0} ", e.Message);
        }
    }
}

在這個示例中，我們首先創建了一個HttpClient實例，然后使用GetStringAsync方法異步獲取網頁的HTML內容。接下來，我們定義了一個正則表達式titlePattern，用于匹配<title>標簽中的文本。Regex.Match方法用于在HTML內容中查找匹配項。如果找到匹配項，我們就從匹配結果中提取出標題文本并打印出來。

請注意，使用正則表達式解析HTML可能不是最可靠的方法，因為HTML的結構可能會非常復雜，并且正則表達式可能無法正確處理所有情況。在實際應用中，建議使用HTML解析庫（如AngleSharp或HtmlAgilityPack）來解析HTML文檔，這樣可以更健壯和準確地提取所需的信息。

下面是一個使用HtmlAgilityPack庫提取網頁標題的示例：

csharpusing System;
using System.Net.Http;
using HtmlAgilityPack;
using System.Threading.Tasks;

class Program
{
    static readonly HttpClient client = new HttpClient();

    static async Task Main(string[] args)
    {
        try
        {
            // 要抓取內容的網頁URL
            string url = "http://example.com";
            
            // 發送HTTP GET請求獲取網頁內容
            string htmlContent = await client.GetStringAsync(url);

            // 加載HTML內容到HtmlDocument對象
            HtmlDocument doc = new HtmlDocument();
            doc.LoadHtml(htmlContent);

            // 使用XPath查詢找到<title>元素并獲取其InnerText
            var titleNode = doc.DocumentNode.SelectSingleNode("//title");
            if (titleNode != null)
            {
                string title = titleNode.InnerText;
                Console.WriteLine("網頁標題: " + title);
            }
            else
            {
                Console.WriteLine("未找到<title>標簽。");
            }
        }
        catch (HttpRequestException e)
        {
            Console.WriteLine("\nException Caught!");
            Console.WriteLine("Message :{0} ", e.Message);
        }
    }
}

在這個示例中，我們使用了HtmlAgilityPack庫來加載HTML內容，并使用XPath查詢來定位<title>標簽。這種方法通常比使用正則表達式更加穩定和可靠。在使用HtmlAgilityPack之前，你需要通過NuGet安裝它：

bashInstall-Package HtmlAgilityPack

或者，如果你使用.NET Core CLI，可以運行：

本Pandas教程中，我們將詳細介紹如何使用Pandas read_html方法從HTML中獲取數據。首先，在最簡單的示例中，我們將使用Pandas從一個字符串讀取HTML。其次，我們將通過幾個示例來使用Pandas read_html從Wikipedia表格中獲取數據。在之前的一篇文章(關于Python中的探索性數據分析)中，我們也使用了Pandas從HTML表格中讀取數據。

在Python中導入數據

在開始學習Python和Pandas時，為了進行數據分析和可視化，我們通常從實踐導入數據開始。在之前的文章中，我們已經了解到我們可以直接在Python中輸入值(例如，從Python字典創建Pandas dataframe)。然而,通過從可用的源導入數據來獲取數據當然更為常見。這通常是通過從CSV文件或Excel文件中讀取數據來完成的。例如，要從一個.csv文件導入數據，我們可以使用Pandas read_csv方法。這里有一個如何使用該方法的快速的例子，但一定要查看有關該主題的博客文章以獲得更多信息。

現在，上面的方法只有在我們已經有了合適格式的數據(如csv或JSON)時才有用(請參閱關于如何使用Python和Pandas解析JSON文件的文章)。

我們大多數人會使用Wikipedia來了解我們感興趣的主題信息。此外，這些Wikipedia文章通常包含HTML表格。

要使用pandas在Python中獲得這些表格，我們可以將其剪切并粘貼到一個電子表單中，然后，例如使用read_excel將它們讀入Python?，F在，這個任務當然可以用更少的步驟來完成:我們可以通過web抓取來對它進行自動化。一定要查看一下什么是web抓取。

先決條件

當然，這個Pandas讀取HTML教程將要求我們安裝Pandas及其依賴項。例如，我們可以使用pip來安裝Python包，比如Pandas，或者安裝一個Python發行版(例如，Anaconda、ActivePython)。下面是如何使用pip安裝Pandas: pip install pandas。

注意，如果出現消息說有一個更新版本的pip可用，請查看這篇有關如何升級pip的文章。注意，我們還需要安裝lxml或BeautifulSoup4，當然，這些包也可以使用pip來安裝: pip install lxml。

Pandas read_html 語法

下面是如何使用Pandas read_html從HTML表格中抓取數據的最簡單的語法:

現在我們已經知道了使用Pandas讀取HTML表格的簡單語法，接下來我們可以查看一些read_html示例。

Pandas read_html 示例1:

第一個示例是關于如何使用Pandas read_html方法的，我們將從一個字符串讀取HTML表格。

現在，我們得到的結果不是一個Pandas DataFrame，而是一個Python列表。也就是說，如果我們使用type函數，我們可以看到:

如果我們想得到該表格，我們可以使用列表的第一個索引(0)

Pandas read_html 示例 2:

在第二個Pandas read_html示例中，我們將從Wikipedia抓取數據。實際上，我們將得到蟒科蛇(也稱為蟒蛇)的HTML表格。

現在，我們得到了一個包含7個表(len(df))的列表。如果我們去Wikipedia頁面，我們可以看到第一個表是右邊的那個。然而，在本例中，我們可能對第二個表更感興趣。

Pandas read_html 示例 3:

在第三個示例中，我們將從瑞典的covid-19病例中讀取HTML表。這里，我們將使用read_html方法的一些附加參數。具體來說，我們將使用match參數。在此之后，我們還需要清洗數據，最后，我們將進行一些簡單的數據可視化操作。

使用Pandas read_html和匹配參數抓取數據：

如上圖所示，該表格的標題為:“瑞典各郡新增COVID-19病例”。現在，我們可以使用match參數并將其作為一個字符串輸入：

通過這種方式，我們只得到這個表，但它仍然是一個dataframes列表?，F在，如上圖所示，在底部，我們有三個需要刪除的行。因此，我們要刪除最后三行。

使用Pandas iloc刪除最后的行

現在，我們將使用Pandas iloc刪除最后3行。注意，我們使用-3作為第二個參數(請確保你查看了這個Panda iloc教程，以獲得更多信息)。最后，我們還創建了這個dataframe的一個副本。

在下一節中，我們將學習如何將多索引列名更改為單個索引。

將多索引更改為單個索引并刪除不需要的字符

現在，我們要去掉多索引列。也就是說，我們將把2列索引(名稱)變成唯一的列名。這里，我們將使用DataFrame.columns 和 DataFrame.columns,get_level_values:

最后，正如你在“date”列中所看到的，我們使用Pandas read_html從WikiPedia表格抓取了一些注釋。接下來，我們將使用str.replace方法和一個正則表達式來刪除它們:

使用Pandas set_index更改索引

現在，我們繼續使用Pandas set_index將日期列變成索引。這樣一來，我們稍后就可以很容易地創建一個時間序列圖。

現在，為了能夠繪制這個時間序列圖，我們需要用0填充缺失的值，并將這些列的數據類型更改為numeric。這里我們也使用了apply方法。最后，我們使用cumsum方法來獲得列中每個新值累加后的值:

來自HTML表格的時間序列圖

在最后一個示例中，我們使用Pandas read_html獲取我們抓取的數據，并創建了一個時間序列圖?，F在，我們還導入了matplotlib，這樣我們就可以改變Pandas圖例的標題的位置:

結論: 如何將HTML讀取到一個 Pandas DataFrame

在這個Pandas教程中，我們學習了如何使用Pandas read_html方法從HTML中抓取數據。此外，我們使用來自一篇Wikipedia文章的數據來創建了一個時間序列圖。最后，我們也可以通過參數index_col來使用Pandas read_html將' Date '列設置為索引列。

英文原文：https://www.marsja.se/how-to-use-pandas-read_html-to-scrape-data-from-html-tables
譯者：一瞬

在線咨詢

上一篇：控制臺JS教程：學習如何通過代碼批量點擊按鈕，提高網頁操作效率
下一篇：旬邑縣“鄉村振興·大愛旬邑”互聯網公益捐贈倡議書

您的項目需求

*請認真填寫需求信息，我們會在24小時內與您取得聯系。

整合營銷服務商