「C#實戰」一行代碼搞定！高效移除HTML標簽還原純凈文本

HTML文本中移除所有HTML標記并提取純文本是我們經常需要使用的文本內容處理方式，比如搜索引擎、網站爬蟲或者本地文檔檢索系統需要提取網頁或HTML文檔的實際內容進行索引。通過去除HTML標簽，可以專注于實際的文字信息，提高搜索結果的相關性和準確性。在新聞聚合應用或社交媒體平臺上展示網頁鏈接的摘要時，通常會提取并顯示純文本內容以提供簡潔的預覽。對于視覺障礙人士使用的輔助技術如屏幕閱讀器，它們無法解析復雜的HTML結構，因此需要提取純文本以便朗讀給用戶。所以今天給大家分享一個使用正則表達式移除所有的Html標記的方法，供有需要的朋友們參考：

第一個核心代碼是：正則表達式"<.*?>"

// 示例用法：

string inputHtml = "<html><body><h1>Hello, World!</h1>This is a <b>test</b>.</body></html>";

string plainText = RemoveHtmlTags(inputHtml);

Console.WriteLine(plainText); // 輸出: "Hello, World!This is a test."

public static string RemoveHtmlTags(string html)

{

// 正則表達式用于匹配HTML標簽

Regex regex = new Regex("<.*?>", RegexOptions.Singleline | RegexOptions.Compiled);

// 使用正則表達式的Replace方法移除所有匹配的HTML標簽

string result = regex.Replace(html, String.Empty);

return result;

}

這個正則表達式<.*?>是非貪婪匹配任何以 < 開始、以 > 結束的字符串，它會盡可能少地匹配字符以找到每個HTML標簽。

請注意，雖然此方法對于簡單場景可能有效，但對復雜的HTML文檔（特別是含有嵌套標簽、注釋、CDATA等內容）可能不夠健壯，因為它無法處理所有可能的HTML結構。

第二個核心代碼是：正則表達式"<[^>]*>"

public static string ExtractPlainTextFromHtml(string html)

{

// 使用正則表達式匹配所有的HTML標簽

// 注意：這個簡單的正則表達式適用于大多數基礎HTML結構，但可能無法處理復雜嵌套或特殊格式的HTML

Regex regex = new Regex("<[^>]*>", RegexOptions.Singleline | RegexOptions.Compiled);

// 使用Replace方法去除所有匹配到的HTML標簽，并返回純文本內容

string plainText = regex.Replace(html, String.Empty);

return plainText.Trim(); // 為了得到更整潔的結果，可以對結果進行trim操作以去除多余的空白字符

}

在這段代碼中，我們定義了一個名為ExtractPlainTextFromHtml的方法，該方法利用正則表達式 <[^>]*> 來查找并替換所有HTML標簽。這里的正則表達式表示任何以 < 開始、以 > 結束的非空字符串（即HTML標簽），Singleline 選項使.能匹配換行符，以便跨多行搜索標簽，而 Compiled 選項則是為了優化正則表達式的性能。

第二個核心代碼是：正則表達式"<[^>]*>"

public static string RemoveHtmlTags(string html)

{

// 正則表達式，匹配所有HTML標簽

string pattern = "<[^>]+>";

// 使用Regex.Replace方法移除所有匹配的HTML標簽

return Regex.Replace(html, pattern, String.Empty);

}

請注意，此方法僅移除HTML標記，不會解析或處理嵌入在HTML中的JavaScript代碼或其他非標記內容。此外，此方法也無法處理不規范或不符合預期格式的HTML標記。如果需要更復雜的HTML解析或清理，您可能需要使用專門的HTML解析庫，如AngleSharp或HtmlAgilityPack等。

盡管上述方法對于許多簡單場景已經足夠有效，但在面對復雜的HTML文檔時，由于HTML本身的嵌套和特殊結構，簡單的正則表達式可能無法完美地解析并移除所有標簽。在這種情況下，推薦使用專門為處理HTML設計的庫，如HtmlAgilityPack，它可以準確地解析HTML并提供豐富的API用于提取純文本內容。

節課我們學習了如何使用 BeautifulSoup 來解析頁面，這節課我們來學習下如何使用正則來解析頁面。

正則表達式的基本概念
正則表達式基本語法
正則表達式常用函數

通過學習正則表達式幾個常用函數，可以根據需要對數據進行匹配篩選。

1. 正則表達式簡介

在編寫爬蟲的過程中，我們需要解析網頁的內容。那么作為文本解析利器的正則表達式當然可以運用到我們的爬蟲開發中。其實頁面解析過程無非是從海量的字符串中將我們所需要的數據匹配并剝離出來，所以在正式的爬蟲開發中正則會經常被用到。

正則表達式是對字符串操作的邏輯公式。在提取網頁的數據的時候，我們需要把源代碼轉換成字符串，然后通過正則表達式匹配想要的數據。

在我們開始使用正則表達式進行模式查找之前，我們需要先熟悉一下正則表達式里面的字符的基本含義，熟悉了它們之后，我們就可以很方便的書寫一些正則表達式進行模式匹配了。

2. 正則表達式基本語法

正則表達式的字符和含義

模式	描述
.	匹配任意字符，除了換行符
*	匹配前一個字符0次或者多次
+	匹配前一個字符1次或者多次
？	匹配前一個字符0次或者1次
^	匹配字符串開頭
$	匹配字符串結尾
()	匹配括號內的表達式，表示一個組
\s	匹配空白字符
\S	匹配任何空白字符
\d	匹配數字，等于[0-9]
\D	匹配非數字，等于0-9
\w	匹配字符數字，等于[A-Za-z0-9]
\W	匹配非字符數字，等于A-Za-z0-9
[]	表示一組字符

3. 正則表達式的常用方法

我們開發爬蟲使用的是 Python 語言，那么在 Python 中如何使用正則表達式呢？在 Python 中已經內置了正則表達式模塊 re，re 庫是內置在 Python 中的，不需要我們進行安裝，直接導入使用即可。

這里我們主要詳細講解一下 re 庫中的幾種常用方法。這幾種方法也是會經常用在爬蟲開發中的，只要掌握了這些種方法，基本上在爬蟲開發中需要使用正則表達式的問題都可以解決。

3.1 re.findall

findall 方法是找到所有的符合規則的匹配內容，具體語法如下：

re.findall(pattern, string, flags=0)

來看個例子，找出所有的字符串中的數字：

import re # 導入正則

example = 'abc 33 bbb 3223 yehgst adsfe3 332' # 創建目標字符串
pattern = '\d+'
re.findall(pattern, example)

效果如下圖所示：

3.2 re.search

re.search 掃描整個字符串，并返回第一個成功的匹配。具體語法如下：

re.search(pattern, string, flags=0)

來看個例子：

import re

example = "Python is the best language!"

re.search('\APython', example)
re.search('\AJava', example)

效果如下圖所示：

3.3 re.match

如果 string 開始的 0 或者多個字符匹配到了正則表達式樣式，就返回一個相應的匹配對象。如果沒有匹配，就返回 None ；注意它跟零長度匹配是不同的。

re.match(pattern, string, flags=0)

實例：

import re

string = '5523 abc, cde 666623'

pattern = '(\d{4}) (\w{3})'

match = re.search(pattern, string) 

match.group(1)
match.group(2)
match.groups()

效果如下：

3.4 re.split

用 pattern 分開 string 。如果在 pattern 中捕獲到括號，那么所有的組里的文字也會包含在列表里。如果 maxsplit 非零，最多進行 maxsplit 次分隔，剩下的字符全部返回到列表的最后一個元素

re.split(pattern, string)

實例：

import re

string = 'aaabbb 212 dxsxasxw fdexx:3453423.'
pattern = '\d+'

result = re.split(pattern, string) 
print(result)

效果如下：

3.5 re.sub

返回通過使用 repl 替換在 string 最左邊非重疊出現的 pattern 而獲得的字符串。如果樣式沒有找到，則不加改變地返回 string。 repl 可以是字符串或函數；如為字符串，則其中任何反斜杠轉義序列都會被處理。也就是說，\n 會被轉換為一個換行符，\r 會被轉換為一個回車附，依此類推。未知的 ASCII 字符轉義序列保留在未來使用，會被當作錯誤來處理。其他未知轉義序列例如 & 會保持原樣。向后引用像是會用樣式中第 6 組所匹配到的子字符串來替換

re.sub(pattern, replace, string)

實例：

import re

string = 'abc 3d a52a33 adex f45 6'

pattern = '\s+'

replace = ''

new_string = re.sub(pattern, replace, string) 
print(new_string)

例子如下：

3.6 re.subn

行為與 sub() 相同，但是返回一個元組 (字符串, 替換次數).

re.subn(pattern, replace, string)

實例：

import re

string = 'abc 3d a52a33 adex f45 6'

pattern = '\s+'

replace = ''

new_string = re.subn(pattern, replace, string) 
print(new_string)

例子如下：

4. 小結

這一小節，我們學習了正則表達式的基本語法，以及通過多個例子展示了正則表達式的使用方法，正則表達式難有一點大，同學們需要多加練習，才能牢固的掌握。

為一名程序員，常常會在以下情況下使用函數功能根據正則表達式截取字符串：

字符串處理：當需要使用正則表達式匹配和提取字符串中的特定模式時，可以使用該函數。例如，從一段文本中提取電子郵件地址、電話號碼或網站URL等。

數據清洗：在處理大量數據時，可以使用正則表達式來清洗和過濾數據。例如，可以從文本中刪除不必要的字符或空格，或將特定格式的日期字符串轉換為日期對象。

模式匹配：當需要匹配字符串中的特定模式時，可以使用正則表達式。例如，檢查一個字符串是否符合密碼格式要求，或者查找文本中所有的關鍵詞。

解析日志文件：當處理日志文件時，可以使用正則表達式來解析和提取有用的信息。日志文件通常包含固定的格式和結構，使用正則表達式可以高效地提取所需的數據。

網絡爬蟲：在網絡爬蟲中，可以使用正則表達式來解析網頁內容。例如，從網頁HTML中提取特定標簽之間的文本內容。

總之，函數功能根據正則表達式截取字符串非常有用，可以用于各種不同的編程場景中，幫助程序員高效地處理和分析字符串數據。

那么，如何高效的實現這一函數功能呢？

下面是由全棧式全自動軟件開發工具SoFlu軟件機器人推出的FuncGPT（慧函數）生成的根據正則表達式截取字串符基本示例：

// 類名：RegexString


// 函數名：substringByRegex


// 函數功能：根據正則表達式截取字串符


// POM依賴包：無






import java.util.regex.Matcher;


import java.util.regex.Pattern;






public class RegexString {


    /**


     * 根據正則表達式截取字串符


     * @param inputString 輸入的字符串


     * @param regex 正則表達式


     * @return 匹配到的字串符


     */


    public static String substringByRegex(String inputString, String regex) {


        Pattern pattern = Pattern.compile(regex);


        Matcher matcher = pattern.matcher(inputString);






        if (matcher.find()) {


            return matcher.group(); // 返回第一個匹配到的字串符


        } else {


            return ""; // 沒有匹配到時返回空字符串


        }


    }


}






// 函數示例


// 根據正則表達式截取字串符示例


// 入參：inputString，輸入的字符串


//       regex，正則表達式


// 出參：substring，匹配到的字串符


// 調用示例：


// String inputString = "Hello, World!";


// String regex = "W\\w+";


// String substring = RegexString.substringByRegex(inputString, regex);


// System.out.println(substring);


// 輸出結果：例如，根據正則表達式"W\\w+"截取字串符后，得到的結果為："World"


// 則輸出結果為："World"


```


// 溫馨提示：以上代碼由 FuncGPT 生成，編譯打包請使用 RegexString.java 文件。

這段Java代碼通過substringByRegex函數，實現了根據提供的正則表達式從輸入的字符串中截取子字符串。具體來說：

1.首先，導入了java.util.regex.Matcher和java.util.regex.Pattern這兩個類，它們是Java中處理正則表達式的工具類。

2.定義了一個名為RegexString的公共類。

3.在RegexString類中定義了一個靜態方法substringByRegex，該方法接受兩個參數：inputString（輸入的字符串）和regex（正則表達式）。

4.在substringByRegex方法中，首先使用Pattern.compile方法創建了一個正則表達式模式對象pattern，該對象由輸入的正則表達式字符串regex編譯而來。

5.然后，使用pattern對象的matcher方法創建了一個匹配器對象matcher，該匹配器用于在輸入的字符串inputString中查找與正則表達式匹配的部分。

6.使用matcher對象的find方法在輸入字符串中查找匹配正則表達式的子字符串。如果找到匹配的子字符串，find方法將返回true，否則返回false。

7.如果find方法返回true（即找到了匹配的子字符串），則使用matcher對象的group方法獲取第一個匹配的子字符串，并返回該子字符串。

8.如果find方法返回false（即沒有找到匹配的子字符串），則返回一個空字符串。

9.最后，提供了一個示例說明如何使用這個函數。示例中，輸入的字符串是"Hello, World!"，正則表達式是"W\w+"。這個正則表達式將匹配以"W"開始，后面跟著一個或多個字母或數字的子字符串。因此，在這個示例中，"World"是唯一匹配的子字符串，并被返回和打印出來。

使用 FuncGPT（慧函數），用戶不僅可以通過自然語言描述Java函數需求，即時獲取解決方案，而且生成的Java函數代碼質量高且易讀，以下是文心一言對于上述代碼的評價，便很好的印證了這一點。

FuncGPT（慧函數）生成的代碼可直接復制到 IDEA中，或者一鍵導入到Java全自動開發工具函數庫中，為函數開發工作提供了巨大的便利。

此外，開發者可以在實現快速開發和提升效率的同時，更專注在技術設計層面，因為FuncGPT（慧函數）生成的代碼有清晰的注釋和解構，給開發者提供了“解題思路”，快速了解代碼邏輯和功能設計，從而實現能力邊界的突破。

在線咨詢

上一篇：HTML <html> 標簽
下一篇：自然拼讀從頭學：Lesson1 ABC字母發音

您的項目需求

*請認真填寫需求信息，我們會在24小時內與您取得聯系。

整合營銷服務商