eb過濾是一種控制用戶Web訪問的技術(shù)，包括訪問哪些網(wǎng)站、查看哪些內(nèi)容，下載哪些文件等方方面面的Web訪問控制。例如限制用戶訪問賭博類網(wǎng)站、過濾包含非法內(nèi)容的網(wǎng)頁、控制搜索引擎過濾掉不健康的搜索結(jié)果。

Web過濾一方面可以限制訪問工作無關(guān)網(wǎng)站提升企業(yè)工作效率、規(guī)范上網(wǎng)行為；另一方面也是防御Web攻擊的第一道防線，避免因用戶訪問惡意網(wǎng)站或下載惡意文件對網(wǎng)絡(luò)造成威脅。Web過濾是企業(yè)或組織最常用的Web訪問管控措施。

01為什么Web過濾非常重要？

通過瀏覽網(wǎng)頁快速獲取信息已經(jīng)深入你我的工作和生活。但是互聯(lián)網(wǎng)本身是不安全的，網(wǎng)絡(luò)資源在帶給我們便利的同時，也帶給我們前所未有的威脅。威脅包括網(wǎng)絡(luò)安全層面的，也包括隨意使用網(wǎng)絡(luò)對業(yè)務(wù)造成的影響：

• 企業(yè)員工在工作時間隨意訪問社交、視頻等與工作無關(guān)的網(wǎng)站，嚴(yán)重影響工作效率并且占用網(wǎng)絡(luò)帶寬；甚至存在訪問非法網(wǎng)站違反法律的風(fēng)險。
• 學(xué)校、圖書館等公共機(jī)構(gòu)，隨意訪問不健康網(wǎng)站，觸犯法規(guī)。
• 企業(yè)員工無意間訪問惡意網(wǎng)站、釣魚網(wǎng)站，泄露企業(yè)或個人機(jī)密信息，甚至?xí)聿《尽⒛抉R等威脅攻擊。
• 企業(yè)員工上網(wǎng)時隨意發(fā)帖、上傳下載文件，也存在泄露機(jī)密信息、感染病毒的風(fēng)險。

Web過濾是解決以上問題的重要方法，通過限制Web訪問達(dá)到規(guī)范上網(wǎng)行為、降低安全風(fēng)險的目的（效果如下圖）。您可以按網(wǎng)站分類禁止訪問釣魚、社交、視頻類網(wǎng)站；按網(wǎng)頁內(nèi)容關(guān)鍵字禁止查看包含非法關(guān)鍵字的網(wǎng)頁內(nèi)容；甚至可以控制搜索引擎過濾掉不健康的搜索結(jié)果。

02Web過濾如何工作？

Web過濾幫助管理員輕松實現(xiàn)全方位的Web訪問管控，如下圖所示在不同的上網(wǎng)階段，Web過濾提供與之匹配的控制方式。

2.1 安全搜索

用戶通過搜索引擎搜索網(wǎng)頁時，谷歌、YouTube、Bing等搜索引擎自帶安全搜索功能開關(guān)，用于自動過濾包含不健康內(nèi)容的搜索結(jié)果。當(dāng)用戶瀏覽器未開啟安全搜索開關(guān)時，Web過濾可以強(qiáng)制搜索引擎執(zhí)行安全搜索，此功能非常適合學(xué)校、圖書館等公共機(jī)構(gòu)。

2.2 DNS過濾

用戶訪問某個網(wǎng)址的第一步是向DNS服務(wù)器發(fā)起域名解析請求，獲取域名對應(yīng)的IP地址。例如用戶訪問http://example.news.com/entertainment時，域名就是example.news.com。

此階段通過DNS過濾功能過濾域名解析請求中的域名，從而控制用戶訪問整個域名。如果域名被禁止訪問，域名下級的http://example.news.com/entertainment、http://example.news.com/sports等所有網(wǎng)址都無法訪問。

DNS過濾支持2種實現(xiàn)方式：

【1】預(yù)置分類庫過濾

設(shè)備本地或云端維護(hù)一個動態(tài)更新的數(shù)據(jù)庫，數(shù)據(jù)庫包括大量常見域名對應(yīng)的分類。管理員只需指定社交、購物、新聞等域名分類的控制動作，就可以對同一類的域名進(jìn)行統(tǒng)一控制。

【2】黑白名單過濾

管理員手動指定具體域名的控制動作。例如將已知的惡意域名加入黑名單，將公司自建網(wǎng)站域名加入白名單。

2.3 URL過濾

域名解析階段之后是URL請求階段，也就是訪問具體的網(wǎng)頁URL，例如http://example.news.com/entertainment。

此階段通過URL過濾功能過濾URL請求中的URL，從而控制用戶訪問具體的URL。URL過濾比DNS過濾功能更細(xì)化，基于URL細(xì)粒度控制Web訪問。

URL過濾的實現(xiàn)與DNS過濾類似，也是通過URL分類庫、黑白名單兩種方式實現(xiàn)。管理員可以按URL分類（釣魚網(wǎng)站、社交網(wǎng)站等）、特定URL地址輕松控制URL訪問。

2.4 Web內(nèi)容過濾

訪問URL之后進(jìn)入具體網(wǎng)頁顯示階段，用戶開始查看網(wǎng)頁內(nèi)容、提交信息等。

在此階段通過Web內(nèi)容過濾功能控制用戶操作包含非法關(guān)鍵字的內(nèi)容，例如包含“賭博”字眼的內(nèi)容。可以限制的場景如下：

• 禁止瀏覽網(wǎng)頁內(nèi)容包含非法關(guān)鍵字的網(wǎng)頁
• 禁止發(fā)布包含非法關(guān)鍵字的微博/帖子
• 禁止在搜索框中輸入非法關(guān)鍵字
• 禁止提交包含非法關(guān)鍵字內(nèi)容（例如注冊網(wǎng)絡(luò)用戶時提交的申請）

內(nèi)容級控制，對健康上網(wǎng)、避免信息泄露非常有效。除了手工指定關(guān)鍵字，設(shè)備還會預(yù)置一些常用特征碼，例如銀行卡號、身份證ID、手機(jī)號碼，管理員可以直接禁止此類內(nèi)容，避免信息泄露。

2.5 文件過濾

用戶上網(wǎng)經(jīng)常上傳下載文件，不受控的文件傳輸帶來內(nèi)部信息泄露、內(nèi)部網(wǎng)絡(luò)感染病毒等風(fēng)險。例如下載可執(zhí)行文件可能藏匿病毒、上傳涉及內(nèi)部機(jī)密的代碼源文件泄露企業(yè)成果等。

通過文件過濾功能，控制用戶傳輸?shù)奈募愋?/span>，例如禁止傳輸EXE文件、C語言代碼文件。文件過濾可以識別真實文件類型，而不是單純按后綴識別，讓文件無處遁形。

03防火墻中的Web過濾包括哪些功能？

華為防火墻產(chǎn)品提供豐富的、細(xì)粒度的Web過濾特性，助力企業(yè)或組織的Web訪問管控。

這里不再重復(fù)介紹前文提到過的基本功能。除了基本的URL過濾功能，防火墻還提供基于用戶組和時間的URL過濾功能，例如學(xué)校允許老師在任何時刻訪問社交網(wǎng)絡(luò)，只允許學(xué)生在休息時間訪問社交網(wǎng)站；隨著對安全性要求的增強(qiáng)，加密網(wǎng)站越來越普遍，防火墻還提供HTTPS加密流量的Web過濾功能。

04Web過濾不足以防御所有Web攻擊

Web過濾主要通過阻止對已知惡意軟件和釣魚網(wǎng)站的訪問，來減少Web攻擊事件。但是Web過濾不足以防御所有Web攻擊，企業(yè)或組織需要考慮完整的Web安全解決方案防御已知和未知威脅。多種安全功能協(xié)同工作才能有效防御Web攻擊，常用的部署方案如下：

• 部署集成多種安全功能的下一代防火墻，啟用IPS功能檢測木馬、惡意軟件等攻擊，啟用反病毒功能檢測文件病毒。
• 與云端協(xié)同，實時掌握最新威脅信息，防御未知威脅。華為防火墻可以與云沙箱聯(lián)動檢測高級APT（Advanced Persistent Threat）攻擊，檢測結(jié)果反向刷新防火墻本地的惡意URL或惡意文件列表，提升后續(xù)檢測效率。
• 內(nèi)網(wǎng)終端安裝防病毒等安全軟件。

互聯(lián)網(wǎng)時代，獲取和整理大量的文章內(nèi)容是非常必要的。而PHP作為一種強(qiáng)大的編程語言，可以幫助我們高效地采集文章。本文將分享我在使用PHP進(jìn)行文章采集過程中的經(jīng)驗和技巧。

1.確定采集目標(biāo)：

在開始采集之前，我們首先需要明確我們想要采集的文章來源和具體內(nèi)容。可以選擇一些優(yōu)質(zhì)的網(wǎng)站或博客作為目標(biāo)，提前了解其頁面結(jié)構(gòu)和數(shù)據(jù)格式。

2.使用HTTP請求庫：

在PHP中，我們可以使用curl或者Guzzle等HTTP請求庫來發(fā)送請求并獲取網(wǎng)頁內(nèi)容。這些庫可以幫助我們模擬瀏覽器行為，獲取到完整的頁面源碼。

3.解析HTML：

獲取到頁面源碼后，我們需要使用HTML解析庫（如Simple HTML DOM）來解析HTML結(jié)構(gòu)，提取出我們所需的文章標(biāo)題、正文、作者等信息。

4.處理編碼問題：

在進(jìn)行HTML解析時，經(jīng)常會遇到編碼問題。我們需要注意判斷網(wǎng)頁的字符編碼，并進(jìn)行相應(yīng)的處理，以保證獲取到正確的文本內(nèi)容。

5.過濾無用信息：

有些網(wǎng)頁中可能包含一些廣告、導(dǎo)航欄等無用信息。我們可以使用正則表達(dá)式或者CSS選擇器來過濾掉這些干擾項，只保留我們所需的文章內(nèi)容。

6.處理分頁：

如果目標(biāo)網(wǎng)站的文章分頁展示，我們需要處理分頁問題。可以通過分析URL規(guī)律或者使用分頁參數(shù)來獲取多頁的文章內(nèi)容。

7.存儲數(shù)據(jù)：

獲取到文章內(nèi)容后，我們可以選擇將其存儲到數(shù)據(jù)庫中，或者生成JSON、XML等格式的文件進(jìn)行保存。這樣方便后續(xù)的數(shù)據(jù)處理和展示。

8.定時任務(wù)：

如果我們需要定期采集文章，可以使用PHP的定時任務(wù)工具（如cron）來自動執(zhí)行采集程序，保證數(shù)據(jù)的及時更新。

9.異常處理：

在采集過程中，可能會遇到網(wǎng)絡(luò)異常、頁面結(jié)構(gòu)變化等問題。我們需要編寫健壯的代碼，并進(jìn)行適當(dāng)?shù)漠惓Ｌ幚恚源_保程序的穩(wěn)定性和可靠性。

10.合法合規(guī)：

在進(jìn)行文章采集時，要遵守相關(guān)法律法規(guī)和網(wǎng)站的規(guī)定。尊重原創(chuàng)作者的權(quán)益，不侵犯他人的合法權(quán)益。

以上是我在使用PHP進(jìn)行文章采集過程中總結(jié)出的經(jīng)驗和技巧。希望對大家在實際應(yīng)用中有所幫助。通過合理利用PHP的強(qiáng)大功能，我們可以高效地獲取和整理大量的文章內(nèi)容，為自己的工作和學(xué)習(xí)提供有力支持。

好，我是老蓋，首先感謝你對本篇文章的觀看，另外本文有視頻哦，在文章最下方，視頻講述的比較詳細(xì)，看視頻的話可以到文章最下方直接觀看。

瀏覽器過濾廣告方法很簡單，現(xiàn)在的很多瀏覽器都帶安裝插件功能，我們只要安裝一個廣告過濾插件就可以過濾掉屏蔽掉一些廣告，我個人用的是360極速瀏覽器，我就以它作為例子給大家演示一下，如何安裝廣告過濾插件，首先點擊瀏覽器右上角的選項。

出現(xiàn)選項界面的時候，瀏覽器有自帶廣告過濾這個功能，可以點擊一下。

它自帶的有四款廣告過濾插件，我個人自己用的是另外一款，他推薦的這四款沒有，所以我就只能在擴(kuò)展程序里邊去另外搜索。

點擊左下角的擴(kuò)展程序。

在擴(kuò)展程序的頁面下邊有一個獲取更多擴(kuò)展程序點一下。

這個時候就會顯示瀏覽器自帶的所有插件了，我們搜索 adb ，這個廣告過濾插件在全球還是比較有名的。

這個時候搜索結(jié)果就出來了，我這里選擇Adblock Plus，我個人一直用這個廣告插件，一直用了很多年了，效果還是挺好的，直接點安裝就可以了。

瀏覽器會提示是否添加，這里點添加按鈕。

Adblock Plus這個廣告插件安裝完成之后會顯示在右上角一個小按鈕。

我們對著這個Adblock Plus廣告插件點右鍵選項，設(shè)置一下它的選項。

出現(xiàn)選項的頁面一般這個頁面，我們?nèi)∠试S可接受廣告。

然后再點高級頁面。

高級頁面下方有個更新所有過濾列表，這個就是廣告過濾的規(guī)則列表，需要更新一下，如果不更新的話，有的時候可能有些廣告是無法過濾的，這里點擊一下更新，然后這這個廣告過濾插件選項就設(shè)置完成了，我們關(guān)閉這個頁面就可以啦。

到了這時候，這個Adblock Plus廣告過濾插件已經(jīng)安裝完畢了，我們就可以隨便打開瀏覽器，瀏覽各種網(wǎng)站了，大部分的廣告基本上能過濾掉了，這個瀏覽器廣告插件還是比較好用的，能過濾大部分的廣告，你也可以試試哦，挺好用的。

本篇文章的視頻在這里，視頻講的比較詳細(xì)，有興趣的朋友可以看一下。

<script src="https://lf3-cdn-tos.bytescm.com/obj/cdn-static-resource/tt_player/tt.player.js?v=20160723"></script>

感謝觀看本篇文章，希望對你有所幫助，我是老蓋，經(jīng)常會分享IT互聯(lián)網(wǎng)與電腦知識，有興趣的可以關(guān)注一下。