備指紋是一種用于識別和追蹤設(shè)備的技術(shù)。它通過收集設(shè)備的獨特特征和屬性,如操作系統(tǒng)版本、瀏覽器類型、屏幕分辨率、語言設(shè)置、硬件配置等,生成一個唯一的設(shè)備標(biāo)識符。
設(shè)備指紋技術(shù)可以用于多種用途,其中一個常見的應(yīng)用是在網(wǎng)絡(luò)安全和反欺詐領(lǐng)域。通過對設(shè)備指紋進行分析和比對,可以識別出惡意行為、欺詐活動和重復(fù)注冊等問題,并采取相應(yīng)的措施,如封禁賬戶、限制訪問等。
設(shè)備指紋的收集可以通過多種方式進行,以下是一些常見的收集方法:
1. 瀏覽器指紋:網(wǎng)站可以通過JavaScript代碼獲取瀏覽器的各種屬性和配置信息,如User-Agent字符串、瀏覽器類型、操作系統(tǒng)、插件、字體、時區(qū)等。
2. IP地址:每個設(shè)備在互聯(lián)網(wǎng)上都有一個唯一的IP地址,可以使用IP地址來判斷設(shè)備的地理位置和網(wǎng)絡(luò)提供商等信息。
3. 設(shè)備屬性:通過檢測設(shè)備的硬件屬性,如屏幕分辨率、設(shè)備型號、操作系統(tǒng)版本、語言設(shè)置、時區(qū)等,可以生成設(shè)備的指紋。
4. Cookie和本地存儲:網(wǎng)站可以使用Cookie和本地存儲來存儲一些設(shè)備標(biāo)識符,以便在后續(xù)訪問中進行識別和匹配。
5. HTTP頭信息:通過分析設(shè)備發(fā)送的HTTP請求頭信息,可以獲取一些設(shè)備屬性和特征,如Referer、Accept-Language、Accept-Encoding等。
6. 加速器和代理服務(wù)器:某些代理服務(wù)器和加速器會在請求中添加特定的HTTP頭信息,這些信息可以用于設(shè)備指紋的分析和識別。
需要注意的是,設(shè)備指紋的收集通常是無感知的,用戶在訪問網(wǎng)站時并不需要主動提供任何信息。同時,合法的數(shù)據(jù)收集應(yīng)該遵循隱私保護原則,如遵循相關(guān)隱私政策、匿名化處理和數(shù)據(jù)安全等。
如果您要掩蓋設(shè)備指紋,以下幾種方法可能會對你有幫助:
1. 使用匿名瀏覽器或隱私模式:匿名瀏覽器或隱私模式可以更好地保護你的隱私,因為它們通常會限制網(wǎng)站對瀏覽器屬性和配置的訪問。
2. 禁用或限制瀏覽器插件:一些瀏覽器插件可能會提供額外的信息給網(wǎng)站,禁用或限制插件可以降低設(shè)備指紋的唯一性。
3. 使用代理服務(wù)器或虛擬指紋瀏覽器:代理服務(wù)器或指紋瀏覽器可隱藏你的真實IP地址和網(wǎng)絡(luò)提供商信息,并改變你的虛擬位置,從而增加設(shè)備指紋的混淆度。
4. 定期清除Cookies和本地存儲:清除瀏覽器的Cookies和本地存儲可以減少網(wǎng)站對你的設(shè)備進行跟蹤和識別的可能性。
5. 定期更換用戶代理字符串(User-Agent):用戶代理字符串是瀏覽器發(fā)送給服務(wù)器的一部分信息,定期更換用戶代理字符串可以增加設(shè)備指紋的多樣性。
6. 使用隱私增強瀏覽器擴展:一些瀏覽器擴展可以幫助你降低設(shè)備指紋的唯一性,如隨機化用戶代理、禁用指紋收集腳本等。
MuLogin防關(guān)聯(lián)瀏覽器可以創(chuàng)建多個唯一指紋瀏覽器,每個瀏覽器指紋環(huán)境、cookies、本地存儲和其他緩存文件將被完全隔離,瀏覽器配置文件之間無法相互泄漏信息,以達到多賬號安全登錄不被關(guān)聯(lián)。
任何具有重復(fù)性的工作都可以在MuLogin中通過自動化完成。而且您可以通過一系列Local API或者Selenium、Puppeteer等工具庫來實現(xiàn)MuLogin的自動化功能。
在MuLogin防關(guān)聯(lián)瀏覽器中,主賬號可以管理多個子賬戶,每個子賬戶都是獨立操作。用戶可以通過分享或轉(zhuǎn)移配置文件功能輕松掌控團隊成員接觸瀏覽器配置文件的權(quán)限。您可以讓第一位管理員創(chuàng)建賬戶,然后輕松地將這些瀏覽器配置文件分享給員工,或轉(zhuǎn)移給您的客戶使用,數(shù)據(jù)實時同步云端,所有的操作可以在同一個環(huán)境中完成,避免了任何風(fēng)險和麻煩,有效提升工作效率!
絡(luò)上的爬蟲日益猖獗,瘋狂地采集網(wǎng)站上的內(nèi)容,不僅沒有帶來一絲好處,反而導(dǎo)致內(nèi)容的流失、增大服務(wù)器的壓力。
在眾多的訪問者中識別出網(wǎng)絡(luò)爬蟲并限制其訪問一直是各個網(wǎng)站運營者所關(guān)心和頭疼的事情。
州的先生一直以來持有的觀點就是,網(wǎng)絡(luò)爬蟲的反爬與反反爬,會像網(wǎng)絡(luò)安全的黑客攻防一樣,在你強化一步,我突破一步的節(jié)奏中不斷升級和完善。 沒有哪一個反爬手段是一勞永逸的,也沒有哪一個反反爬技術(shù)可以一招鮮吃遍天。
在現(xiàn)行的網(wǎng)絡(luò)爬蟲檢測技術(shù)中,主要有以下兩大類:
行為檢測是通過分析網(wǎng)頁上用戶的操作(鼠標(biāo)的移動、點擊、滾動行為和瀏覽行為)來判斷操作者是否是機器控制的網(wǎng)絡(luò)爬蟲。
而指紋識別則是通過分析設(shè)備和瀏覽器的信息來判斷訪問者是否為網(wǎng)絡(luò)爬蟲。
行為檢測要是深入展開來談可以說上幾天幾夜,在此不表。
本文,主要介紹指紋識別的檢測。
每一臺電腦、每一個操作系統(tǒng)、每一個瀏覽器,都有屬于它自己的設(shè)備信息。比如電腦的CPU數(shù)量、顯卡型號、操作系統(tǒng)的位數(shù)、瀏覽器的版本等。
將這些設(shè)備信息加以組合,就可以作為請求者的指紋來進行識別。比如,一個Windows的瀏覽器,顯示的卻是Linux的操作系統(tǒng),沒問題就有鬼了。
再比如,用 Python 的小伙伴很喜歡使用的 Selenium,其會在瀏覽器中帶上 webdriver 的標(biāo)記,而這個標(biāo)記,是正常的瀏覽器所沒有的。
在 Github 上,有大神開源了一套瀏覽器指紋收集和識別的項目—— fp-collect 和 fpscanner 。
通過 fp-collect ,我們可以收集獲取到當(dāng)前訪問者的瀏覽器指紋;通過 fpscanner ,我們可以判斷瀏覽器的某一項指紋是否可疑。
fp-collect 是一個 JavaScript 文件,放置在網(wǎng)頁中加載,當(dāng)訪問者訪問網(wǎng)頁時,就可以獲取到瀏覽器的指紋信息。
在此舉一小例來演示:
例如,我們創(chuàng)建一個如下所示的HTML頁面:
<html>
<script src="./fpCollect.min.js"></script>
<script>
fpCollect.generateFingerprint().then((fingerprint)=> {
console.log(fingerprint)
});
</script>
</html>
當(dāng)我們訪問這個網(wǎng)頁時,在控制臺就可以看到我們的瀏覽器指紋。
下面我們分別用正常的瀏覽器和 Selenium 驅(qū)動的 Chrome 訪問上述HTML頁面:
from selenium import webdriver
driver=webdriver.Chrome(executable_path=r"E:\driver\chromedriver.exe")
driver.get("file:///F:/fp-collect/fp-collect.html")
最終對比兩個瀏覽器的控制臺輸出的值,可以清晰地看到,Selenium 驅(qū)動的 Chrome 瀏覽器被識別出使用了 webdriver:
在此我們還沒有使用 fpscanner 對瀏覽器的其他指紋進行識別。
fpscanner 會對傳入的瀏覽器指紋項進行識別和判斷,最終給出三個結(jié)果:
fpscanner 的使用在此就不做演示,有興趣的小伙伴可以自行試驗一下。
如同文章開頭所說的,爬蟲攻防是一個持續(xù)性相互較量的過程,爬蟲當(dāng)然不會白白的把自己的真實指紋暴露出來。
在 Selenium 中 通過 execute_cdp_cmd() 方法,也能夠?qū)?webdriver 標(biāo)記給去除掉。
雖然指紋識別有被攻破和繞過的可能,但是指紋識別相較于行為檢測,可以比較快速地對訪問者做出識別和判斷,將那些看了幾篇教程就擼起袖子一通亂干的爬蟲死死地摁在地上。
就像一場戰(zhàn)役的勝利,不僅僅是某一兵種的付出一樣。網(wǎng)站的爬蟲防御,也需要各個環(huán)節(jié)的配合和努力。指紋識別類似于靜態(tài)檢測,而行為識別則是動態(tài)檢測,動靜結(jié)合,方是長久。
當(dāng)然,最長久之計還是: 網(wǎng)站招安了爬蟲,爬蟲收購了網(wǎng)站。
作者:州的先生
出處:https://zmister.com/archives/1604.html
站指紋識別技術(shù)被廣泛應(yīng)用于跟蹤和識別用戶。通過收集和分析用戶設(shè)備的各種唯一特征,網(wǎng)站可以創(chuàng)建用戶的“指紋”,用于識別和追蹤用戶的在線活動。對于普通用戶來說并無大礙,但是對于海外營銷、跨境電商等業(yè)務(wù)來說至關(guān)重要。那么常見檢測信息有哪些、該如何隱藏呢?
一、網(wǎng)站指紋識別的信息:
網(wǎng)站指紋識別是一種通過收集和分析瀏覽器和設(shè)備特征來唯一標(biāo)識用戶的技術(shù)。這些特征包括但不限于:
1.瀏覽器信息:操作系統(tǒng)、瀏覽器、瀏覽器版本、Header、JavaScript、PDF Viewer、Chromium PDF Viewer、WebKit built-in PDF等。
2. IP 地址:IP、WebRTC、網(wǎng)絡(luò)運營提供商等。
3. 地理位置:具體的國家-洲省-城市,以及經(jīng)緯度。
3. 軟件信息:基于IP的時區(qū)(時間)、本地時區(qū)(時間)、語言、請求頭語言、字體、字體列表、Javascript、Flash插件、Cookie等。
4. 硬件信息:Canvas、WebGL、WebGL Report、渲染、Audio、Client Rects、WebGPU Report、屏幕分辨率、顏色深度、可用屏幕尺寸、設(shè)備內(nèi)存、媒體設(shè)備等。
通過收集這些信息并結(jié)合算法進行分析,網(wǎng)站可以生成用戶的唯一指紋,用于識別和追蹤用戶的行為。
二、如何隱藏或偽裝瀏覽器指紋信息?
1. 使用隱私瀏覽模式:隱私瀏覽模式可以限制網(wǎng)站對用戶數(shù)據(jù)的追蹤,每次關(guān)閉瀏覽器后會自動清除瀏覽記錄和Cookie信息。
2. 阻止指紋識別腳本:*使用瀏覽器插件如Privacy Badger或uBlock Origin來阻止網(wǎng)站的指紋識別腳本。
3. 定期清除Cookie和瀏覽器緩存: 定期清除瀏覽器的Cookie和緩存數(shù)據(jù),可以減少網(wǎng)站對您的追蹤。
4. 使用代理服務(wù)器結(jié)合指紋瀏覽器: 使用代理服務(wù)器+指紋瀏覽器,可以隱藏用戶的真實IP地址和真實的瀏覽器指紋,增加匿名性。
在MuLogin指紋瀏覽器內(nèi),可以創(chuàng)建多個獨立的指紋瀏覽器。每個指紋瀏覽器都可自定義修改指紋參數(shù)和IP地址,包含以上所有網(wǎng)站會檢測的指紋參數(shù)。這樣每個帳號都有獨一無二的指紋,并能實現(xiàn)瀏覽器環(huán)境隔離。
如果你需要提高互聯(lián)網(wǎng)的匿名性,或者需要在同一臺電腦上同時登錄并管理多個跨境電商平臺/社交媒體/廣告營銷等賬號,MuLogin可為您提供最大的便利。
三、結(jié)語
了解網(wǎng)站指紋識別的原理和常見檢測信息,并采取相應(yīng)的隱私保護措施,可以幫助用戶減少被網(wǎng)站追蹤和識別的可能性,保證業(yè)務(wù)順利開展。
*請認真填寫需求信息,我們會在24小時內(nèi)與您取得聯(lián)系。