期,各大互聯(lián)網(wǎng)平臺陸續(xù)顯示用戶 IP 屬地,而用戶方則無法選擇開啟或關(guān)閉這一功能。
最先被發(fā)現(xiàn)的,是不少認(rèn)證為“本地資訊博主”和“海外資訊博主”的賬號,IP 屬地與資料地址并不吻合。
一些人支持平臺強(qiáng)制在前臺顯示用戶 IP 屬地,他們認(rèn)為有人會因此收斂,至少無法假裝在某地,假冒他人也多了一個辨別要素,在“偽現(xiàn)場”發(fā)生的新聞也會不攻自破;也有不少質(zhì)疑,認(rèn)為自己現(xiàn)在就相當(dāng)于在大街上裸奔,個人隱私將會被繼續(xù)蠶食。
需要注意的是,用戶和平臺建立連接的基礎(chǔ)就是 IP,收發(fā)雙方的 IP 地址都必須公開的,用戶的 IP 信息都會被平臺服務(wù)器記錄下來。也是為什么即使用戶關(guān)閉設(shè)備的定位,平臺還是能獲知 IP 屬地信息的原因。
圖源:Unsplash
目前,這些平臺公開的是用戶 IP 地址歸屬地,而非 IP 地址,一般只標(biāo)注到省一級范圍。
去年 10 月,“顯示用戶 IP 屬地”已在國家網(wǎng)信辦發(fā)布《互聯(lián)網(wǎng)用戶賬號名稱信息管理規(guī)定(征求意見稿)》中有所體現(xiàn)。其中要求,互聯(lián)網(wǎng)用戶賬號服務(wù)平臺應(yīng)當(dāng)以顯著方式,在互聯(lián)網(wǎng)用戶賬號信息頁面展示賬號 IP 地址屬地信息,境內(nèi)用戶需標(biāo)注到省(區(qū)、市),境外賬號 IP 地址屬地信息需標(biāo)注到國家(地區(qū))。
人們擔(dān)心 IP 會泄露自己的隱私,擔(dān)心有人通過這個信息精準(zhǔn)定位到個人,或者順著它撬動自己更多的信息。
在現(xiàn)實(shí)中,人們用經(jīng)度、緯度標(biāo)記地理位置;在網(wǎng)絡(luò)空間里,人們依靠的是 IP 地址。
這是一個典型的 IPv4 地址,分為四個部分,共八個數(shù)字|Wikipedia
IP 地址,就是 IP 協(xié)議所定義的地址。這里的 IP 協(xié)議,就是 TCP/IP 通信協(xié)議。
上世紀(jì)七八十年代,人們剛開始嘗試網(wǎng)絡(luò)連接時,互聯(lián)網(wǎng)并不像今天,萬維網(wǎng)(WWW)一家獨(dú)大。那時出現(xiàn)了計算機(jī)科學(xué)研究網(wǎng)絡(luò)、ALOHA 網(wǎng)、因時網(wǎng)、阿帕網(wǎng)等不同類型的網(wǎng)絡(luò),彼此之間信息互通成了難題。
于是,有人開始研究計算機(jī)網(wǎng)絡(luò)共同遵守的“語言”。終于在 1978 年,斯坦福大學(xué)的教授 Vint Cerf 和項目經(jīng)理 Rob Kahn,開發(fā)出了 TCP/IP 通信協(xié)議。這下,所有網(wǎng)絡(luò)下的計算機(jī)就都能“對話”了。
TCP/IP 的兩位發(fā)明者|Wikipedia
到了 1983 年,互聯(lián)網(wǎng)前身阿帕網(wǎng)正式運(yùn)行 TCP/IP。
其中,IP 確定了尋址方法、數(shù)據(jù)包的封裝結(jié)構(gòu),最終讓數(shù)據(jù)從源頭主機(jī)傳輸?shù)侥康闹鳈C(jī)。人們經(jīng)常把 IP 地址比作互聯(lián)網(wǎng)中的門牌號,A 在這個屋子,只有在知道 B 的“門牌號”的前提下,才能去“串門”。
這時候,有人把自己的屋子改成了學(xué)校、商店等服務(wù)性場所,他們覺得八位純數(shù)字的 IP 地址(IPv4 版本)不好記,于是發(fā)明了一套“域名系統(tǒng)”——DNS。從此,域名(比如 www.xxx.com)和 IP 地址(比如 192.168.x.x.)互相映射,訪問哪個都能到達(dá)目的地。當(dāng)然,每個人都會選擇更容易記的域名。
可以說,互聯(lián)網(wǎng)本質(zhì)上就是一個 IP 地址對另一個 IP 地址的訪問的總和。在這里,IP 地址是最基礎(chǔ)的單位,每個聯(lián)網(wǎng)的設(shè)備都有。
IP 地址往往是被分配的,某種意義上,用戶并不擁有它。
圖源:Unsplash
具體而言,當(dāng)你使用家中寬帶聯(lián)網(wǎng)時,運(yùn)營商會給這條寬帶分配一個 IP 地址,連接在其上的任何設(shè)備,都同享一個 IP 地址。而當(dāng)你是使用移動信號訪問網(wǎng)絡(luò)時,則由附近的移動基站分配 IP 地址,隨著你的移動,你獲得的基站 IP 也會不斷變化。
此外,還有通過互聯(lián)網(wǎng)數(shù)據(jù)中心(IDC)聯(lián)網(wǎng)的方式,相較移動信號和寬帶,IDC 機(jī)房使用的 IP 號段較為固定。
無論是運(yùn)營商、基站還是數(shù)據(jù)中心,都有真實(shí)存在的地理歸屬,因此其發(fā)放的 IP 地址也如電話區(qū)號一般,標(biāo)示出了這些屬地。如 220.181.22.1 為電信在北京的、210.22.84.3 為聯(lián)通在上海的。這些 IP 地址的屬地,很容易搜索得知。
總結(jié)一下,在現(xiàn)實(shí)里,人們知道了你的門牌號,就可以直接找到你家去,但在網(wǎng)絡(luò)空間里,知道了你的 IP 地址這個“門牌號”,并不一定能找到這臺設(shè)備的具體位置。因?yàn)?IP 是可以移動和變化的。
有一些網(wǎng)絡(luò)使用習(xí)慣會導(dǎo)致 IP 歸屬地的變化,比如很多重視數(shù)據(jù)安全的公司,會要求員工在酒店等非加密網(wǎng)絡(luò)環(huán)境下辦公時,使用“代理”,它相當(dāng)于中途攔截了數(shù)據(jù),讓數(shù)據(jù)的目的地變?yōu)榱硪粋€地址后,再從那個地址傳輸給你。此外,使用公共 Wi-Fi 也可能會導(dǎo)致具體設(shè)備 IP 的隱藏。
人們在網(wǎng)上暴露的信息太多了,現(xiàn)在又多了 IP 屬地這一個。
此次各網(wǎng)絡(luò)平臺公開 IP 屬地,大家的擔(dān)憂之一源于對隱私的侵犯。如一個流行的評論所稱,從 IP 開始,之后是區(qū)域、街道、小區(qū)、樓棟號、門牌號、身份證,人們擔(dān)憂隱私被一步步蠶食。
如果僅看 IP 地址,這個擔(dān)心可能多余。即便知道具體的地址號,查詢時也主要顯示的是國家 / 地區(qū) / 城市、經(jīng)緯度、IP 主機(jī)名稱、互聯(lián)網(wǎng)服務(wù)供應(yīng)商等信息。使用者姓名、準(zhǔn)確地址、電話號碼等可直接定位到個人的信息,僅靠 IP 地址難以獲得。
圖源:Unsplash
北京網(wǎng)絡(luò)行業(yè)協(xié)會法律專業(yè)委員會副主任王琮瑋表示,目前 IP 歸屬地范圍僅顯示到省份或國家,沒有直接指向,也不可能僅憑某省屬的 IP 而關(guān)聯(lián)到特定的個人。
但平臺不僅僅掌握 IP 信息,它們獲得的多種數(shù)據(jù),依舊可以還原一個人的大部分信息。
以某主流平臺為例,其用戶協(xié)定中顯示,其獲取用戶的信息包括用戶身份與鑒權(quán)信息(如自然人身份、賬號、基本資料)、使用過程信息(如位置、聯(lián)系人)及設(shè)備屬性信息。如果用戶使用了特定服務(wù),還會相應(yīng)收集身份證號、面部識別特征、支付賬號等更進(jìn)一步的信息。
此外,個人在該平臺發(fā)布的內(nèi)容、好友關(guān)系、活動痕跡等,也屬于平臺信息采集范圍。
社交平臺通常是前臺匿名,后臺實(shí)名。2015 年開始施行的《互聯(lián)網(wǎng)用戶賬號名稱信息管理規(guī)定》首次提出“網(wǎng)絡(luò)實(shí)名制”,即要求互聯(lián)網(wǎng)信息服務(wù)提供者按照“后臺實(shí)名、前臺自愿”的原則,要求互聯(lián)網(wǎng)信息服務(wù)使用者通過真實(shí)身份信息認(rèn)證后注冊賬號。中國科學(xué)技術(shù)大學(xué)公共事務(wù)學(xué)院教授左曉棟在接受南方都市報采訪時表示:“由于我國實(shí)行網(wǎng)絡(luò)實(shí)名制,每位網(wǎng)民都可能被精確追溯——這也意味著,倘若出現(xiàn)問題,可通過事后行政層面的監(jiān)管手段來采取措施,而無需事前公開地理位置。”
實(shí)際上,除了隱私,人們擔(dān)憂正是屬地信息加上其他信息,會為顯示 IP 屬地增加其他含義。比如助長“地域黑”、經(jīng)由屬地信息預(yù)設(shè)發(fā)言立場等。更何況此次公開 IP 屬地并沒有經(jīng)過用戶同意,可秉承的法律依據(jù)也未正式生效。
圖源:Unsplash
泄露隱私,對個人權(quán)益造成侵犯,從來都是綜合所得。
遼寧昌信律師事務(wù)所楊財廣律師在接受南方都市報采訪時表示,IP 地址公開的信息,屬于個人信息范疇,尚不涉及用戶隱私權(quán)。
在網(wǎng)站論壇時代,人們無需登錄就能發(fā)言,靠 IP 地址互相辨識。之前還有一款基于騰訊 QQ 的第三方輔助軟件——珊瑚蟲,它最大的特點(diǎn)之一就是獲取對方好友的 IP 地址換算成上網(wǎng)區(qū)域。
但在今天,人們在互聯(lián)網(wǎng)上的表達(dá)欲望和發(fā)布量級都不可同日而語。某種意義上,IP 并非是一個能完全獨(dú)立出來的數(shù)據(jù),它往往還和人們的生活信息有著強(qiáng)綁定。
在一些介紹“人肉”的教程中,心懷惡意之人只要用一個抓包工具,再給對方打一個電話,后者的 IP 信息就被“釣魚”了。接著,他們就會用 IP 查詢網(wǎng)站對 IP 進(jìn)行大致的定位,然后再導(dǎo)入經(jīng)緯度解析網(wǎng)站,等等……再到相關(guān)網(wǎng)站查詢受害者注冊過那些平臺,繼續(xù)在各個平臺搜集對方信息。
相比 IP 暴露受害者的真實(shí)方位來說,人們有時分享出來的照片就帶有精確位置信息。因?yàn)樗麄冊谑謾C(jī)拍照時,相機(jī)往往都是默認(rèn)開啟地理位置。
所以,在分享照片時隱藏位置信息,在設(shè)定里關(guān)閉“精確位置”選項,避免不懷好意的人僅從一張照片就得知了你的具體位置。
在 iOS 15 中,圖片分享頁面可取消勾選“所有照片數(shù)據(jù)”|作者提供
另外,在搜索引擎和網(wǎng)絡(luò)平臺上先“人肉”自己,留意自己哪些信息已經(jīng)暴露,嘗試刪去不想暴露的信息;在各個平臺上,可以用不同的用戶名和個人資料,密碼避免都設(shè)置成相同的格式和內(nèi)容。
圖源:Unsplash
最后,提防來源未知的軟件,避免安裝惡意軟件,一旦被入侵,包括個人賬號、密碼、照片、購物記錄、行程記錄等等個人隱私都會被竊取。
黑客們會將泄露的用戶數(shù)據(jù)整合分析、集中歸檔到一起,搭建“社工庫”,用此牟利。查詢和搭建社工庫是國家明令禁止的行為,情節(jié)嚴(yán)重要承擔(dān)刑事責(zé)任。但目前有現(xiàn)象表明,社工庫仍然活躍在互聯(lián)網(wǎng)地下產(chǎn)業(yè)鏈。
參考文獻(xiàn)
[1] https://www.sohu.com/a/532925433_161795
[2] https://mp.weixin.qq.com/s/NXMSM1REPlUraj7aC81b5w
[3] https://www.modb.pro/db/115569
[4] https://www.netspotapp.com/cn/blog/ip-addresses/what-is-my-ip-address.html
[5] https://www.geekpark.net/news/258146
作者:睿悅、biu
編輯:臥蟲
本文來自果殼,未經(jīng)授權(quán)不得轉(zhuǎn)載.
如有需要請聯(lián)系 sns@guokr.com
我們平時寫爬蟲時經(jīng)常會遇到一些情況:本來寫的爬蟲一開始能正常爬取數(shù)據(jù),運(yùn)行一頓時間后有時候會出現(xiàn)錯誤比如403錯誤,網(wǎng)頁上可能會出現(xiàn)“您的IP訪問頻率過高” 或者跳出一個驗(yàn)證碼提示需要輸入驗(yàn)證碼。這就是觸發(fā)了網(wǎng)站的一些反爬機(jī)制,比如限制IP訪問頻率,超過了預(yù)先設(shè)置的范圍,服務(wù)器就會拒絕服務(wù),返回一些錯誤或驗(yàn)證措施,這種情況就叫做IP限制。這時候我們就可以借助一些方法來偽裝IP,讓服務(wù)器無法識別我們的真實(shí)IP。現(xiàn)在引入一個新的概念代理IP。
代理IP,即代理服務(wù)器,確實(shí)在網(wǎng)絡(luò)訪問中起到了一個中轉(zhuǎn)站的作用。當(dāng)個人瀏覽器或其他客戶端設(shè)備發(fā)出網(wǎng)絡(luò)請求時,這個請求會首先被發(fā)送到代理服務(wù)器,然后由代理服務(wù)器轉(zhuǎn)發(fā)給目標(biāo)網(wǎng)站。同樣,目標(biāo)網(wǎng)站的響應(yīng)也會先發(fā)送到代理服務(wù)器,再由代理服務(wù)器轉(zhuǎn)發(fā)給原始的請求者。這樣,對于目標(biāo)網(wǎng)站來說,它實(shí)際檢測到的訪問數(shù)據(jù)都來自于這個代理服務(wù)器,而不是原始的請求者。使用代理ip可以繞過目標(biāo)網(wǎng)站限制,更好的抓取網(wǎng)絡(luò)數(shù)據(jù),可以自定義時間更換ip地址,提高爬蟲效率。需要注意的是,雖然代理IP帶來了很多便利,但使用不當(dāng)也可能帶來一些問題,比如數(shù)據(jù)安全問題、隱私泄露風(fēng)險等。因此,在使用代理IP時,用戶需要選擇可靠的代理服務(wù)提供商,并遵守相關(guān)的法律法規(guī)和道德準(zhǔn)則。
以下程序演示了利用requests如何設(shè)置代理:
import requests
proxies={
"https":"https://221.194.149.8"
}
url='http://www.baidu.com'
resp=requests.get(url,proxies=proxies)
resp.encoding='utf-8'
print(resp.text)
代理池顧名思義,就是好多代理IP組成的一個集合,我們稱之為代理池。我們在做爬蟲時一般對代理IP的需求量比較大,當(dāng)我們請求時,從代理池中取出一個代理進(jìn)行使用。要構(gòu)建代理池,如果不差錢可以直接淘寶購買一些代理IP就可以了,既穩(wěn)定又不是很貴。當(dāng)然要馬兒不吃草,還要馬兒跑的快,我們可以從網(wǎng)上找一些免費(fèi)的代理,通過我們的爬蟲技術(shù)爬取下來也是可以的。無論采用哪種方式構(gòu)建代理池,都需要定期驗(yàn)證代理的有效性,并及時剔除失效的代理。
下面的例子是從國內(nèi)網(wǎng)站免費(fèi)獲取代理IP:
import requests
from bs4 import BeautifulSoup
url="https://www.zdaye.com/free/"
headers={
"User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/112.0.0.0 Safari/537.36"
}
resp=requests.get(url,headers=headers)
bs=BeautifulSoup(resp.text,'html.parser')
res_list=bs.find_all('tr')
ip_list=[]
for res in res_list:
tds=res.find_all('td')
if tds:
ip_list.append({"IP":tds[0].text,"port":tds[1].text})
#循環(huán)顯示獲取到的代理IP
for ip in ip_list:
print(ip)
獲取到代理IP后我們要驗(yàn)證是否可用,方法比較簡單就是連上代理后看2秒左右能不能打開百度網(wǎng)站,如果能打開說明可用,不能打開從代理池中剔除。
import requests
import socket
socket.setdefaulttimeout(2)
proxy='54.223.16.166:3128' #循環(huán)獲取上面獲取的代理IP 和端口
proxies={'http':proxy}
try:
res=requests.get("http://www.baidu.com",proxies=proxies)
if res.status_code==200:
print("當(dāng)前代理IP可使用")
except:
print("當(dāng)前代理IP不可使用")
在實(shí)際項目中,我們可能會獲取到很多的代理IP,這時候我們還是建議將驗(yàn)證過的IP存放到數(shù)據(jù)庫中,如Redis 或其他數(shù)據(jù)庫,每次使用時,我們直接從數(shù)據(jù)庫中取就行了。
P欺騙是利用主機(jī)之間的正常信任關(guān)系,偽造他人的IP地址達(dá)到欺騙某些主機(jī)的目的.IP地址欺騙只適用于那些通過IP地址實(shí)現(xiàn)訪問控制的系統(tǒng).實(shí)施IP偽裝ddos攻擊就能夠有效地隱藏攻擊者的身份.IP地址的盜用行為侵害了網(wǎng)絡(luò)正常用戶的合法權(quán)益,并且給網(wǎng)絡(luò)安全、網(wǎng)絡(luò)正常運(yùn)行帶來了巨大的負(fù)面影響,因此研究IP地址盜用問題,找到有效的防范措施,是當(dāng)前的一個緊迫課題.
虛假的Web看起來十分逼真,它擁有相同的網(wǎng)頁和鏈接。然而攻擊者控制著這個虛假的Web站點(diǎn),這樣受害者的瀏覽器和Web之間的所有網(wǎng)絡(luò)通信就完全被攻擊者截獲。
由于攻擊者可以觀察或者修改任何從受害者到Web服務(wù)器的信息,同樣地,也控制著從Web服務(wù)器發(fā)至受害者的返回數(shù)據(jù),這樣攻擊者就有發(fā)起攻擊的可能性。
攻擊者能夠監(jiān)視被攻擊者的網(wǎng)絡(luò)信息,記錄他們訪問的網(wǎng)頁和內(nèi)容。當(dāng)被攻擊者填完一個表單并發(fā)送后,這些數(shù)據(jù)將被傳送到Web服務(wù)器,Web服務(wù)器將返回必要的信息,但不幸的是,攻擊者完全可以截獲并使用這些信息。
工作原理:(man-in-the-middle)
WEB欺騙能夠成功的關(guān)鍵是在受害者和真實(shí)Web服務(wù)器之間插入攻擊者的Web服務(wù)器,這種攻擊常被稱為“中間人攻擊”
防范措施:1、查看是否正確的URL
2、檢查源代碼,如果發(fā)生URL重定向,就需要詳細(xì)觀察
3、禁用JavaScript、Activex或者其他本地執(zhí)行腳本語言
4、確保應(yīng)用的有效性和,能適當(dāng)跟蹤用戶
5、養(yǎng)成良好的習(xí)慣
6、通過IP數(shù)據(jù)云 - 免費(fèi)IP地址查詢 - 全球IP地址定位平臺判斷IP地址的位置,還有查詢IP地址信息,來判斷是否存在風(fēng)險。
*請認(rèn)真填寫需求信息,我們會在24小時內(nèi)與您取得聯(lián)系。