怎么識別鏈接詐騙和百度真假蜘蛛?
發(fā)布日期:2019-08-01 09:31 來源:http://www.pohddh.cn 點(diǎn)擊:
之前有剛接觸seo的朋友問我什么是鏈接欺騙?百度蜘蛛又是什么?近期百度蜘蛛都不來了怎么辦,今天就這兩個(gè)話題,河南網(wǎng)站優(yōu)化公司小編和大家詳細(xì)解答一下。
首先是鏈接欺騙的原理。當(dāng)然這里說的鏈接都是指友情鏈接。原理就是你和對方交換友鏈時(shí),看起來當(dāng)時(shí)雙方都有友鏈,但是過了一陣子卻發(fā)現(xiàn)你的友鏈掉了,其實(shí)這就是一種最簡單的鏈接欺騙。還有一種較為隱蔽一點(diǎn)的,就是你在對方網(wǎng)站首頁包括百度快照里面都能看到,用愛站或站長工具也能檢測出來,但是當(dāng)我們?nèi)ズ笈_源碼里面查看的時(shí)候,卻發(fā)現(xiàn)href里面的那部分鏈接的并不是完成的首頁網(wǎng)址,而是比如http://www.bepua.cn/后面加了?php=fdasf類似于這樣的字符串在里面,那樣的話也叫鏈接欺騙。
接下來分析另一個(gè)話題,如何識別虛假百度蜘蛛?
為什么會有虛偽的百度蜘蛛呢?比如咱們用愛站或許ChinaZ來模仿百度或許谷歌蜘蛛剖析網(wǎng)頁,那這種蜘蛛便是假的蜘蛛。還有一種便是經(jīng)過程序來模仿,比如python腳本就可以模仿,那么怎樣辨認(rèn)呢?
第一、查看UA
如果UA都不對,可以直接判斷非百度搜索的蜘蛛,目前對外公布過的UA是:
移動UA:Mozilla/5.0 (Linux;u;Android 4.2.2;zh-cn;) AppleWebKit/534.46 (KHTML,likeGecko) Version/5.1 Mobile Safari/10600.6.3 (compatible; Baiduspider/2.0;+http://www.baidu.com/search/spider.html)
PC UA:Mozilla/5.0 (compatible; Baiduspider/2.0;+http://www.baidu.com/search/spider.html)
新增渲染UA:
移動UA:Mozilla/5.0 (iPhone; CPU iPhone OS 9_1 likeMac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko) Version/9.0 Mobile/13B143Safari/601.1 (compatible; Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)
PC UA:Mozilla/5.0 (compatible;Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)
第二、反查IP
站長可以通過DNS反查IP的方式判斷某只spider是否來自百度搜索引擎。根據(jù)平臺不同驗(yàn)證方法不同,如linux/windows/os三種平臺下的驗(yàn)證方法分別如下:
1)、在linux平臺下,您可以使用host ip命令反解ip來判斷是否來自Baiduspider的抓取。Baiduspider的hostname以 *.baidu.com 或 *.baidu.jp 的格式命名,非 *.baidu.com 或 *.baidu.jp 即為冒充。
2)、在windows平臺或者IBM OS/2平臺下,您可以使用nslookup ip命令反解ip來 判斷是否來自Baiduspider的抓取。打開命令處理器 輸入nslookup xxx.xxx.xxx.xxx(IP地 址)就能解析ip, 來判斷是否來自Baiduspider的抓取,Baiduspider的hostname以*.baidu.com 或*.baidu.jp 的格式命名,非 *.baidu.com 或 *.baidu.jp 即為冒充。
3)、 在mac os平臺下,您可以使用dig 命令反解ip來 判斷是否來自Baiduspider的抓取。打開命令處理器 輸入dig xxx.xxx.xxx.xxx(IP地 址)就能解析ip, 來判斷是否來自Baiduspider的抓取,Baiduspider的hostname以 *.baidu.com 或*.baidu.jp 的格式命名,非 *.baidu.com 或 *.baidu.jp 即為冒充。