丹東百度seo排名優化

資訊分類

產品分類

聯系我們

丹東凱鴻科技有限公司

服務熱線:0415-2162117

企業郵箱:[email protected]

企業QQ:33677002

公司網址:www.qrhale.icu

地     址:丹東市振興區萬達寫字樓B座1314-1315室

如何限制蜘蛛的抓取流量來提升seo效果

您的當前位置: 首 頁 >> SEO資訊 >> 公司資訊

如何限制蜘蛛的抓取流量來提升seo效果

發布日期:2018-08-22 作者: 點擊:

丹東網站建設告訴你如何限制蜘蛛的抓取流量來提升seo效果


1,找出虛假蜘蛛進行IP屏蔽。通過網站日志分析,我們可以知道其實很多所謂的百度spider或谷歌spider其實都是假的,我們可以通過解析出這些虛假蜘蛛的IP進行屏蔽,這樣不僅可以節省流量也可以減少網站被采集的風險。具體操作中需要反查出IP是不是真蜘蛛,操作方法為:點擊左下角的開始-運行-CMD-輸入命令nslookup ip 回車就可以看到結果了。如果是真的搜索蜘蛛都有一個蜘蛛標記,而假的蜘蛛卻沒有標記。


2,屏蔽無效的蜘蛛或對seo效果小的搜索蜘蛛。比如我們知道谷歌蜘蛛是抓取量非常大,但是對于很多行業來說谷歌的流量很低,seo效果并不好,因此可以進行屏蔽谷歌蜘蛛的抓取而節省大量的流量,例如美麗說網站就屏蔽了谷歌蜘蛛的抓取。除了谷歌之外,還有一些蜘蛛比如的盤古搜索、bing蜘蛛等,這些流量都非常低的,或者幾乎沒有太大作用的蜘蛛其實都可以屏蔽掉。


3,用robots限制無效頁面或重復頁面的抓取。有一些頁面可能以前存在但是現在沒有了,或者是存在動態與靜態的URL一起存在,由于存在反向鏈接或數據庫內有這樣的鏈接,蜘蛛仍舊會不時進行抓取,我們可以找出返回404頁面的URL,把這些URL都給屏蔽掉,這樣既提高了抓取屏蔽也減少了流量浪費。


4,限制頁面的抓取內容來提高抓取效率與抓取速度,減少抓取流量。對于任何一個頁面來說,都有很多無效的噪音區,比如一個網站的登錄、注冊部分、底部的版權信息和一些幫助性的鏈接導航等,或一些模板上存在一些無法被蜘蛛識別的展示模塊等,這些我們都可以采用加Noffollow標簽或ajax、JS等方法進行限制或屏蔽抓取,減少抓取量。


5,外部調用或cdn加速來提高蜘蛛的抓取,減少服務器的響應和流量浪費。目前的網站大多采用大量的圖片、視頻等多媒體來展示,而這些圖片缺需要較多的下載流量,如果我們把圖片采用外部調用的方式,那么就可以節省大量的蜘蛛抓取流量。目前比較好的方法有把圖片放在其他的服務器或上傳到一些網盤上都可以。


6,利用站長工具限制或提高蜘蛛的抓取,或者限制蜘蛛抓取的時間。目前百度站長平臺和谷歌站長平臺都有站長抓取的工具,可以用來限制蜘蛛抓取的時間和抓取量,我們可以根據需要進行合理調配,達到不錯的效果。


相關標簽:丹東網站建設

最近瀏覽:

在線客服
分享
歡迎給我們留言
請在此輸入留言內容,我們會盡快與您聯系。
姓名
聯系人
電話
座機/手機號碼
郵箱
郵箱
地址
地址
乐透游戏2