robots靜止抓取后,還會不會被收錄?

優化技術 浪哥SEO 2020-05-20 21:01 142 0

robots是網站跟爬蟲間的協議,用來設置搜索引擎爬蟲抓取網站的權限。robots在SEO優化中顯得不足為道,但它的作用還是很大的。要是robots靜止抓取后,還會不會被搜索引擎收錄?下面是浪哥seo最近上線的一個網站,robots靜止抓取后,百度任然收錄了網站。

robots靜止抓取后,百度任然收錄了網站

上次已經寫過關于龍門飛魚這個項目的事情,官網經過一段時間優化后,很多問題都得以解決。上圖的這個網站,是我另外做的一個站,用來嘗試其他優化方式。網站的上線時間是2020年4月27日, 上線后遲遲不收錄,放哪兒也沒有管它,等看到上圖的結果時,才發現自己大意了。

robots靜止抓取

其實,robots.txt文件只是靜止抓取,但主域名還是能被訪問到,這種情況我已經見過很多。所以,平時在使用rotots.txt和noflow這些功能時,并沒有我們想象那樣,蜘蛛改訪問的還是會訪問。當然,在網站上線時,大家一定要進行一下抓取診斷,就向下圖這樣,防止抓取失敗導致不收錄

抓取診斷

一些人在操作多站點時,為了避免重復收錄,會使robots來靜止抓取,反正我測試的結果并不滿意,后面也就沒有使用這樣的方法了。

4.jpg

評論區
浪哥SEO

分享實戰SEO營銷技術,巧用算法、超控流量、玩轉運營。可提供關鍵詞排名優化服務,專屬SEO推廣顧問,首創按詢盤付費,助您企業成功上市,QQ273993783。

34pp影视神马午夜s