泰州網(wǎng)絡(luò )公司剖析搜索引擎蜘蛛工作對SEO的提升
搜索引擎蜘蛛是搜索引擎自身的一個(gè)程序，它的作用是對網(wǎng)站的網(wǎng)頁(yè)進(jìn)行訪(fǎng)問(wèn)，抓取網(wǎng)頁(yè)的文字、圖片等信息，建立一個(gè)數據庫，反饋給搜索引擎，當用戶(hù)搜索的時(shí)候，搜索引擎就會(huì )把收集到的信息過(guò)濾，通過(guò)復雜的排序算法將它認為對用戶(hù)最有用的信息呈現出來(lái)。深入分析網(wǎng)站的SEO表現的時(shí)候，一般我們就會(huì )考慮搜索引擎蜘蛛的抓取質(zhì)量，而其中能夠幫我們優(yōu)化網(wǎng)站可能會(huì )涉及到下面的幾個(gè)蜘蛛抓取相關(guān)的概念：
1.爬取率：既定時(shí)間內網(wǎng)站被蜘蛛獲取的頁(yè)面數量。
2.爬取頻率：搜索引擎多久對網(wǎng)站或單個(gè)網(wǎng)頁(yè)發(fā)起一次新的爬行。
3.爬取深度：一個(gè)蜘蛛從開(kāi)始位置可以點(diǎn)擊到多深。
4.爬取飽和度：唯一頁(yè)面被獲取的數量。
5.爬取優(yōu)先：那些頁(yè)面最常作為蜘蛛的入口。
6.爬取冗余度：網(wǎng)站一般被多少蜘蛛同時(shí)爬取。
7.爬取mapping：蜘蛛爬取路徑還原。
這幾個(gè)概念也是我們可以用來(lái)做數據分析的幾個(gè)方面，那么如何將他們運用到SEO當中去呢?下面我簡(jiǎn)單地談一談泰州網(wǎng)絡(luò )公司的一些具體的想法。
1、分析爬取率驗證模糊經(jīng)驗理論
分析搜索引擎蜘蛛首先會(huì )考慮的一個(gè)參數就是爬取量，一般我們考慮蜘蛛爬取量的單位是以一天為一個(gè)時(shí)間段，那么我們很多時(shí)候考慮的就是一天時(shí)間內的爬取率。當然，你也可以根據自己的需要調整時(shí)間段的限定，如劃分到每個(gè)小時(shí)，來(lái)充分了解各個(gè)時(shí)間段的蜘蛛的抓取情況，然后針對性的做一些調整。其中我覺(jué)得一類(lèi)分析可以給我們帶來(lái)很多的成就感，即對于一些模糊經(jīng)驗理論的驗證。
例如我們經(jīng)常聽(tīng)到這樣一句話(huà)：“做網(wǎng)站內容的時(shí)候要定時(shí)定量的更新，培養搜索引擎蜘蛛的抓取習慣，隨意的改變更新時(shí)間，可能影響蜘蛛對網(wǎng)站內容的抓取”，這句話(huà)到底正確不正確呢?這里就可以運用網(wǎng)站的日志進(jìn)行分析搜索引擎蜘蛛的抓取率來(lái)解釋。具體的操作方法就是對一個(gè)月內每天每個(gè)小時(shí)段的蜘蛛抓取情況進(jìn)行拆分統計(注意數據樣本選取的合理性)，然后對每個(gè)時(shí)間段進(jìn)行分析，對比就可以發(fā)現哪個(gè)時(shí)間段搜索引擎蜘蛛來(lái)的比較勤，再和自己做內容更新的情況進(jìn)行一個(gè)對比就可以很快的得出結論。
2、提高爬取頻率提高提升收錄
搜索引擎蜘蛛的爬取頻率很多時(shí)候是由網(wǎng)站內容質(zhì)量決定的，因為只有網(wǎng)站有更新鮮更好的內容，才能更吸引蜘蛛來(lái)反復抓取，例如很多大型的內容型網(wǎng)站，每天更新大量的內容，這樣就把蜘蛛一直留在了站內，頁(yè)面抓取的頻率自然會(huì )提高。而提升了爬取頻率，對于頁(yè)面中內容和鏈接的更新就會(huì )被搜索引擎蜘蛛更快的抓取到，能夠更充分的收錄網(wǎng)站的頁(yè)面內容信息。
很多朋友都說(shuō)自己的網(wǎng)站快照不更新，或者滯后好幾天，個(gè)人覺(jué)得也是蜘蛛抓取的頻率不夠造成的。要想快照更新快，特別是新站，前期一定要多做內容建設，內容頁(yè)面如果沒(méi)有內容的更新，一般蜘蛛可能不會(huì )抓取收錄，或者抓取了但是不返回數據，當下次用戶(hù)搜索時(shí)候可能就會(huì )調用搜索引擎數據庫中存儲的一些數據。
3、研究蜘蛛爬取習慣并優(yōu)化習慣
至于后面談到搜索引擎蜘蛛的爬取深度，飽和度，優(yōu)先爬取，冗余度以及爬取路徑都是對于蜘蛛爬取習慣和爬取策略的研究，因為自己也沒(méi)有針對性的去實(shí)踐分析，所以只能在理論上談?wù)勛约旱囊恍┫敕ā?/p>
搜索引擎蜘蛛的爬取深度如果不夠深，主要是因為網(wǎng)站在結構布局的時(shí)候沒(méi)有考慮到這蜘蛛是否能夠充分抓取或者是否按照一層一層的抓取，這里就涉及到鏈接入口的布局，也就會(huì )考慮到蜘蛛爬取優(yōu)先的一些入口，很多時(shí)候對一些大的網(wǎng)站做診斷，來(lái)提升其流量和收錄主要的策略布局就是優(yōu)化蜘蛛抓取優(yōu)先的入口，實(shí)現的方法就是采用nofollow標簽屏蔽一些頁(yè)面。還需要分析的可能是爬取的飽和度，因為對于單個(gè)頁(yè)面的爬取太多是在浪費蜘蛛資源，我們如果能夠適當的控制這些資源的分配，那么對于頁(yè)面的抓取和收錄的提升肯定有很大的幫助。
TAG:
|
評論加載中...
|
