爬行是指搜索引擎的蜘蛛在網(wǎng)頁(yè)上找到鏈接前進(jìn)頁(yè)面，然后“爬”搶過去的抓取頁(yè)。蜘蛛發(fā)現(xiàn)新年的頁(yè)面后，如瀏覽器打開網(wǎng)頁(yè)，把HTML代碼存儲(chǔ)在數(shù)據(jù)庫(kù)中。在英文中兩個(gè)概念通常是爬行或蜘蛛（在這里是動(dòng)詞）說，根據(jù)上下文來區(qū)分一下。
顯然，爬行和抓取是交織在一起的。抓取是一個(gè)過程，實(shí)際發(fā)生的我們可以觀察到，在原來的日志，蜘蛛有完整的記錄，如：準(zhǔn)確把握時(shí)間，狀態(tài)代碼，捕獲文件，吸引了更多的文件等。蜘蛛抓取的頁(yè)面和瀏覽器讀取的文件是完全相同的。
而爬行是一個(gè)形象的比喻，實(shí)際上不存在，蜘蛛抓取的文件中找到的鏈接，然后立即跟蹤過去這一過程。存儲(chǔ)在數(shù)據(jù)庫(kù)中的蜘蛛抓取的文件，程序解析文件將存儲(chǔ)在網(wǎng)頁(yè)中鏈接的URL地址存入數(shù)據(jù)庫(kù)，然后蜘蛛從庫(kù)中的地址，根據(jù)一定的規(guī)則選擇的URL捕獲。蜘蛛不是在訪問頁(yè)時(shí)看到一個(gè)RUL就爬上去。
索引指的是各種精加工的URL信息，如去除重復(fù)，分割等，然后把URL信息存儲(chǔ)在數(shù)據(jù)庫(kù)中，稱為索引數(shù)據(jù)庫(kù)。真正的搜索是倒排索引，未來將有機(jī)會(huì)探討。注意，關(guān)于URL信息庫(kù)中的指標(biāo)不僅是關(guān)鍵詞和頁(yè)面的內(nèi)容構(gòu)成特征（位置，格式），和鏈接，更新信息。在英語單詞就是index。
收錄是SEO最關(guān)心的最常用的詞，事實(shí)上，是4個(gè)最模糊的概念。被包含的意思是我們可以找到的網(wǎng)頁(yè)是搜索引擎的索引庫(kù)。但是，稍后我們將看到，在索引庫(kù)的URL不能抓，這和SEO有直覺可能是不一樣的。
當(dāng)然，準(zhǔn)確把握概念對(duì)理解和處理許多SEO問題都有幫助。這里有幾個(gè)例子。
收錄不了的原因是什么？網(wǎng)頁(yè)不收錄是SEO最頭痛的問題，不收錄就沒有排名和流量。太多的人問問網(wǎng)頁(yè)將不收錄在博客論壇，什么原因，也給域名，但問題是沒有答案的，甚至愿意花時(shí)間去診斷不能回答（除非你列出所有可能的原因，等于沒回答），因?yàn)槿绷艘?/span>關(guān)鍵：頁(yè)面抓取了嗎？只檢查原始日志知道，看到網(wǎng)站是看不出來的，檢查流是查不出來的。理解前面的概念就知道了，被抓取不一定被包收錄，不收錄，并不一定意味著是不抓取。
如果頁(yè)面上卻沒有索引和收錄，往往是內(nèi)容有問題（原創(chuàng)？采集？所謂的偽原創(chuàng)？敏感的內(nèi)容或產(chǎn)品？復(fù)制的方向內(nèi)容找到原因？）。網(wǎng)站的結(jié)構(gòu)應(yīng)該沒有太大問題，搜索引擎是在看到了不適合包含的內(nèi)容。如果頁(yè)面沒有被抓取，它應(yīng)該去的網(wǎng)站的鏈接結(jié)構(gòu)，搜索引擎友好的技術(shù)壁壘，域名權(quán)重等去找。
晉城龍鼎網(wǎng)絡(luò)為您解答。
微信聯(lián)系 
進(jìn)入手機(jī)版 
點(diǎn)擊咨詢
18503564624
返回頂部