熱點(diǎn)聚集
本篇文章1197字，閱讀大概需要2分鐘
1.Robots是一個(gè)協(xié)議，搜索引擎可以不遵守該協(xié)議；Robots需要一定生效時(shí)間。
2.為什么要寫(xiě)robots?有些頁(yè)面影響網(wǎng)站的相關(guān)性，浪費(fèi)網(wǎng)站的資源。
3.怎么寫(xiě)robots?
User-agent: 定義搜索引擎的類(lèi)型
Disallow: 定義禁止搜索引擎收錄的地址
Allow: 定義允許搜索引擎收錄的地址 例：User-agent: *（中間有空格） 屏蔽的應(yīng)該是內(nèi)頁(yè)而不是目錄頁(yè)。該協(xié)議默認(rèn)實(shí)現(xiàn)后，蜘蛛爬網(wǎng)站的其他頁(yè)面。
4 應(yīng)該屏蔽掉的頁(yè)面:
(1)垃圾頁(yè)面
( 2) 沒(méi)有價(jià)值的頁(yè)面
(3)你想屏蔽不想讓搜索抓取的頁(yè)面.
例如: Disallow: /A Allow: /A/1 A:表示目錄 1:表示頁(yè)面
注:robots 是先充許后執(zhí)行屏蔽的.而不論充許是放在前或后面
5 動(dòng)態(tài)頁(yè)面的屏蔽
例如: 要屏蔽下列鏈接
www.wins8899.com/forum.php?kjsnfn=modcp&action=member&op=ban
www.wins8899.com/forum.php?msdffs=modcp&action=member&op=ban
www.wins8899.com/forum.php?rtytry=modcp&action=member&op=ban
www.wins8899.com/forum.php?srfsrrre=modcp&action=member&op=ban
格式為: Disallow: /forum.php?*
注: Disallow: /*?* 屏蔽所有動(dòng)態(tài)頁(yè)面
$:表示結(jié)束符 例如:Disallow: /forum.php$
注:$結(jié)束符一般用于jpg圖片和文件夾 例如: A 1.jpg 2. txt
此格式 Disallow: /A/*.jpg$ 表示屏蔽到a文件夾下所以的jpg圖片
6 robots 的作用
一 .可以屏蔽到網(wǎng)站的死鏈接
屏蔽網(wǎng)站的死鏈接。大量死鏈接影響用戶(hù)體驗(yàn)，對(duì)蜘蛛來(lái)說(shuō)浪費(fèi)搜索引擎資源。大量的死鏈接會(huì)導(dǎo)至網(wǎng)站的降權(quán).
二 . 重復(fù)頁(yè)面和無(wú)內(nèi)容頁(yè)面
比如:注冊(cè)頁(yè)面,每個(gè)用戶(hù)注冊(cè)時(shí)內(nèi)容是一樣的,但路徑不一樣.這樣的頁(yè)面就稱(chēng)為重復(fù)頁(yè)面和無(wú)內(nèi)容頁(yè)面
三. 多路徑下的同一頁(yè)面 比如: 一個(gè)動(dòng)態(tài)的網(wǎng)站,訪問(wèn)時(shí)出現(xiàn)一個(gè)動(dòng)態(tài)路徑,但如果又同時(shí)偽靜態(tài),那偽靜態(tài)的網(wǎng)址與動(dòng)態(tài)路徑是一樣的
那么用robots 操作時(shí)可以屏蔽掉不參于排名的那個(gè)路徑. 一般是屏蔽掉路徑長(zhǎng)的那種
四 . 不要給一個(gè)頁(yè)面多個(gè)入口
7 寫(xiě)robots 時(shí)要注意的事項(xiàng)
一 .要加 / 例如: Disallow: /A
二 .不要屏蔽掉目錄 如果屏蔽到目錄會(huì)導(dǎo)致權(quán)重流失.
