熱點聚集
本篇文章1197字，閱讀大概需要2分鐘
1.Robots是一個協議，搜索引擎可以不遵守該協議；Robots需要一定生效時間。
2.為什么要寫robots?有些頁面影響網站的相關性，浪費網站的資源。
3.怎么寫robots?
User-agent: 定義搜索引擎的類型
Disallow: 定義禁止搜索引擎收錄的地址
Allow: 定義允許搜索引擎收錄的地址 例：User-agent: *（中間有空格） 屏蔽的應該是內頁而不是目錄頁。該協議默認實現后，蜘蛛爬網站的其他頁面。
4 應該屏蔽掉的頁面:
(1)垃圾頁面
( 2) 沒有價值的頁面
(3)你想屏蔽不想讓搜索抓取的頁面.
例如: Disallow: /A Allow: /A/1 A:表示目錄 1:表示頁面
注:robots 是先充許后執行屏蔽的.而不論充許是放在前或后面
5 動態頁面的屏蔽
例如: 要屏蔽下列鏈接
www.wins8899.com/forum.php?kjsnfn=modcp&action=member&op=ban
www.wins8899.com/forum.php?msdffs=modcp&action=member&op=ban
www.wins8899.com/forum.php?rtytry=modcp&action=member&op=ban
www.wins8899.com/forum.php?srfsrrre=modcp&action=member&op=ban
格式為: Disallow: /forum.php?*
注: Disallow: /*?* 屏蔽所有動態頁面
$:表示結束符 例如:Disallow: /forum.php$
注:$結束符一般用于jpg圖片和文件夾 例如: A 1.jpg 2. txt
此格式 Disallow: /A/*.jpg$ 表示屏蔽到a文件夾下所以的jpg圖片
6 robots 的作用
一 .可以屏蔽到網站的死鏈接
屏蔽網站的死鏈接。大量死鏈接影響用戶體驗，對蜘蛛來說浪費搜索引擎資源。大量的死鏈接會導至網站的降權.
二 . 重復頁面和無內容頁面
比如:注冊頁面,每個用戶注冊時內容是一樣的,但路徑不一樣.這樣的頁面就稱為重復頁面和無內容頁面
三. 多路徑下的同一頁面 比如: 一個動態的網站,訪問時出現一個動態路徑,但如果又同時偽靜態,那偽靜態的網址與動態路徑是一樣的
那么用robots 操作時可以屏蔽掉不參于排名的那個路徑. 一般是屏蔽掉路徑長的那種
四 . 不要給一個頁面多個入口
7 寫robots 時要注意的事項
一 .要加 / 例如: Disallow: /A
二 .不要屏蔽掉目錄 如果屏蔽到目錄會導致權重流失.
