怎样利用搜索引擎平台禁止抓取死链接

网站与搜索引擎是密不可分的,在搜索引擎推出站长平台之后,很多站内优化操作均可以通过搜索引擎站长平台进行监测,而且效果直接、明显。比如向搜索引擎提交更新的URL链接,更新网站robots协议等等。本篇主要介绍如何利用站长平台禁止抓取网站的死链接。

网站在运营中,处理不当会出现很多死链接(相关阅读《死链接产生的原因有哪些》),而这些死链接需要及时处理,否则对网站的影响十分明显。通常,在发现网站出现死链接后,需要及时处理。但具体情况还需要分别对待。

比如一个网站只是因为个别页面删除,从而导致网页无法打开,这类情况比较简单,将网站单页面进行删除,再查询是否有内链链接至此页面。如果有则需要将所有链接的页面进行内链取消。反之没有其他链接链入,直接删除。这类死链接数量较少,处理起来比较简单。但如果一个网站出现大量死链接,如伪静态、网站改版等造成的,则需要提交网站改版规则,及robots协议规则。具体步骤如下:

1.整理所有网站死链接

2.打开搜索引擎站长平台

3.点击站长平台网页抓取》死链提交,这里有文件提交与规则提交两种,在文件提交方面,将所有死链接整理成一个txt文件或xml文件,然后上传至网站根目录下;而规则提交也比较简单,如http://cn.bluehost.com/silian/ (表示silian目录下所有链接均被提交。或者 http://cn.bluehost.com/silian? (表示包含silian的所有死链接)。

怎样利用搜索引擎平台禁止抓取死链接
怎样利用搜索引擎平台禁止抓取死链接

 

4.提交robots协议,如伪静态设置后,需要屏蔽原动态链接,在robots协议内添加

Disallow: /?*

这样保证网站所有动态死链接将不会被搜索引擎索引。

此外,值得注意的是,网站改版是最容易生成死链接,因此,在避免出现死链接后被搜索引擎抓取,站长平台提供一个网站改版规则,可以提交相应的规则。能够写出相应的正则表达式可以利用正则表达,方便快捷;如果网站无法用规范的正则表达式,可以提交新旧URL对,直接将所有的新旧链接全部提交上传。

网站改版规则
网站改版规则

相关阅读:网站改版需要注意哪些问题

Add a Comment

您的电子邮箱地址不会被公开。 必填项已用*标注