香港主机网站如何制作robots文件

很多站长在网站后期优化过程中,会涉及到robots协议。robots恰恰又是优化过程中不可或缺的操作。robots是一个协议,这个协议告诉各搜索引擎网站哪些页面可以抓取,哪些页面是禁止抓取,以robots.txt文本形式存放在网站根目录中。

robots非常重要,可以禁止搜索引擎抓取不友好的链接内容,比如死链;也可以屏蔽一些不想被搜索引擎抓取的建站栏目。robots文件可以直接用FTP工具链接网站根目录,或者登录香港主机后台打开网站文件夹,直接上传,而不同的程序也有不同的robots制作方式。

香港主机网站如何制作robots文件
香港主机网站如何制作robots文件

以WordPress程序为例。

WordPress用户群众比较广泛,一方面由于入门基础门槛较低,再一个则是WordPress建站方便快捷,功能插件也是非常多,很大程度上方便了站长的工作。Wordpress制作robots.txt文件比较简单。一般网站存放在香港主机,主机商会提供网站的登录后台及账户密码。(相关阅读《WordPress建站程序适用什么主机》)

打开WordPress网站后台,安装插件“All in One SEO Pack ”,插件包里面有一个robots.txt设置。添加规则选择类型分为两种,即允许和禁止,如果禁止抓取,选择Block,客户端选择为搜索引擎,用*代替是允许或禁止所有搜索引擎抓取。目录路径则为你需要允许或禁止抓取的内容。

制作robots文件
制作robots文件

有些程序语言,没有WordPress这么方便,就需要自己设置robots文件,格式就是通用的文本,再添加需要禁止抓取的内容。

一般通用的robots.txt文件效果为

Sitemap:http://www.xxx.com/sitemap.xml

User-agent: *

Disallow:

值得注意的是,Disallow:后面必须空一格,再填写需要禁止抓取的内容。比如:

禁止所有搜索引擎抓取网站内容:

User-agent: *

Disallow: /

禁止抓取几个栏目:

User-agent: *

Disallow: /cgi-bin/

Disallow: /tmp/

另外有很多网站做过伪静态,以前存在的动态链接包含如“?”这样的连接符,也可以利用robots协议进行设置禁止抓取

User-agent: *

Disallow: /*?*

如果优化过程中,能够很好的利用robots协议,会让网站的优化工作更好的展开。一般来说,在香港主机设置robots协议,方式方法与国内主机大同小异,因此,站长在设置robots协议时,登录香港主机后台上传robots.txt文件到网站根目录即可。

相关阅读:为什么要选择WordPress

Add a Comment

您的电子邮箱地址不会被公开。 必填项已用*标注