标签： 制作robots文件

很多站长在网站后期优化过程中，会涉及到robots协议。robots恰恰又是优化过程中不可或缺的操作。robots是一个协议，这个协议告诉各搜索引擎网站哪些页面可以抓取，哪些页面是禁止抓取，以robots.txt文本形式存放在网站根目录中。