登录

wordpress博客robots怎么写?

wordpress建站 maolai 1468次浏览 0个评论 扫描二维码

Robots协议,又称为机器人协议,网站用来告知搜索引擎哪些页面可以被抓取,哪些页面不能被抓取的。Robots.txt 文件必须放在网站的根目录。放在子目录的 Robots.txt 文件搜索引擎不能爬取到,所以不会起任何作用。它并不是一个命令,只是一种国际上通行的规范,将网站的一些不能被抓取的文件或者目录,记录在robots.txt中,当搜索引擎的蜘蛛访问这个网站时候,首先就会去访问robots文件,得知不能被抓取目录和文件信息。

如果你的站点对所有搜索引擎公开,则不用做这个文件或者robots.txt为空就行。一般情况下,robots.txt里只写着两个函数:User-agent和 Disallow。

User-agent:* 表示不允许所有的搜索引擎抓取。

User-agent:baiduspider 只允许百度搜索引擎抓取。

User-agent: * Disallow:/ 禁止所有搜索引擎抓取。(Allow表示允许)

比如,如果你不允许所有搜索引擎抓取http://www.xxx.com/archives/385.html 这个页面的。如下这样写即可:(当然,如果搜索引擎不遵守的,加了也没用)

User-agent: *

Disallow: /archives/385.html

如下图是wordpress个人博客robots的写法:

wordpress个人博客robots的写法


本文由maolai编辑整理发布,转载请注明wordpress博客robots怎么写?!如果本文对你有帮助,可打赏博主,鼓励博主继续写作!
喜欢 (0)
[maolai]
分享 (0)
maolai
关于作者:
无折腾,不生活。一个爱折腾,爱分享的90后,欢迎你认识我,我是MAOLAI。
发表我的评论
取消评论
表情 贴图 加粗 删除线 居中 斜体 签到

Hi,您需要填写昵称和邮箱!

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址