Robots.txt是一个存放在网站根目录的纯文本文件（必须小写命名），采用ASCII编码格式。其核心功能是通过声明规则，指导搜索引擎蜘蛛（如Googlebot、Baiduspider）抓取权限范围：

  • 允许访问：开放优质内容抓取，提升SEO收录效率

  • 禁止抓取：保护敏感数据（如后台/admin/、临时文件/tmp/）

  • 资源优化：减少无效页面抓取，节省服务器带宽

基础语法结构

User-agent: [指定搜索引擎名称]
Disallow: [禁止路径]
Allow: [允许路径]
Sitemap: [网站地图地址]

User-agent：指定规则适用的蜘蛛（*表示所有引擎）

路径规则：支持绝对路径（如/admin/）和通配符（*匹配任意字符，$标识结尾）

为typecho配置robots.txt

在网站根目录下新建txt文本，名字为robots.txt（全是小写字母），然后放置下方的代码即可，如果你站没有安装网站地图插件，那sitemap那行可以删掉。

User-agent: *
Disallow: /admin/
Disallow:/install/
sitemap:https://你的域名/sitemap.xml

这里的意思就是，所有搜索引擎禁止爬后台路径以及程序安装路径，并告知网站地图链接。

声明：本站所有文章，如无特殊说明或标注，均为本站原创发布。任何个人或组织，在未征得本站同意时，禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。如若本站内容侵犯了原著者的合法权益，可联系我们进行处理。