前言
WordPress 程序内置了一个 robots.txt 规则,但是这个规则文件在 WordPress 根目录是看不到的,如果想要修改 robots.txt 规则我们可以手动创建个 robots.txt 文本文件上传到 WordPress 根目录。
WordPress 默认的 robots.txt 规则如下:
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://www.otakusay.com/wp-sitemap.xml
WordPress 优化后的 robots.txt 规则如下:
User-agent: *
Allow: /wp-admin/admin-ajax.php
Allow: /wp-content/uploads/
Disallow: /wp-admin/
Disallow: /wp-content/
Disallow: /wp-includes/
Disallow: /trackback/
Disallow: /comments/
Disallow: /attachment/
Disallow: /comments/feed
Disallow: /feed
Disallow: /*/feed
Disallow: /*/comment-page-*
Disallow: /*?replytocom=*
Disallow: /*/trackback
Disallow: /?s=*
Disallow: /*/?s=*\
Disallow: /wp-*.php
Sitemap: https://www.otakusay.com/wp-sitemap.xml
robots.txt 简单的说明:
- Allow 允许索引
- Disallow 禁止索引
- Sitemap 站点地图
后语
注意自行修改 robots.txt 规则结尾的 Sitemap 站点地图的网址,改成你自己的。