robots.txt 是搜索引擎爬虫访问网站时读取的第一个文件，用于指导爬虫哪些页面可以抓取，哪些页面应该忽略。在 WordPress 中，默认的 robots.txt 文件可能不够完善，你可以根据需求自定义。

默认的 WordPress robots.txt

WordPress 会自动生成一个简单的 robots.txt 文件，内容通常如下：

复制 
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

  • User-agent: *：适用于所有搜索引擎爬虫。

  • Disallow: /wp-admin/：禁止爬虫访问 WordPress 后台目录。

  • Allow: /wp-admin/admin-ajax.php：允许爬虫访问 Ajax 请求文件。

自定义 robots.txt 文件

你可以根据需求优化 robots.txt 文件。以下是一个推荐的配置：

1. 禁止爬虫访问敏感目录

plaintext
复制 
User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/themes/
Disallow: /wp-content/uploads/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /feed/
Disallow: /trackback/
Disallow: /comments/feed/
Disallow: /?s=*

  • 禁止爬虫访问 WordPress 核心文件、插件、主题、上传目录等。

  • 禁止爬虫访问登录页面、注册页面、XML-RPC 文件等。

  • 禁止爬虫访问搜索结果页面（/?s=*）。

2. 允许爬虫访问必要文件

plaintext
复制 
Allow: /wp-content/uploads/
Allow: /wp-content/themes/your-theme-name/assets/

  • 允许爬虫访问上传的文件（如图片、文档等）。

  • 允许爬虫访问主题的静态资源（如 CSS、JS 文件）。

3. 设置网站地图（Sitemap）

在 robots.txt 中添加网站地图的链接，帮助搜索引擎更好地索引你的网站：

plaintext
复制 
Sitemap: https://www.yourwebsite.com/sitemap_index.xml

  • 将 https://www.yourwebsite.com/sitemap_index.xml 替换为你的实际网站地图 URL。

4. 针对特定搜索引擎的规则

如果你希望针对某些搜索引擎设置特殊规则，可以单独指定：

plaintext
复制 
User-agent: Googlebot
Disallow: /private-page/

User-agent: Bingbot
Disallow: /another-private-page/

如何创建或编辑 robots.txt 文件

方法 1：通过 FTP 或文件管理器

  1. 登录你的服务器（通过 FTP 或主机控制面板）。

  2. 找到 WordPress 安装目录。

  3. 在根目录下创建或编辑 robots.txt 文件。

  4. 将上述内容粘贴到文件中并保存。

方法 2：通过插件

如果你不想手动编辑文件，可以使用插件：

  1. 安装并激活插件（如 Yoast SEO 或 Rank Math）。

  2. 在插件设置中找到 robots.txt 编辑器。

  3. 根据需要修改内容并保存。

方法 3：通过 WordPress 后台（适用于支持自定义的插件）

如果你使用 SEO 插件（如 Yoast SEO），可以直接在 WordPress 后台编辑：

  1. 进入 SEO > 工具 > 文件编辑器。

  2. 编辑 robots.txt 文件并保存。

注意事项

  1. 测试 robots.txt 文件：

  2. 避免过度限制：

    • 不要禁止爬虫访问重要页面，否则会影响搜索引擎索引。

  3. 定期更新：

    • 如果网站结构发生变化，记得更新 robots.txt 文件。

示例 robots.txt 文件

以下是一个完整的示例：

plaintext
复制 
User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/themes/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /feed/
Disallow: /trackback/
Disallow: /comments/feed/
Disallow: /?s=*

Allow: /wp-content/uploads/
Allow: /wp-content/themes/your-theme-name/assets/

Sitemap: https://www.yourwebsite.com/sitemap_index.xml

通过合理配置 robots.txt 文件，可以有效提升 WordPress 网站的 SEO 表现和安全性！