如何禁止搜索引擎收录 EMLOG 站点

标签：文件 抓取 robots 搜索引擎 站点 EMLOG txt

禁止搜索引擎收录你的站点可以通过修改 robots.txt 文件来实现。robots.txt 文件是用于告知搜索引擎哪些页面可以抓取、哪些页面不可以抓取的标准协议。以下是详细的步骤：

1. 创建或编辑 robots.txt 文件

1. 找到或创建 robots.txt 文件：

   • 使用 FTP 客户端或服务器管理面板（如宝塔面板）访问 EMLOG 站点的根目录。
   • 如果根目录下已经存在 robots.txt 文件，直接编辑该文件；如果不存在，创建一个新的 robots.txt 文件。

2. 编辑 robots.txt 文件：

   • 打开 robots.txt 文件，删除所有内容，然后添加以下内容：

     plaintext   User-agent: * Disallow: /

   • 这段代码的意思是：禁止所有搜索引擎抓取站点的所有页面。

2. 上传或保存 robots.txt 文件

1. 保存文件：

   • 如果你是在本地编辑 robots.txt 文件，确保文件名正确（不带任何扩展名，仅 robots.txt）。
   • 保存文件后，上传到 EMLOG 站点的根目录。

2. 检查文件权限：

   • 确保 robots.txt 文件具有适当的读取权限（通常是 644）。
   • 使用命令行设置权限（可选）： bash   sudo chmod 644 /path/to/emlog/robots.txt

3. 验证 robots.txt 文件是否生效

1. 访问 robots.txt 文件：

   • 打开浏览器，访问 http://你的域名/robots.txt，确保文件内容正确显示： plaintext   User-agent: * Disallow: /

2. 使用搜索引擎工具验证：

   • Google Search Console：
   • 百度站长平台：

3. 检查搜索引擎抓取情况：

   • 等待一段时间（通常需要几个小时到几天），检查搜索引擎是否停止抓取你的站点。
   • 在 Google Search Console 和百度站长平台中查看抓取记录，确认没有新的抓取请求。

4. 注意事项

• 备份文件：在进行任何修改之前，建议先备份原始的 robots.txt 文件，以防出现问题时可以快速恢复。
• 逐步排查：按照上述步骤逐步操作，每次操作后测试是否成功禁止搜索引擎收录。
• 缓存问题：搜索引擎可能会缓存 robots.txt 文件，因此可能需要等待一段时间才能看到效果。
• 其他搜索引擎：虽然大多数主流搜索引擎（如 Google 和百度）都会遵守 robots.txt 协议，但无法保证所有搜索引擎都遵守。

标签：文件,抓取,robots,搜索引擎,站点,EMLOG,txt
From： https://www.cnblogs.com/hwrex/p/18651282