robots txt怎么写才规范？老站长分享实用避坑技巧！

发布日期： 2025-07-03 阅读量： 作者： admin

大家今天想跟大家唠唠我是怎么搞明白并且自己动手写那个 `*` 文件的。一开始我对这玩意儿也不熟，就是后来发现自己网站有些不想让搜索引擎抓的东西老是被抓，或者有些后台目录啥的出现在搜索结果里，感觉不太就想着得研究研究。

摸索阶段

我头一件事就是去翻翻资料，大概知道有个叫 `*` 的东西，说是能跟搜索引擎的蜘蛛（就是那些抓取网页的小程序）打个招呼，告诉它们哪些地方可以看，哪些地方别去。听起来挺玄乎，但好像又挺基础的。

然后我就去自己网站的根目录下面找，看看有没有这个文件。网站根目录，简单说就是你放网站首页文件（比如 `*` 或 `*`）的那个地方。结果发现，还真没有！有些网站可能有，有些可能就是空的。我这情况是没有，那就得自己创建一个。

创建这玩意儿比我想象的简单。我就在自己电脑上打开最普通的记事本程序（不是写文档的那种复杂软件，就是能存纯文本的）。

我就开始琢磨里面该写点网上查查，发现最基本的格式就是：

User-agent: 这个是指定给哪个搜索引擎看的规则。要是想对所有搜索引擎都生效，就写个星号 ``，像这样：`User-agent: `。
Disallow: 这个就是告诉搜索引擎，哪个目录或者文件不让抓。比如，我不想让它们抓我网站后台管理的东西，可能就会写：`Disallow: /admin/` （注意，这只是个例子，具体路径得看你自己网站的结构）。每一条不让抓的规则就单独写一行 `Disallow:`。
Allow: 这个跟 `Disallow` 相反，是明确说允许抓取。有时候你可能先禁止一个大目录，但又想开放里面的某个子目录或文件，就会用到 `Allow`。

还有个小技巧，就是可以用 `#` 号来写注释，方便以后自己看明白当时为啥这么写。比如：`# 禁止抓取后台目录`。

结合我自己网站的情况，我琢磨着写下面几条基本规则：

对所有搜索引擎生效：

User-agent:

然后，我不希望后台管理页面被抓到，所以加条：

Disallow: /wp-admin/ (因为我用的是WordPress，后台路径是这个，你要根据自己的情况改)

我还加些其他的，比如一些临时的或者没啥用的目录：

Disallow: /tmp/
Disallow: /backup/

我还看到有人说，网站内部的搜索结果页面最好也禁止掉，免得产生好多重复内容，影响搜索引擎对网站的评价。所以我也可能加上类似这样的规则：

Disallow: /search? （这个写法是禁止所有带 `search?` 的网址，具体看你网站搜索结果页的网址格式）

基本上就是这样一行一行写下来。写完之后，最关键的一步来：保存文件。

文件创建好，下一步就是把它放到网站上正确的位置。我用的是 FTP 工具（你也可以用主机控制面板里的文件管理器），连接到我的网站空间，然后把这个 `*` 文件上传到网站的根目录下。再次强调，一定是根目录，跟你的首页文件放在同一个地方，否则搜索引擎找不到它，之前写的就都白费。

上传完，心里还是有点没底，不知道写对没有，有没有生效。我主要是通过两个方法来检查：

直接访问： 在浏览器里输入 `你的域名/*`，看看能不能正常访问到你刚才上传的文件，内容对不对。
利用站长工具： 像百度资源平台、Google Search Console 这些站长工具里，一般都有 `*` 检测的功能。你可以把你的文件内容提交上去，或者直接让它抓取你网站上的文件，它会告诉你语法有没有错误，规则是不是生效。我当时就用这个，挺方便的，能看到哪些网址被屏蔽。

经过这么一番折腾，总算是把 `*` 给弄明白，也成功让自己网站的蜘蛛访问规则清晰起来。虽然看起来是很小的一个文件，但感觉对网站管理和优化还是挺有用的。至少，那些不想被公开的后台地址啥的，能更好地藏起来。

这就是我搞定 `*` 的整个过程，希望能给同样在摸索的朋友一点参考。不难，动手试试就知道。