不懂robots txt文件怎么办？看这篇新手入门指南就够了！

发布日期： 2025-06-25 阅读量： 作者： admin

大家今天跟大家唠唠我前段时间自己动手弄那个 `*` 文件的事儿。也不是啥高深玩意儿，但对我这种喜欢瞎折腾自己网站的人来说，还挺有意思的。

起因是这样的，我那个小破网站，平时也就写点东西记录下生活和工作。但有次我看服务器日志，发现老有些奇奇怪怪的爬虫，啥都想爬，连我后台登录页面、一些测试用的目录都去访问，这就有点烦人。虽然没啥机密，但感觉就像家里老是被人从门缝里偷看一样，不舒服。

我就琢磨着得管管。第一步，我想到的就是这个 `*`。以前听别人说过，这玩意儿就是网站给搜索引擎爬虫立的规矩，告诉它们哪些地方可以看，哪些地方别去。

接着，我就开始动手弄。这东西说白就是个纯文本文件，记住，一定得是纯文本。我当时直接打开电脑自带的记事本，新建一个文档。千万别用 Word 或者其他富文本编辑器，它们会加一些乱七八糟的格式，爬虫不认。

定规矩

文件里面写啥？也简单，就几条指令：

User-agent: 这句是打头的，那个星号 `` 就是说这条规矩对所有爬虫都有效。你要是只想针对某个特定的爬虫，比如谷歌的，可以写成 `User-agent: Googlebot`。但我懒得搞那么复杂，就直接 `` ，一视同仁。
Disallow: 这个就是“禁止”的意思。后面跟上你不希望被爬的路径。比如，我不想让它们爬我网站后台，我就加一行 Disallow: /admin/ （这里假设我的后台路径是 `admin`）。
我还加几条，把我那些临时文件夹、草稿目录啥的都写上，一行一个 Disallow: /temp/ 这样。
有时候可能还需要 Allow: 指令，就是“允许”。比如你禁止整个目录，但想允许里面的某个特定文件被访问，就可以用这个。但我这回没用上，就先让它简单点。

写完这些规则后，最重要的来：保存文件。文件名必须是，全部小写，一个字母都不能错。编码格式最好是 UTF-8，现在大部分编辑器默认也是这个，问题不大。

一步，就是把这个 `*` 文件上传到我网站的根目录。啥是根目录？就是你网站域名直接访问到的那个最顶层目录，通常跟你网站的首页文件（比如 `*` 或 `*`）放在一块儿。我就用 FTP 工具把它传上去，放在网站根目录下。

弄完之后，感觉心里踏实多。虽然说 `*` 不是强制性的，有些不守规矩的爬虫可能不理它，但至少对于像谷歌、百度这些正规的搜索引擎来说，它们是会遵守的。这就好比在家门口挂个“请勿打扰”的牌子，大部分懂礼貌的访客看到就不会硬闯。

过几天，我再去查日志，确实感觉那些乱七八糟的访问少很多。看着清爽多。动手实践一下还是挺有用的，简单几步，就能让自己的网站稍微规矩一点。