robots txt 是什么意思？网站管理员必须知道的基础知识

发布日期： 2025-06-24 阅读量： 作者： admin

今天就来唠唠这个 robots txt 文件，这玩意儿挺有意思的，我也是自己折腾一番才搞明白。

我就是觉得我的网站后台老是被一些奇奇怪怪的东西访问，虽然设密码，但看着访问日志里一堆尝试，心里总有点膈应。而且有些测试页面、临时的文件夹啥的，我也不想让搜索引擎给扒拉出去，那多难看。

后来听人说，有个叫 * 的东西，可以跟搜索引擎打个招呼，告诉它们哪些地方别去瞎看。我就寻思，这敢情得研究研究。

开始动手搞

我先是上网随便搜搜，发现这东西说白，就是个纯文本文件。对，没错，就跟咱们平时电脑上用的记事本（txt）文件一个样。这下我就放心，看来不是啥高深玩意儿。

第一步，创建文件。 我就在我自个儿电脑上，右键新建一个文本文档，然后把它名字改成 `*`。注意，这名字是固定的，必须是小写，不能搞错。

第二步，往里写东西。 这步稍微要琢磨下。我解到最基本的两个指令：

User-agent: 这个是指定对哪个搜索引擎生效。要是想对所有搜索引擎都管用，就写个星号，像这样：User-agent: 。我一开始就是这么干的，省事儿。
Disallow: 这个就是告诉搜索引擎，别访问哪个目录或者文件。比如，我不想让它们看我的后台管理目录，假设叫 `admin` ，我就写：Disallow: /admin/。那个斜杠 `/` 很重要，表示从网站根目录开始算。如果啥都不想禁止，就让 Disallow: 后面空着。要是想整个网站都不让访问（一般没人这么干），就写 Disallow: /。

我当时试着写几条，大概是这样：

User-agent:
Disallow: /admin/
Disallow: /tmp/
Disallow: /*

意思就是，所有搜索引擎，都别去 `admin` 目录、`tmp` 目录，也别看那个 `*` 文件。

写好之后，就得把这个 `*` 文件传到我的网站服务器上。关键是要放在网站的根目录下。啥是根目录？就是你输入域名直接访问到的那个地方，通常跟你的首页文件（比如 * 或 *）放在同一个文件夹里。

我用的是一个 FTP 工具，连接上我的服务器空间，找到那个根目录，然后就把我电脑上编辑好的 `*` 文件，直接拖拽上传上去。用服务器控制面板里的文件管理器也一样，找到位置上传就行。

上传完，理论上这就生效。不过搜索引擎那帮家伙也不是马上就听话，它们得下次再来爬我的网站时，才会看到这个新的 `*` 文件，然后才会照着做。

我当时也没啥特别好的办法立刻验证，就是等几天，然后去几个搜索引擎的管理后台（如果有的话，有些提供这种工具）大概看看，或者就是观察下访问日志，看看之前老被访问的那几个目录，是不是清净多。

后来发现，确实管点用。那些我不希望被看到的测试页面啥的，慢慢地就不在搜索结果里出现。这玩意儿也不是万能的，它更像是个“君子协定”，告诉“正经”的搜索引擎别乱跑。对于那些不守规矩的采集器或者黑客，它可没啥强制约束力。

整个过程搞下来，感觉还行，不算复杂。就创建一个文本文件，写几条简单的规则，放到网站根目录，齐活儿。对于想稍微管理下自己网站内容，不让搜索引擎随便抓的朋友，自己动手搞一个 `*` 还是挺方便实用的。至少，能让自己的网站清爽点，少点不必要的暴露。