robots.txt 文件是什么？给网站管理员看的简单入门指南。

发布日期： 2025-07-08 阅读量： 作者： admin

今天聊聊我捣鼓网站时弄的一个小东西，就是那个叫`*`的文件。起因是啥？就是我发现我网站上有些后台目录，或者一些临时的测试页面，老是被搜索引擎给抓走，有时候还在搜索结果里能看到，这感觉不太也不太安全。

我就寻思着得想个办法，让那些搜索引擎的“蜘蛛”别乱爬。上网一顿搜，发现很多人都在说`*`这玩意儿。说白，它就是一个放在网站根目录下的文本文件，专门用来跟搜索引擎的爬虫“沟通”的，告诉它们哪些地方可以看，哪些地方不让进。

知道有这么个东西，我就开始动手实践。过程不复杂，主要就几步：

第一步：创建文件

这个最简单，我就在自己电脑上直接新建一个文本文档。关键来，文件名必须是`*`，全部是小写字母，这个很重要，搞错它就不认。

第二步：往里面写规矩

打开这个空的`*`文件，就得开始写规则。这里面有几个常用的写法：

User-agent: 这个是指定规则给哪个爬虫看的。如果你想对所有爬虫生效，就写个星号，像这样：User-agent: 。这是最常见的写法，我也就这么用，省事儿。
Disallow: 这个就是“禁止”的意思。后面跟上你不希望被访问的路径。比如，我不想让它们爬我的后台管理目录，假设目录名叫`admin`，我就写：Disallow: /admin/。注意那个斜杠，路径一般都带上。
Allow: 这个是“允许”的意思，跟上面那个相反。有时候你可能禁止一个大目录，但想允许里面的某个子目录或文件被访问，就可以用这个。比如我禁止`/private/`，但想允许`/private/*`，就可以写两行：
Disallow: /private/
Allow: /private/*

我当时的需求是禁止几个特定的文件夹，比如图片缓存目录、后台脚本目录啥的，我就照着这个格式，一行一个Disallow:把那些路径都写上去。如果你想整个网站都不让任何爬虫访问（比如还在建设中），可以直接写一行：Disallow: /，这个斜杠代表根目录，也就是整个网站。

写的时候得注意，每一条规则写一行，别写串。还有就是路径的大小写，最好跟你服务器上的实际情况保持一致，虽然有的爬虫不区分，但保险起见嘛

第三步：上传文件

写好规则之后，保存这个`*`文件。然后最重要的一步，就是把它上传到你网站的根目录下。啥是根目录？就是你访问你的网站域名时，后面不带任何路径的那个地方。比如你的网站是 `*`，那这个文件就应该放在服务器上对应`*/*`能访问到的位置。我就用FTP工具，直接把它拖到网站的根目录文件夹里。

第四步：检查一下

传上去还不算完，我还得确认下是不是真的生效。我一般会做两件事：

直接在浏览器里访问 `我的域名/*`，看看能不能正常显示我写的内容。
去一些站长工具平台，比如谷歌的Search Console或者百度的资源平台，它们都有`*`的测试工具。把我的`*`内容贴进去，或者直接让它抓取线上的文件，看看有没有报错，规则是不是符合预期。我当时就用谷歌那个工具测下，没啥问题。

搞定这些之后，心里就踏实多。等几天再去看，确实那些被我`Disallow`掉的目录，在搜索结果里慢慢就消失，或者新内容不再被收录。

弄这个`*`不难，就是个细致活儿。虽然它不能百分百拦住所有不守规矩的爬虫（毕竟只是个建议，不是强制措施），但对于像谷歌、百度这些主流的搜索引擎来说，它们都会遵守这个规则。对我这种只是想保护一些特定目录不被索引的普通站长来说，是足够用，效果也挺明显的。算是一次简单又实用的网站小优化。

随便看看