李大壮在解决了织梦内容管理系统（dede）网站地图的问题后（详见：https://uploads.lidazhuang.cn/open-source/584.html），开始着手对robotx.txt文件进行编写了。
重新下载后发现织梦内容管理系统（dede）的目录结构如下图所示。
(眼尖的同学会发现，里面多了奇怪的东西phpmyadmin、l.php、phpinfo.php这些是我本地环境的文件，大家请忽略。)
这些目录都是什么意思呢？对照官方的文档。我们就可以知道，每个目录代表的内容。
“a”： 默认HTML文件存放目录
“data”： 系统缓存或其它可写入数据存放目录
“dede”： 默认后台管理目录
“images”： 系统默认模板图片存放目录
“include”： 类库文件目录
“install”： 安装程序目录，安装完后可删除
“member”： 会员目录
“plus”： 附助程序目录
“special”： 专题目录
“templets”： 系统默认内核模板目录
“uploads”： 默认上传目录
“index.php”： 网站默认首页
“robots.txt”： 搜索控制文件
“tags.php”： 标签页
对照后我们可以发现，a、images、member、plus、special、uploads、index.php、tags.php这几个目录是必须被收录的，其他的都是网站展现给访客的内容了。 我们可以屏蔽掉。所以最后的出来robotx.txt文件如下：
# robots.txt generated at http://www.lidazhuang.com
User-agent: *
Allow: /
Disallow: /data
Disallow: /cwa
Disallow: /include
Disallow: /install
Disallow: /templets
Sitemap:http://*.com/sitemap.xml
实际使用替换*.com为你的网站域名
原创文章，作者：大壮同学，如若转载，请注明出处：https://www.lidazhuang.cn/open-source/617.html
