首先，来看关于robots.txt的介绍。Z-Blog 2相对于1.8变化很大，其中文件目录的变化相当大，原来的robots.txt已经不适用了。
下面是我的简单生活使用的robots.txt
User-agent: *
Disallow: /zb_system/
Disallow: /zb_users/
Disallow: /search.asp*
Disallow: /view.asp*
Disallow: /catalog.asp*
Sitemap: https://www.wilf.cn/sitemap.xml
如果没有设置分类页的伪静态，请去掉
Disallow: /catalog.asp*
如果不想屏蔽某个插件或上传附件的收录，请去掉Disallow: /zb_users/，并相应的修改为
Disallow: /zb_users/CACHE
Disallow: /zb_users/INCLUDE
# 目录请自行补齐……
最后一行是在这里加上sitemap的链接
Sitemap: https://www.wilf.cn/sitemap.xml