很多建站新手对robots.txt文件的重要作用不是很清楚，利用这篇文章普及一下WordPress站点robots.txt文件编写知识。 Robots协议（也称为爬虫协议、机器人协议等）的全称是“网络爬虫排除标准”（Robots Exclusion Protocol），网站通过Robots协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取。 搜索引擎机器人访问网站时，首先会寻找站点根目录有没有 robots.txt文件，如果有这个文件就根据文件的内容确定收录范围，如果没有就按默认访问以及收录所有页面。另外，当搜索蜘…
本站推荐
新手建站五步
本博客TG频道，欢迎订阅：https://t.me/CCINOorg大家准备建站时，肯定和奇诺一样无从着手，不用着急。按照以下“五步”就能方便的搭建好一个基于VPS的网站。“第六步”为高级功能，大家可以按需选择。
第一步，基础知识：
第二步，VPS申请： 第三步，一键web面版搭建： 第四步，域名申请： 第五步，CMS安装配置： 第六步，高级功能：