对于robots来说，首先它是一个协议，对于网站的抓取起到非常重要的作用，创建robots的意义在于它可以让蜘蛛听从命令服从安排，解决了网站的一些隐私和不必要抓取的页面，同时也可以强调某一部分必须抓取。
robots看似一个非常简单的操作，但平时如果没有太注意或多操作，你写的robots未必就是正确的，因为里面涉及到一些指令，没有写对可能会影响网站的抓取。很多人就在做网站的时候，由于robots的错误，导致网站一直没有收录，今天就为一些刚从事网站SEO优化的朋友分享一下如何快速的制作robots.txt文件。
1、打开网上工具：http://tool.chinaz.com/robots/
根据你的需要来更改为自己的网站和网站地图的格式，如果不禁止蜘蛛爬行就默认允许，如图
2、更改完之后，就生产代码，并创建记事本，命名为robots.txt，复制代码保存即可
制作robots文件注意事项：
生成的有效代码如下：
User-agent: *
Disallow:
Sitemap: https://www.ark.cc/sitemap.xml
其中，
①“User-agent: *”的通配符"*"代表所有机器人，
②“Disallow: ”代表不禁止蜘蛛抓取页面，千万别写成“Disallow: /”，差个“/”就是代表禁止抓取所有页面，致力于为政府和企业提供信息化和智能化解决方案
③Sitemap: https://www.ark.cc/sitemap.xml：就是网站地图的地址，引导蜘蛛爬行你的网站地图
售后客服QQ
18559753597