在网站优化的过程中，网站有一些内容是我们不希望蜘蛛抓取的，如果没有规范，搜索引擎蜘蛛就会随便抓取，就可能会抓取到一些我们不想让它抓取到的内容，或者是抓取到了...