不应抓取页面。一般用在这种情况下：对于一个特定的网站，搜索引擎抓取网站的时间基本是固定的，所以我们应该把抓取时间花在核心页面上。对于一些大型网站来说，这一点尤为重要。因为网站太大，如果把抓取时间放在一些过滤掉的页面上，很容易把几百万几千万的页面组合起来，搜索引擎没有机会也没有时间。然后转到您要访问的页面。所以有时，您可能希望搜索引擎不要抓取某些页面。因此，尽量避免链接到您不想在网站上抓取的页面。你可以使用 JavaScript 来隐藏，或者添加 nofollow，或者使用 robots 文件来禁止搜索引擎抓取这些文件。

另一种情况是你可以让搜索引擎抓取，但你不希望搜索引擎索引。 “索引”的意思是把这个页面的信息放到它的数据库中。有时，不允许抓取和不允许索引这两个是相反的过程，例如上面提到的过滤页面。有时候，如果你的网站不是那么大，你的抓取时间还没有达到搜索引擎给你的上限，你可以允许这些页面被抓取，但是你不想被收录，因为这些页面经常被重复的内容，因为无非就是改变了搜索条件，改变了过滤条件，再重新排列，产品还是一样的，所以往往是很多重复的内容。如果这样的重复页面太多，搜索引擎可能会认为这个网站有问题，或者整体质量不高。然后你可以阻止搜索引擎索引这些页面。您需要在页眉上使用无索引标记。未放置索引后，这些页面将不会放入索引库中。所以在搜索这些页面时，没有结果。但是这些页面实际上是被爬取的，因为如果不爬取的话，搜索时根本看不到no index标签，但又不想被收录。

所以“fetching”和“indexing”是两种不同的情况，处理时应该使用不同的方法。您需要根据网站的具体情况确定使??用哪种技术方法。