做seo需要懂什么技术（seo问题答案）

kjy
kjy

搜索是搜寻引擎发现大多数新内容的方式。在这里，蜘蛛可以访问并从已知网页下载新数据。kjy

例如，假设您将一个新页面添加到您的站点并从您的主页链接到该页面。当搜索引擎接下来抓取您的主页时，它将发现指向新页面的链接。然后，如果它确定该页面上的内容对搜索者来说很有价值，那么它将被索引。kjy

只要您不阻止搜索引擎对页面进行爬网或编制索引，此过程就可以很好地进行。kjy

Robots.txt是一个文件，它告诉百度之类的搜索引擎可以和不能抓取哪些页面。kjy

kjy

在上面的示例中，这两行简单的代码行阻止了搜索引擎抓取网站上的每个页面。因此，您可以看到此文件的气质如何，以及犯下代价高昂的错误有多容易。kjy

您可以在百度站长工具中检查robots.txt阻止了哪些页面（如果有）。只需转到“抓取错误” 报告，切换以查看排除的URL，然后查找“被robots.txt阻止”错误。kjy

如果其中有任何不应被阻止的URL，则需要删除或编辑robots.txt文件来解决此问题。kjy

但是，可爬网页面并不总是可索引的。如果您的网页上的meta robots标记或x