Yahoo是如何抓取我的网站的？

 

    

如何抓取我的网站？

Yahoo搜索引擎技术(Search Engine Technology，简称 ),它是一套基于算法的Web索引抓取程序，能够自动探测网络内容。YST 这套机器搜索程序从因特网上采集文档，建立起一个可搜索的索引系统。这些文件（即您的网站文件）能被YST程序发现和抓取的主要原因是，在因特网其他的网页上包含有这些文档的直接链接。


YST 搜索程序严格遵守robots.txt标准执行抓取，因此，对于那些您不希望被雅虎搜索引擎返回的结果，搜索程序不会执行抓取。任何被robots.txt标准认为不适宜抓取的文件，既不会被包括在抓取文档中，也不会进入到搜索引擎的数据库。



我的网站不想出现在雅虎的搜索结果中，如何删除？

如果您需要删除Yahoo网页结果中的您自己整个网站或部份网页的记录，可以在您服务器的根目录中放置一个 robots.txt 文件，其内容如下：

User-Agent: *
Disallow: /

这是大部份网络搜索程序都会遵守的标准协议，加入这些协议后，它们将不会再抓取您的网络服务器或目录。

只要您网络服务器的根目录中有这个 robots.txt 文件，YST 搜索程序就不会进入您的网站，您的网站也不会出现在雅虎的搜索结果中。

如果您的情况非常紧急，不能等到我们的 YST 搜索程序下次抓取您的网站时再进行删除，您可以反馈给我们，会有专人负责处理。