谷歌、Yahoo！和Bing（原来是MSN搜索，然后是实时搜索）都支持一个叫XML站点地图的协议，谷歌在2005年首先宣布了这一协议，之后是Yahoo！，然后在2006年，MSN搜索也宣布支持这一协议。使用站点地图协议，你可以向搜索引擎提交一个列表，列出所有你希望能够被搜索引擎爬行和索引的网址。
将网址添加到站点地图文件中并不能保证该网址就一定能被爬行或索引，但它能够吸引搜索引擎发现和索引一些本来没有被注意到的页面。
- 该程序是对搜索引擎常规基于链接的爬行的一种补充，而不是替代。站点地图的优点主要如下：
- 对于一些搜索引擎通过其常规爬行所获取的页面，搜索引擎会使用你提供的元数据来改善爬行你的网站的方式，如内容最后一次修改的时间（最后修改日期）、页面被修改的频率（修改频率）等元数据。
- 对于它们不知道的一些页面，搜索引擎会使用你提供的附加网址来增加爬行的覆盖范围。
- 对于一些可能有多个副本的网址，搜索引擎会使用XML站点地图数据来选择一个比较标准的版本。
- XML站点地图的认证和注册可能会提供一些正面的可信任/权威信号。
- 站点地图的爬行/内置优点可能还会有其他积极的作用，如提高排名或内部链接的广泛度。
- 在Google Search Console中注册站点地图，能够帮助你更好地了解自己的网站是否遇到了索引、爬行或内容重复的问题。
- 对于一些搜索引擎通过其常规爬行所获取的页面，搜索引擎会使用你提供的元数据来改善爬行你的网站的方式，如内容最后一次修改的时间（最后修改日期）、页面被修改的频率（修改频率）等元数据。
- 对于它们不知道的一些页面，搜索引擎会使用你提供的附加网址来增加爬行的覆盖范围。
- 对于一些可能有多个副本的网址，搜索引擎会使用XML站点地图数据来选择一个比较标准的版本。
- XML站点地图的认证和注册可能会提供一些正面的可信任/权威信号。
- 站点地图的爬行/内置优点可能还会有其他积极的作用，如提高排名或内部链接的广泛度。
- 在Google Search Console中注册站点地图，能够帮助你更好地了解自己的网站是否遇到了索引、爬行或内容重复的问题。
谷歌反垃圾小队的前队长Matt Cutts是这样解释XML站点地图的：
假设网站有A、B、C三个页面，我们通过常规的链接爬行找到了页面A和B，之后你创建一个站点地图，列出了页面B和C，那么现在我们就有机会（但不一定）爬行页面C，我们也不会因为你没有将页面A列在站点地图内而放弃它，而且我们也不会因为你在站点地图中列出了一个我们不知道的页面，就能保证我们会爬行该页面，但如果之前我们出于某些原因没有看到页面C的链接，或者我们虽然知道页面C而页面网址因包含参数过多或因其他一些原因而被拒绝了，那么有了站点地图之后，我们就有可能会爬行页面C[插图]。
站点地图使用的XML格式非常简单，你可以在http://www.sitemaps.org/了解这一格式。对于网站来讲，XML站点地图是一个非常有用且在某些情况下可以说是非常重要的工具，尤其是，如果你有理由相信网站没有被充分索引，那么XML站点地图就能够帮助你使更多的页面被索引。随着网站规模的不断扩大，XML站点地图文件的价值也日渐凸显出来，因为站点地图能够吸引更多的流量流向新增的网址。
创建一个XML站点地图
创建XML站点地图的第一步是创建一个正确格式下的XML站点地图，因为创建一个XML站点地图需要一定的技术知识，因此你最好从一开始就让自己的开发团队参与到XML站点地图的创建中，图6-2显示的是站点地图的一些代码。
你可以使用以下工具创建XML站点地图。
XML站点地图生成器
这是一个简单的脚本，你可以安装该脚本以自动生成并提交站点地图。站点地图生成器能够根据网址列表、用户访问日志，或一个具有与URL对应的静态文件的目录路径创建这些站点地图，下面是几个XML站点地图生成器的例子：
·SourceForge.net’s谷歌-sitemap_gen·XML-Sitemaps.com Sitemap Generator·Sitemaps Pal·GSite Crawler
简单的文本
你可以向谷歌提供一个简单的文本文件，文件每行仅一个网址。不过，谷歌建议，如果网站有文本站点地图文件那么你最好使用站点地图协议，借助站点地图生成器从该文本文件中生成一个站点地图。
网站聚合内容摘要
谷歌接受网站聚合内容摘要（RSS）2.0和Atom 1.0摘要。需要注意的是，摘要可能仅提供与最近网址相关的信息。
确定在站点地图文件中包含哪些内容
创建站点地图文件的过程中，你需要注意一些情况，看看网站的哪些位置有多个指向同一条内容的网址：包括“唯一的”偏好的（标准的）网址版本，因为搜索引擎可能会认为在站点地图文件中指定的网址更适合某个内容的网址，所以你可以使用站点地图文件提示搜索引擎哪个网址是更适合某个特定页面的。
另外需要注意不要在站点地图中添加什么样的内容。例如，不要添加多个指向同一内容的网址，不要添加一些仅是页码标记的页面（或同一内容的交替排列次序），更不要将网站中价值不大的页面添加到站点地图中。最重要的是，确保站点地图文件中的所有网址均不含追踪参数。
移动设备站点地图。对于目标是移动设备中的内容，我们可以使用移动设备站点地图，移动设备信息被保存在一个独立的站点地图文件中，该文件中不包含任何与非移动网址相关的信息。谷歌支持非移动标记、XHTML移动配置文件、WML（WAP1.2）及cHTML。
视频站点地图。在站点地图中添加与视频相关的信息，会提升视频被搜索引擎发现的机会。谷歌支持以下的视频格式：.mpg、.mpeg、.mp4、.m4v、.mov、.wmv、.asf、.avi、.ra、.ram、.rm、.flv、及.swf等。
图片站点地图。将图像添加到站点地图文件中能够增加图片的可见性。你除了可以在站点地图文件中添加页面网址，还可以列出出现在这些页面中的图片。每个页面最多能列出1000张图片，将专门的图片标签与网址相关联。
在站点地图中列出图片，这并不会增加这些图片被索引的机会，但如果你列出其中一些图片，而未列出其他的一些图片，那么那些未被列出的图片会被认为不重要。
上传站点地图文件
站点地图文件完成之后，将其上传到你的网站，并放置在你希望搜索引擎爬行的目录的最顶端（通常来讲，是根目录），如www.yoursite.com/sitemap.xml。你可以在提交的站点地图中添加多个子域，然后在Google Search Console验证站点地图对每个子域的作用，尽管通常来讲，如果每个子域在Google Search Console都有自己相对应的站点地图和配置文件，那么我们可能更容易了解索引的实际情况。
管理和更新XML站点地图
XML站点地图被接受、网站被爬行之后，监测运行结果，若有问题，随时更新站点地图。在谷歌中，你可以返回到Google Search Console账户，查看与XML站点地图相关的统计数据和运行诊断报告，只须点击你想检测的网站即可，另外，你还能从谷歌中找到一些与常见问题相关的FAQ，如爬行慢、索引较少Bing中的XML站点地图。另外，你可能还应该在增加大量或一组关键页面之后，更新你的站点地图文件。
如果仅仅是更新现有网址中的内容，那么便没有必要更新XML站点地图，而且如果是删除页面，也没有必要去更新站点地图，因为搜索引擎只是不能爬行这些页面而已，但要在提要中出现大量零散的页面之前，更新站点地图。另外，在你添加新内容并删除一些无效页面之后，一定要记得更新你的站点地图文件。谷歌和Bing会定期重新加载站点地图，因此除非站点地图位置发生改变，否则你无须重新向谷歌或Bing提交站点地图。
使用Site map—网站robots.txt文件中的指令，使谷歌和Bing能自动发现你的
XML站点地图的位置
如果你要定期地在网站中添加或删除一些新的页面，那么你可能希望借助一个工具或希望网站开发者有这个能力，能够使XML站点地图定期重新生成所有最近的网址，许多网站借助自动运行脚本每天重新生成XML站点地图。
谷歌和其他大型搜索引擎通过爬行链接发现和索引网站。谷歌XML站点地图是一种在谷歌中填充网址的方式，添加你希望被爬行的网址，以便进行更深入的爬行和索引；这就导致了长尾搜索能力的提高，通过创建和更新这个XML文件，确保谷歌能够识别你的整个网站，进而让更多的人发现你的网站。另外，XML站点地图还能帮助所有的搜索引擎弄清楚，哪个网址是比较标准的（如果有多个指向同一内容的网址）。
关注作者 
