了解了一些Sitemap相关内容，知道 Google sitemap，是对原来robots.txt的扩展，Google sitemap使用xml格式来记录整个网站的信息并供google读取，使搜索引擎能更快更全面的收录网站的内容。

Google sitemap的作用就好像为网站提供了整站的rss，而google就是这些rss的订阅者，只要网站有更新就会自动通知google。这样一来，搜索引擎的收录由被动的pull变成了主动的push，辛苦的google爬虫们终于可以松一口气了。

现在开始使用Sitemap：https://www.google.com/webmasters/tools/siteoverview

Google sitemap的功能虽然很强大，但官方提供的创建Sitemap的工具使用起来超级麻烦，阅读官方文章话了我好长时间，后来终于被我找到更加方便快捷的第三方工具“SiteMapBuilder”，你只要输入网站的首页地址，该工具会自动爬取你网站上所有的链接，并得到最终的SiteMap。你可以将它保存成xml文件，提交到google sitemap上去。

SiteMapBuilder工具（经测试比较好用）：http://www.yici.net/content/downinfo/0/143.html

在线生产sitemap文件的网站（国外）：http://www.xml-sitemaps.com
在线生产sitemap文件的网站（国内）：http://www.mysitemap.net/

Baidu官方介绍禁止搜索引擎收录的方法(robots.txt介绍及使用)：http://www.baidu.com/search/robots.html
Google SiteMap 生成工具 (PHP & ASP)：http://www.yici.net/content/text_all/text_0/395_1.html