Google robots REP meta 标签
原文:来自谷歌中国Blog
新增图片过滤,假设你负责域名 www.example.com，你希望搜索引擎索引你网站的除/ images 文件夹之外的一切内容。您还想确保你的网站地图被搜索引擎知道，那么你可以使用以下内容作为你的 robots.txt 文件：
disallow images
user-agent: *
Disallow:
sitemap: http://www.example.com/sitemap.xml
及面对集团企业专向制作的”unavailable_after 元标签“若你的网站有一个临时性的新闻故事，限时公司促销，或一个宣传页，你可以对特定页面指定确切的日期和时间，来阻止被抓取和索引.你可以这样操作!
假设你的一个促销活动有效期截至 2007 年年底。在 www.example.com/2007promotion.html 的源码开始，你可以使用以下行:
<META NAME=”GOOGLEBOT”
CONTENT=”unavailable_after: 31-Dec-2007 23:59:59 EST”>
另一个令人振奋的消息是新的 X-Robots-Tag 指令。它增加了机器人排除协议（REP）META 标签，该标签为非 HTML 网页提供支持！你终于可以控制对你的录像，电子表格，及其他索引文件类型的索引，就像控制对 HTML 页面的索引一样。还是上面的例子，比方说你的宣传页面是 PDF 格式。在文件 www.example.com/2007 promotion.pdf 中，你可以增加以下行:
X-Robots-Tag: unavailable_after: 31 Dec
2007 23:59:59 EST
PS:谷歌的功能确实人性化,也是开辟新的增值渠道及增长用户粘性的好方法!
