在我们查看日志信息的时候，会发现Googlebot 和 Mediapartners-Googl经常光顾你的网站。
Googlebot 和 Mediapartners-Googl 非常勤奋的机器人，如果他影响到服务器的接受力，可以通过robots.txt 文件加以制止。
Googlebot 和 Mediapartners-Googl 到底有什么不一样呢？
一、Googlebot
Googlebot 一般称为 Googl 机器人或 Googl 探测器。
Googl 派遣 ” 不同的 Googlebot 对网页内容进行获取。主要包括：
Googlebot 抓取网页中的文字内容。获取的内容保管于 Googl 网页搜索和新闻搜索的数据库。一般谈的 Googl 机器人主要指这个。
Googlebot-Mobil 抓取网页中的文字内容，用于 Googl 手机搜索。
Googlebot-Imag 抓取网页内的图片内容，保管入 Googl 图片搜索数据库。
二、Mediapartners-Googl
Mediapartners-Googl 抓取网页中的文字内容，用于 Googl Adsens 分析关键词。只有投放了 Googl Adsens 网页才会被 Mediapartners-Googl 探测器爬取。
Adsbot-Googl 抓取网页中的文字内容，用于为 Googl AdWord 提供参考。只有 Googl AdWords 目标网页才会被 Adsbot-Googl 探测器爬取。
