看了下日志，發(fā)現(xiàn)有幾條類似這樣的：
2010-07-27 16:03:33 W3SVC1129513256 221.192.135.26 GET /a/view/18691.html - 80 - 203.208.60.251 Mediapartners-Google 200 0 0

Mediapartners-Google是什么，搜索一下，原來(lái)是Google Adsense的漫游器。

以下內(nèi)容來(lái)自 網(wǎng)站管理員支持中心

我希望網(wǎng)站的某些網(wǎng)頁(yè)不被編入索引，但要在這些頁(yè)上顯示 AdSense 廣告。能否滿足我的這一要求？

可以。您可以在這些網(wǎng)頁(yè)上禁用 (Disallow) 除 Mediapartners-Google 之外的所有漫游器。這樣可確保不將網(wǎng)頁(yè)編入索引，但可讓 Googlebot-MediaPartners 漫游器分析這些網(wǎng)頁(yè)，以確定是否顯示廣告。Googlebot-MediaPartners 漫游器不與其他 Google 用戶代理共享網(wǎng)頁(yè)。例如，您可以使用下列條目：

User-Agent:*
Disallow:/folder1/
User-Agent:MediaPartners-Google
Allow:/folder1/

如何攔截 Googlebot？

攔截 Googlebot
Google 使用多個(gè) user-agent。您可以在條目的 User-Agent 行中包含漫游器名稱來(lái)攔截對(duì)網(wǎng)頁(yè)的訪問。攔截 Googlebot 將會(huì)攔截所有以"Googlebot"開頭的漫游器。

Googlebot：從我們的網(wǎng)站索引和新聞索引中抓取網(wǎng)頁(yè)
Googlebot-Mobile：針對(duì)我們的移動(dòng)索引抓取網(wǎng)頁(yè)
Googlebot-Image：針對(duì)我們的圖片索引抓取網(wǎng)頁(yè)
Mediapartners-Google：抓取網(wǎng)頁(yè)確定 AdSense 的內(nèi)容。只有在您的網(wǎng)站上展示 AdSense 廣告的情況下，我們才會(huì)使用此漫游器來(lái)抓取您的網(wǎng)站。
Adsbot-Google：抓取網(wǎng)頁(yè)來(lái)衡量 AdWords 目標(biāo)網(wǎng)頁(yè)的質(zhì)量。只有在您使用 AdWords 為您的網(wǎng)站做廣告的情況下，我們才會(huì)使用此漫游器。參閱關(guān)于此漫游器的更多信息以及如何在您的網(wǎng)站上執(zhí)行部分?jǐn)r截。
例如，要完全攔截 Googlebot，您可以使用下列語(yǔ)法：

User-agent:Googlebot Disallow:/
允許 Googlebot
如果您要攔截除 Googlebot 以外的所有漫游器訪問您的網(wǎng)頁(yè)，可以使用下列語(yǔ)法：

User-agent:Disallow:/
User-agent:Googlebot
Disallow:
Googlebot 跟隨指向它自己的行，而不是指向所有漫游器的行。

"Allow"擴(kuò)展名
Googlebot 可識(shí)別稱為"Allow"的 robots.txt 標(biāo)準(zhǔn)擴(kuò)展名。其他搜索引擎的漫游器可能無(wú)法識(shí)別此擴(kuò)展名，因此請(qǐng)使用您感興趣的其他搜索引擎進(jìn)行查找。"Allow"行的作用原理完全與"Disallow"行一樣。只需列出您要允許的目錄或頁(yè)面即可。

您也可以同時(shí)使用"Disallow"和"Allow"。例如，要攔截子目錄中某個(gè)頁(yè)面之外的其他所有頁(yè)面，可以使用下列條目：

User-Agent:Googlebot
Disallow:/folder1/
Allow:/folder1/myfile.html
這些條目將攔截 folder1 目錄內(nèi)除 myfile.html 之外的所有頁(yè)面。

如果您要攔截 Googlebot 并允許 Google 的另一個(gè)漫游器（如 Googlebot-Mobile），可使用"Allow"規(guī)則允許該漫游器的訪問。例如：

User-agent:Googlebot
Disallow:/
User-agent:Googlebot-Mobile
Allow: