[讨论]关于百度爬虫返回 200 0 64 问题的的猜测 - 百度专题

游客，您好

免费注册

查违章

稀土

找房网

天气预报

开心网


		5OK交换链 Idhgate


中国SEO资料站

新闻动态

技术文章

软件下载

SEO博客

蓝杉团队

SEO入门书籍

推荐站点

SEO论坛

本版版规及导航

SEO论坛-搜索引擎优化论坛 -> 搜索引擎优化专区-SEO -> 百度专题 -> 浏览帖子

5OK交换链

青娱乐

开心网

脉动联盟

落秋搜索

Q币广告

暂无

您是本贴第 235 位浏览者

主题：[讨论]关于百度爬虫返回 200 0 64 问题的的猜测

netroom

等级:

SEO童生

发贴: 3

积分: 5

经验: 7

体力: 182

货币: 0 乔币

1楼

[讨论]关于百度爬虫返回 200 0 64 问题的的猜测

今天仔细查看了一下IIS 日志，发现日志中有很多百度爬虫留下的痕迹
2008-05-09 00:17:53 W3SVC17 202.103.178.41 GET /downabc/abc-F1.html - 80 - 121.14.89.166 Baiduspider+(+

http://www.baidu.com/search/spider.htm) 200 0 64

返回结果是 200 0 64，

对应刚才那条记录的页面是

http://www.driver163.com/downabc/abc-F1.html

我在日志中仔细查找了一下所有返回信息为 200 0 64 的记录发现一个问题，惊奇的发现了一个问题。几乎所有的列表页面返回的都是 200 0 64 这个结果。

2008-05-09 00:23:51 W3SVC17 202.103.178.41 GET /downabc/abc-L.html - 80 - 121.14.89.166 Baiduspider+(+

http://www.baidu.com/search/spider.htm) 200 0 64

对应页面

http://www.driver163.com/downabc/abc-L.html

2008-05-09 00:30:12 W3SVC17 202.103.178.41 GET /list/s-71-1.html - 80 - 121.14.89.166 Baiduspider+(+

http://www.baidu.com/search/spider.htm) 200 0 64

对应页面

http://www.driver163.com/list/s-71-1.html

2008-05-09 00:32:10 W3SVC17 202.103.178.41 GET /list/s-66-1.html - 80 - 121.14.89.166 Baiduspider+(+

http://www.baidu.com/search/spider.htm) 200 0 64

对应页面

http://www.driver163.com/list/s-66-1.html

2008-05-09 00:36:11 W3SVC17 202.103.178.41 GET /list/s-28-1.html - 80 - 121.14.89.166 Baiduspider+(+

http://www.baidu.com/search/spider.htm) 200 0 64

对应页面

http://www.driver163.com/list/s-28-1.html

这些页面都是列表页面，关键词密度非常大，结果被百度爬虫认为是作弊页面，返回了不正常的收录结果，正常的结果应该是 200 0 0

而一些关键词密度不高的页面如

http://www.driver163.com/list/s-5-1.html
爬虫的日志是
202.103.178.41 GET /list/s-5-1.html - 80 - 121.14.89.166 Baiduspider+(+

http://www.baidu.com/search/spider.htm) 200 0 0

这个日志是正常的。综合以上现象，我猜测很有可能百度把那种关键词密度比较大的页面当成的作弊页面，可是这个站点根本没有任何作弊。

--------------------------------------------------------