2008年10月27日星期一

《IT时代周刊》封面文章:百度搜索公正性彻底调查

转载于cnBeta

官场上,绝对的权力会导致绝对的腐败;在搜索服务市场中,利益的参与也必然会导致诚信和公益的流失.因此,一向标榜搜索结果客观公正的搜索引擎,一向声称“从不作恶”的搜索引擎,在不正当利益面前才会变得如此不堪一击.“三鹿奶粉”事件的爆发,不但牵扯出搜索引擎行业里灰金交易的肮脏一幕,更向外界发出了一个可怕的信号:占据垄断地位的搜索引擎正在严重侵扰信息甄选机制的独立性和公正性,人工干预已沦为搜索领域的潜规则,其独立性和公正性在商业利益的银弹围剿中显得苍白无力.

一 边是公众对搜索结果公正性的巨大需求,一 边是固有商业模式的利益之弊,搜索引擎——这个原本作为第三方的中立平台,该如何在金钱诱惑和公正之间找到最终的平衡?最终是以竞价排名的利益为主导,还 是以客观公正为商业行为的基准,或者两者兼而有之?漫漫路上,搜索引擎又将迎来怎样的变数?这是搜索服务提供商必须向社会和公众澄清的话题。

2008年9月14日晚,刚刚参加完中央电视台在山东荣成举办的2008中秋节晚会,李彦宏还没来得及细细回味那份荣耀和晚会的精彩,就收到了接连而来的意外。

第一个意外是美国第四大投行雷曼兄弟宣布破产。作为拥有百度1.7% 股份的股东,雷曼的破产给百度股价带来巨大震动,当天百度股价下跌7.29%,让一向冷静和理智的李彦宏有点措手不及。更大的意外是来自于国内。一夜之 间,互联网上突然冒出众多针对百度的“檄文”。而事情的起因是,百度因涉嫌收取300万元保护费而屏蔽三鹿负面新闻,被卷入震惊全国的“三鹿问题奶粉”事 件之中。

一直以来,搜索引擎都标榜自家的搜索结果公正客观,但在众多事实面前,其说法不攻自破。在“三鹿问题奶粉事件”这一导火索的牵引下,搜索引擎的公正性遭遇了空前的信任危机,成为公众关注的焦点。

在利益和公正之间,搜索引擎如何取得平衡?

第一章 争议中成长起来的搜索引擎

2008年9月,在北京理想国际大厦12层上班的百度公关部的10多位员工过得很不轻松:8日,淘宝网“为杜绝不良商家欺诈”,首次向外界宣布屏蔽百度搜索链接,向其公正性公开提出抗议;12日,百度卷入震惊全国的“三鹿问题奶粉”的洪流中,成为公众口诛笔伐的对象。

一家被视为互联网时代成功典型案例的搜索服务提供商,为何在此时爆发出最严重的诚信危机?在此,有必要回顾下搜索引擎的发展史。

1990年,加拿大蒙特利尔大学一位名叫Alan Emtage的学生,在宿舍中写出了Archie(档案检索系统),这就是搜索引擎的鼻祖。而Alan Emtage做梦也想不到,在未来的日子里,搜索引擎会成为互联网的主要应用之一,并在某些人的手中,沦为收取灰金的工具。

靠竞价排名而风生水起

18年前,要想在主机中查找到一个文件,是一件很困难的事情。在加拿大蒙特利尔大学读书的Alan Emtage和他的同学们想解决这个难题,便开发了一个可以用文件名查找文件的系统,这便是搜索引擎的鼻祖Archie。

但真正让搜索引擎概念深入人心的是美籍华人杨致远和他一手创立的雅虎。1993年4月,为了让所有的互联网用户能更好地找到相关信息,美国斯坦福大学电机工程系的两名年轻博士生大卫·费罗和杨致远开始在校园里编排网址目录,这便是早期的雅虎。

在这股风潮的影响下,俄罗斯人谢尔盖-布林和从密歇根大学毕业的拉里-佩奇走到了一起,凭借4台电脑和10万美元的启动资金成立了Google公司,让搜索引擎成为今天人们生活和工作中不可或缺的工具。

与此同时,国内搜索领域创业的激情之火也被点燃。1999年,山西青年李彦宏放弃博士学位从硅谷回到北京,在北大资源宾馆租了两间房,招聘了5名员工,创建国内搜索引擎百度。

从此,中国的搜索市场进入百度时代。

搜索引擎的出现,为互联网开辟了一条新的光明大道。布林和佩奇曾在1998年给股东的信中写道:“用户相信我们的系统能帮助他们作出重要的决策。我们提供的搜索结果毫无偏见,绝对客观,而且我们不会以接受任何款项作结果方面的改变(收费录入)。”

起初,网页被引用次数的多少决定搜索结果的排名,这种规则基本上是公正的,但不能为搜索引擎 公司带来任何收入。2000年,Google首推“广告字”(AdWords)彻底打破了这一规则,并为其带来巨额收入。有数据显示,Google在 2003年近10亿美元的营业额中,95%均来自广告。

对于靠其发家致富的广告字,Google采取自动竞标法,坚持将其放在右侧以示区别,并将广告数量限制在三条链接以内,全部用阴影标注,并加上“赞助商链接”的标志。但Google并不是把出价最高的广告排在上方,而是依照点击人气、质量等因素进行综合排列。

在看到Google靠广告业务迅速成为互联网巨头后,李彦宏在2001年10月开始效仿其业务模式,推出了竞价排名服务,塑造出“金钱可以提高网页排名”的理念。

百度推崇的竞价排名,就是出价越高,搜索排名越靠前。企业只需付出几百元的推广预付金,就能 让自己的网页更容易被搜索到,这样的业务模式让百度迅速壮大。值得一提的,百度的广告模式在将Google的商业模式洋为中用后,打上了“中国特色”的烙 印:其不仅仅在搜索结果右侧出现赞助商链接,而且在左侧正常的搜索结果区域也有广告客户的链接,并在每个末尾都标上“推广”二字——完全意义上的广告。

这一竞价排名模式遭遇到业界非议,特别是当Google在2005年进入中国后,一直坚持将 广告和自然搜索严格分开。另一搜索巨头雅虎中国也在搜索结果中将商业结果用不同的颜色予以标注。而百度将广告和正常搜索结果混淆在一起,这一度导致广告投 入客户收到很高的错误点击率,使得他们为此花了不少冤枉钱。百度的这种做法遭到市场非议。

迫于各种压力,2006年9月,百度开始对竞价排名进行整改,除了价格,还将点击率、网民认可度等作为了考查项目。但其广告仍然出现在左侧,跟内容相混淆,而其右侧的广告目前仍是根据出价高低排序。

第二章 变了味道的搜索引擎

对于搜索结果,百度和谷歌这两个搜索引擎领域的大腕儿,从诞生那天起就一直坚称从不进行人工干预。

百度李彦宏强调,“我们所信仰的企业使命是:为网民提供最公正、便捷的信息获取方式。” 面对外界对其人工干预的质疑,百度公关部也信誓旦旦:“我们从未干过这种事情,这在百度是死罪。”谷歌李开复则公开表示,“Google坚持不作恶,我们 绝不用人工调整搜索结果的顺序。”

然而,众多事实却向外界发出一个信号:利益的参与正在严重侵扰信息甄选机制的独立性和公正性,人工干预已沦为搜索领域的潜规则,其公正性在商业利益的银弹围剿中显得苍白无力。

可怕的“新闻公关保护政策”

2008年9月12日,一则《三鹿集团公关解决方案建议》的电子扫描版出现在天涯社区,它使得百度陷入空前被动。

在这份所谓的“公关解决方案建议”中,代理三鹿集团公关业务的北京涛澜通略广告公司称三鹿应“与‘百度’搜索引擎媒体合作,拿到新闻话语权……在此事还未大肆曝光的特殊时期,尽快与百度签订300万的框架协议……小网站的恶意报道均可被删除”。

消息一经传出,立即在互联网上炸开了锅。一批批《三鹿奶粉事件引发百度信任危机》、《拷问三 鹿奶粉事件中百度社会责任》、《百度深陷三鹿奶粉事件:无良公关凸显媒体病变》等针对百度的文章在网上泛滥。在舆论的冲击下,甚至连百度的内部员工都致电 或发送邮件询问其公关部、大客户广告部是否确有此事。迫于压力,13日,百度公开承认先后在9日、12日接到北京涛澜通略广告公司两次致电要求屏蔽负面新 闻,但“我们从未答应”。

但知情人士透露,这次“三鹿公关事件”只是又一次将百度人工干预的不公正搜索问题推到台面上而已,百度将自然搜索结果和商业信息混淆、屏蔽新闻和网站以获取巨额利益的现象早已众所皆知,而搜索结果不公正已是搜索领域的潜规则。

据这封从三鹿集团内部泄露出来的《三鹿集团公关解决方案建议》称,“目前在百度上享受新闻公 关保护政策的企业有蒙牛、伊利、汇源等,政策享受起点为自然年度500万元的广告投放……经公司与百度相关部门的多次深度沟通后,百度已经同意将对三鹿集 团的公关保护政策降低至年度300万元广告投放,可以享受将目前几大事业部早期负面新闻删除……目前奶粉事业部已经投放120万元,集团只需再协调180 万元就可以与百度签署框架协议,享受新闻公关保护政策。”

对于“百度已经同意将对三鹿集团的公关保护政策降低至年度300万元广告投放,可以享受将目前几大事业部早期负面删除……”的陈述,截至发稿前,百度一直未给予明确回应。

百度公关部经理徐继业说:“我们从不进行人工干预搜索结果,只要是公开的活链接,我们从不屏 蔽。”但《IT时代周刊》注意到,在北京涛澜通略公关方案未被曝光之前,百度上能搜索到的有关三鹿问题奶粉的信息寥寥无几。本刊记者在9月13日搜索《三 鹿,在小朋友的生命健康面前请不要表演》一文发现,百度检索的结果只有54篇,谷歌却多达11800篇之多。后来由于事态扩大,迫使百度不得已只好恢复屏 蔽内容,以求自保。

“百度竞价排名过度注重赢利,不注重用户体验,其在上市后过度注重营销,忽视技术,目前其搜 索在‘内容般配’与‘内容更新’两项指标上均落后竞争对手,如今终于结出了恶果。”正望咨询有限公司总裁吕伯望曾向媒体如此直言不讳,“百度对于奥运会新 闻,就利用了人工干预将热点新闻放在首页。”

有人称,这一连串的搜索乱象或使百度八年来历经千辛万苦赢得的搜索霸主地位遭遇重创。

1万元删1条新闻

难道公正性只是搜索领域的一个噱头,或是搜索引擎佩戴的一个伪善面具?

据了解,搜索服务原则上不会删除新闻链接,但如果网站收到律师函或者与事实严重不符合的,综 合考虑后会进行人工处理。业内均传,近年来,百度就不断刻意进行过人工处理,通过各种方式屏蔽网站和负面新闻,以此来推动其竞价排名的推广。此外,许多大 企业则以投放巨额广告或干脆直接收买的形式在百度上享受新闻公关保护政策。

对此,百度矢口否认。但近日,在凤凰论坛中,网民“大嘴猴”发帖公布了“原百度广告销售部总监董安民”发出的关于“负面处理的原则和注意事项”邮件,爆出对享受公关保护的大客户,百度删除一条新闻链接的出价是1万元/条。

《IT时代周刊》曾就此询问一业内资深公关经理,“你们让百度协助屏蔽删除过负面新闻吗?”

“企业必须交了足够的钱,百度才能充当‘保护伞’。”该公关经理告诉本刊记者,“我们曾经也有过类似的提案,但这只有大公司才能做,因为要花很多钱,而且需要高层亲自出动。”

然而,一些知名企业的不良信息,很多难以通过搜索引擎搜出。“如果受保护的企业有负面新闻, 搜索引擎会按照合同约定及时删除,或把负面消息转移到搜索结果的第二页以后,以降低曝光率。”一业内人士如此透露,“搜索引擎还经常通过人工干预将受到保 护企业的正面新闻不断置顶,以达到对负面消息进行信息稀释的最终目的。”

“百度封站对我们影响太大了,不能不顾忌啊!”在北京朝阳门附近的一个咖啡厅内,一个人网站 站长发出了这样的感慨。该站长说:“我以前听说过,百度能通过一个名为 ‘百度蜘蛛’的软件找到站点,并采取删除和减少搜索收录页面的方式让中小网站买其‘竞价排名’。假如拒绝,就会被屏蔽。”

一开始,他也不相信这是真的,但后来发生的事情证明了这一情况确实存在。2007年6月的一 天,他接到一个是否要做百度“竞价排名”的电话。当时他挂掉电话后也没理睬,但几个月后在百度上却再也找不到他们网站。“屏蔽对我们以流量为生的小网站是 致命打击,为了防止被屏蔽的悲剧,最后只好花了3000多元做了排名,以破财免灾。”

百度内部一个从事竞价排名的员工从侧面证实了百度的一些操作迹象:“销售的压力确实有时候迫使我们做出一些封站的举措。本来,高层的战略决策是力求公正,但是到下面执行层面,在业绩等大棒的驱使下,必然会出现不同程度的偏离。”

另据本刊记者了解,百度公司曾在位于北京市海淀区丹棱街18号的创富大厦4层云集了500多名的销售人员,专门点击竞价排名客户的网站。客户投放的几千元钱几天内就被点完的现象并不鲜见。据统计,有超过50%的搜索引擎广告主或者广告代理遭遇过点击欺诈。

“搜索引擎竞价排名作为一种商业模式本无可厚非,但百度对于一些商业词汇的搜索结果,能连续超过3页都是竞价排名,这完全超出了公正性的限度。”业内一著名搜索厂商发表了自己的看法。

对此,雅虎竞价销售部数据分析师卢欣表示,“搜索引擎基本上都是公正的,只是各自算法不同罢了。”但在谷歌中国工程研究院副院长、谷歌全球工程总监刘骏看来,“只要涉及到人工干预就是很大的不公正性。”

对于外界的指责,9月25日,百度对本刊记者抛出了“盈利压力和中国特色经营”这一论调。徐继业说,如果将像Google那样只把广告放在右侧,这完全不符合中国的现实情况,因为中国网民对右边的广告基本不买单,赖以生存的盈利模式促使我们作出如此选择。

饱受争议的公正性

“百度搜索质量一直在下降,其已经沦为邪恶的公司。”谈起百度,中搜CEO陈沛一脸恼怒,“我有一种被人操纵的感觉。”

经过监测,陈沛发现了一个奇怪的现象:近半年来,中搜与3000多家合作伙伴共同经营的“行 业中国网”中的许多页面,在百度搜索结果中时有时无,而在Google和雅虎等搜索引擎中则不存在这种情况。“我们的网站无论是从点击率还是整体质量都很 不错,为何单在百度中搜索不到,这是百度在人为屏蔽。”

而一年前,中搜在百度做竞价排名时,行业中国网的页面一直可以搜索到。“难道必须付费才能出现在搜索结果中?”陈沛一脸茫然。

中国雅虎原副总裁,有“搜索一姐”之称的张忆芬曾公开表示,将自然结果和商业结果混淆很不公正。专家则认为,随着竞价排名广告的增多,将影响到搜索引擎本身的公正性和网民体验。

另一位不愿透露姓名的站长透露,百度销售员工经常“勒索式营销”,绝大多数人对“百度垄断” 敢怒不敢言。 一些网络媒体甚至对百度的不公正性都不敢过度给予曝光,怕其封杀。据悉,包括新闻门户新浪、搜狐等都曾先后被百度屏蔽过。 对于上述种种封站或者未被百度收录的现象,百度回应称,“我们没有义务收录任何一家网站。”

不可否认,百度利用此举赢得了巨大的收益。据媒体公开报道:2007年,百度年收入为17.444亿元人民币,比2006年增长108.2%。而其2008年第二季度的财报显示,百度收入突破一亿美元。

为转移公众对自身诚信问题的关注,百度发言人在9月16日公开表态,称在最近的三鹿事件中, 阿里巴巴在 利用旗下资源对有关谣言进行大面积传播。百度称已经对相关信息取证,威胁有可能对其进行法律诉讼。在声明中,百度还宣称,阿里巴巴之所以积极地对谣言进行 推波助澜,真正原因在于百度即将推出的C2C业务,而阿里巴巴对于竞争对手的出现“不顾道德原则,不择手段进行打击”。

马云领导的阿里巴巴当天就站出来进行回击:“我们无意去质疑某些同行在此事件中承担的角色, 我们也无意去要求某些同行拥有跟我们一样的普世价值,我们只希望,数以千计的孩子在饱受问题奶粉带来的伤痛之时,我们能够告诉公众的信息多一点,再多一 点,而不是用某些技术手段将之隐蔽……”

结果很显然,百度攻击不成,反而被站在道德高地上的阿里巴巴痛斥一顿。事实上,因为百度排名的紊乱,早在2007年底,因百度竞价排名经常有展示无点击、有点击无转化,阿里巴巴旗下公司淘宝网就已经开始屏蔽百度。

今年9月8日,淘宝网正式向外界宣布屏蔽百度链接,淘宝网负责推广工作的卢维兴更是言之凿 凿,向百度搜索公信力进行“炮轰”:“2007年淘宝网投放的百度竞价排名点击转化率不足1个百分点,而淘宝商家自行投放的百度竞价导流,需要上万次点 击,花费近3000元才能通过百度构成一次交易。”

当然,淘宝屏蔽百度跟后者进军C2C有莫大关联,但其搜索公正性沦为自我标榜的一纸空文却是不争的事实。

除了百度,稳坐国内搜索领域第二把交椅的谷歌在此问题上也好不到哪里去。

2006年初,交友网站世纪佳缘每天在Google上花费上千元购买关键字,以便让用户更快 捷地找到自己的网站。但Google的“赞助商链接”中,“世纪佳缘”的网址却被链向其他交友网站。无独有偶,今年4月,国内第三方支付平台快钱网提供截 图显示,在谷歌广告链接“快钱”的网址竟是一家属于eBay旗下名叫贝宝的支付平台。

本刊记者在采访中了解到,开展搜索业务的公司采取人工干预搜索结果,这在圈内已是众所皆知。 这也因此导致在今年9月17日,网易CEO丁磊在有道搜索发布会上直接“炮轰”行业怪象:“现在有搜索引擎企业通过搜索去偏袒自己的产品和业务,这对整个 产业的公信力是非常负面的。”

第三章 要金钱还是要公正性

“如果我们相信互联网会有百年,如果相信互联网会长存,我们就应该看见只有10年历史的搜索引擎就像一个幼稚的孩子,一定会发生巨大的令人震惊的改变。”中搜陈沛曾如此预言。

在未来的搜索漫漫长路上,公正性和商业利益,这一看似不可调和的矛盾,在国内搜索领域,能否实现“鱼和熊掌”的兼得?

公正决定未来格局

“若把搜索引擎单纯当作网络营销工具、方法或手段,使用人工干预的竞价排名无可厚非,但如果 把搜索引擎当成‘媒介’,是社会大众获取信息的渠道,那么搜索引擎的‘客观、公正’就显得非常重要。” 赛迪顾问互联网与电子商务咨询中心咨询师危贵川如此表示,“当下,搜索引擎已经由营销方式上升为社会大众获取信息的重要渠道,竞价排名这种模式势必受到是 否公正、客观的质疑。如果为了金钱利益,利用搜索引擎来删除负面信息、控制社会舆论和批评,必然导致商业利益腐蚀社会公正、引起社会失范。”

正望咨询于9月16日发布的2008年CIC中国搜索引擎市场调查显示,百度在京沪穗三城市的市场份额首度下跌,就与其深陷三鹿屏蔽门,遭遇公正信任危机有莫大关联。

水能载舟,亦能覆舟。百度虽然仍是搜索引擎领域的霸主,但一旦其公正性遭到用户的质疑,这将使得用户飞速流逝。

谷歌李开复和百度副总裁任旭阳对这一问题,少见地达成了一致:影响搜索市场未来格局的主要因素将是用户的选择。如果搜索引擎不能保证其独立性、公正性,也就失去了登录的必要,用户的选择也就成了一句空话。

业内评论家表示,作为业内领先的搜索服务商,应该有一个客观、公正的评价体系提供给所有的网络经营者。点击欺诈、屏蔽网站等不公正手段如果不彻底解决,终将危及整个搜索的产业链。可以说公正性对未来搜索格局起着至关重要的作用。

因为,搜索引擎成功的关键就是对网络信息的公正、合理化的整理。10年前,Google就是靠微小的技术和公正优势在新经济中坐收巨大利益。而且,搜索引擎的转换成本很低,未来哪家推出更好、更受网民喜爱的搜索引擎,网民们将像浪潮般冲向另一岸。

据微软研究院一名技术专家透露,在互联网上,有75%的内容是通用搜索引擎搜索不出来的,而 这也引发出垂直搜索引擎的诞生。这一说法得到了爱帮网CEO刘建国的认可:“垂直搜索专注在某一个领域,用户到这个网站去搜有特定需求的时候,就可以得到 更好、更高效的一个满足,这是垂直搜索的价值所在。”而垂直化搜索的商业模式除了竞价排名之外还可以提供多种广告盈利模式,并且垂直搜索引擎能提供更为集 中的受众群体,因此它的“单次点击有效率”相比通用搜索引擎更为有效,风险更小。

目前,国内对百度的竞价排名等人工干预虽然诟病颇多,但在制约手段的建立上处于真空状态,缺乏相应的措施。而国外就立即采取立法的手法来规范这一市场。

2001年7月,美国俄勒冈州的消费者团体向联邦交易委员会提出申诉,控诉一些搜索引擎厂商 没有将“广告”信息与普通搜索结果明确区分开,涉嫌违反“禁止虚假商业行为”的联邦法。2002年6月,美国联邦贸易委员会发布了有关“明示搜索引擎广告 信息”的文件,要求各搜索引擎采取必要的措施标明搜索排序中的付费链接。

“这样用户可以清楚地知道,哪些搜索结果来自付费广告主,哪些来自普通的相关性搜索,这样也 可方便用户找到他们真正需要的信息。”谷歌刘骏介绍说,“后来,美国联邦贸易委员会的要求逐渐成为搜索行业的规范,美国的搜索引擎厂商也都按此要求进行逐 步整改。目前除了中国,国际上绝大多数的搜索引擎都已严格地将广告和内容区分开来。”

在业界评论家看来,如果国内搜索控制舆论没有相关的法律法规来制裁,总有一天,网络自由也将会沦陷为资本的附属品。

中国互联网协会互联网政策与资源工作委员会学术专家胡钢曾对媒体表示,搜索引擎的 “推广方式”或“赞助商链接”在本质上依然属于广告。但由于崭新性,搜索引擎尚处在广告法的监管盲区,这使得搜索引擎服务商得以明目张胆地大打“擦边球”。

现在,也许是政府部门着手解决这个问题的最佳时间。

没有评论: