百度工程师:算法是百度利器科技频道科技创造财富

来源:百度文库 编辑:神马文学网 时间:2024/03/28 20:40:45
百度工程师:算法是百度利器
http://tech.163.com 2006-04-04 10:43:35 来源:赛迪网(北京)网友评论0 条论坛

“工欲善其事,必先利其器”,对于百度工程师来说,算法就是他们解决难题的利器。
为什么这么说?因为百度搜索引擎研发的各个环节都离不开算法。我们需要快速,准确、实用、创新和不断改进的算法来满足用户的需求。
百度面对的是海量的互联网数据,以及每天上亿次的检索请求。它要求百度能够收录和索引超过10亿的中文网页,并提供快速的检索服务。这只有高效率的算法才能完成。
百度招聘的工程师在加入公司后,有一道入门练习题,就是编写一个数据扫描分析程序,要求写出的程序能在1分钟之内扫描分析完千万量级的数据,才算及格。高水平的程序员可以利用高效的算法在10秒以内解决问题,甚至只要六七秒。但如果没用对算法,花一星期的时间,也做不到1分钟之内。
大家可以设想一下,百度有十亿以上的网页,如果要在一周甚至三天内处理一遍,平均每秒处理要多少个?每天1亿次的检索又意味着峰值时每秒要处理多少次检索?事实上,针对一个问题,我们可以想出很多的算法,但如果效率不高,是无法真正投入使用的。
Web搜索引擎是一个很新的研究领域,因为从它诞生到现在不过10年左右的时间。学术界IR(Information Retrieval)领域的研究为搜索引擎提供了不少算法方面的理论基础模型,但这些理论距构建一个好的Web搜索引擎还有很大一段距离。这需要我们探索和开发很多新的算法及系统。实际上,百度搜索引擎中的很多算法都极具创新性,而且都是基于实际应用的需求。这是和学术界研究工作的一个较大差异。学术界的算法研究主要是为了解决某个学术方面的问题,不是太关注实用性,以及效率。
举个例子来说,在传统的中文分词算法研究中,学术界最关注的是能达到多高的准确率,但对算法的运行速度上考虑的相对较少。可在百度,如果使用的分词算法速度太慢,就根本无法应用。此外,百度面对的是Web上的大量数据,大部分传统的IR算法都会遇到信息爆炸的问题,我们需要想出很多新的方法来解决这些问题。这对我们的工程师的算法提出了很高的要求。
Web上的数据是不断变化的,用户的检索需求也是不断变化的。百度就是要在这不断变化的两者之间需找一个最佳匹配。所以百度的算法需要持续的进行改进,以迅速适应这些变化。比如对搜索引擎来说有一个方面的技术很重要,就是判断一个网站是否在作弊的方法。由于那些针对搜索引擎作弊的人,如果能提高搜索引擎排名,将获得巨大的经济利益,所以他们会不断使用各种方法去猜测百度算法中潜在的漏洞,进行攻击。这是一个很复杂的问题,而且仍在不断发展变化中。这就要求我们能够迅速的发现这类问题,提出算法,并应用到百度搜索引擎中。在最短时间内消灭问题。否则作弊行为很快就会泛滥成灾。
在百度,算法的应用是融入到研发部门每个人的工作中的。在这里,不是经理告诉工程师做什么,怎么做,用什么算法,而是需要工程师自己在某个领域去发现问题,提出算法,评估效果,并不断改进。这要求每个工程师在算法上的基本功很强,并能灵活的加以应用,以解决实际问题。现在,百度有不少的程序员,他们大部分的时间是用在发现问题,分析问题,思考解决问题的方法上。实际编写代码所花的时间并不多。
有不少人觉得,现在的搜索引擎已经足够好了,算法上没有太多改进余地了。我不赞成这个观点。虽然每次CNNIC互联网用户调查的数据显示,超过90%的人对搜索引擎提供的服务表示满意,但是第一次搜索就能找到满意结果的用户只有50%左右,很多用户都是在多次更换关键词之后才搜索到自己想要的结果。这说明我们还有巨大的改进空间。让所有用户能在第一时间找到他们想要的信息,是我们的最终目标。
可以说,搜索引擎开发中使用的基本算法大部分都在大学课程中涵盖了。对于一个人来说,在学校学习过这个算法,和能够灵活运用是两个概念。只有通过参与较多的项目开发和程序编写,将算法和应用相结合,才能在这方面得到较好的发展。
对于算法学习,我的建议还是多思考,多做项目和程序。在做的过程中肯定会遇到一些问题,这是正常的。好的程序员善于从问题和失败中学到东西,举一反三,设法避免以后出现同样或类似的错误。另外,还要善于从别人身上学习,有意识的进行思考和总结,这是比较有效的方式
百度工程师:算法是百度利器科技频道科技创造财富 客户门前抗议"恶意点击欺诈" 百度称遭诽谤勒索·科技频道·科技创造财富 第四位 成吉思汗科技频道科技创造财富 柳传志:好的环境是前提 联想不当改革的牺牲品科技频道科技创造财富 [反思Web2.0]豆瓣只值80万?没流量2.0啥也不是科技频道科技创造财富 Google总部员工腐败生活(最新)科技频道科技创造财富 Google第一美女的工作流程科技频道科技创造财富 商业周刊:诺基亚联合西门子 直指中国市场科技频道科技创造财富 Del.icio.us的成功经验科技频道科技创造财富 Google Earth的十个常用技巧应用科技频道科技创造财富 看稀奇:六款非主流在线聊天工具科技频道科技创造财富 警惕数字冰河时代来临 科技频道科技创造财富 JSP编程进度条设计实例科技频道科技创造财富 Win基础:DOS操作系统·科技频道·科技创造财富 Cool 3d 3.5视频教程·科技频道·科技创造财富 Cool 3d 3.5视频教程·科技频道·科技创造财富 让Windows自动化安装2·科技频道·科技创造财富 让Windows自动化安装3·科技频道·科技创造财富 让Windows自动化安装4·科技频道·科技创造财富 百度算法最新调整:2010年百度十月份算法调整 站群再遭降权,疑似百度算法调整 百度算法更新后的思考 百度算法更新后优化注意事项 大学生找工作的十种web2.0方式科技频道科技创造财富