神马文学网InfoQ: 关注数据：百度首届技术沙龙总结(含资料下载)
来源：百度文库 编辑：神马文学网 时间：2024/05/06 07:27:25
关注数据：百度首届技术沙龙总结(含资料下载)
作者霍泰稳发布于2010年4月13日 下午11时14分
分享
|4月10日InfoQ中文站和百度合作举办了首届百度技术沙龙，邀请了百度Web开发高级工程师和豆瓣网系统程序员刘洪清分享了他们对数据交互的理解，本文简单总结了他们演讲的内容并提供了演讲资料下载。
据介绍，本这次是百度第一次深入社区，通过线下活动的形式和业界技术人员交流。从整个活动的策划和准备，以及百度在CSDN网站上开始的讨论专区，可以看出百度已经将与社区的交流提上了议事日程。在和百度讲师黄方荣、百度产品市场经理郑昊的沟通中，他们也提到虽然百度内部经常有类似的交流活动，但和外界的交流还是比较少，这次活动是一次尝试，如果效果不错，以后会继续和InfoQ联合举办类似的活动。
在黄方荣的演讲中，他主要介绍了数据在Web发展中的重要性，即“数据交互推动着Web的发展”，介绍的内容点包括：
- Server数据推送
- 域服务器数据交互
- 异域网面跨帧数据交互
- 客户端网页跨浏览器数据交互
- 数据的压缩处理
- WEB前后端交互的数据格式
- 数据交互推动着WEB的发展
在每个技术点中，黄方荣都列举了多个解决方案进行类比。比如在介绍Server数据推送时，他提到了轮询、长连接、伪长连接等不同的应用及各自特点。而对于数据的压缩处理，他则介绍了YUICompressor和GZIP不同的应用场景。最后，他总结说在Web2.0时代，Ajax大行其道，为网站提供了酷炫的交互界面，而在Web3.0时代，数据的交互将会更加人性化和简便。根据与会者的反馈，美中不足的是黄方荣在介绍数据交互的应用场景时，并没有比较多地涉及这些技术是如何在百度产品上使用的，这让许多慕名而来的技术人员有些失望。
刘洪清是豆瓣网的系统程序员，同时也是豆瓣开源数据存储系统BeansDB，这次他主要介绍了如何应用BeansDB来解决三千多万豆瓣用户持续增长的数据需求。豆瓣现在有超过3800万的用户，有15万个小组，430万条目，300万评论等，换算成后台的数据，则是200G结构化数据，800G文本数据，10T图片，6T音乐等等。要保证这些数据24小时的稳定性，安全性和可用性，并不是一件易事。豆瓣采取的措施就是将数据进行分类，比如将用户信息、好友关系等归为结构化数据类型，将文本内容、图片等归为小文件类型，而日志和备份数据归为大文件类型。然后采用不同的技术来解决问题，比如结构化数据用MySQL，小文件用BeansDB，大文件用MooseFS等。
在问答环节，有读者对豆瓣广播的实现方式很感兴趣，刘洪清介绍说：
豆瓣的广播跟twitter等微博客收件箱的实现思路不太一样，是只保持一分广播副本,在用户浏览的时候实时合并，依靠精巧的缓存和数据流设计，能够在用户可接受的时间范围内完成复杂的广播合并。这种方式可以大大减少数据库中的数据量和压力, 也与我们产品的某些特性配合得比较好。这种实现方式可行的前提是，用户的关注数是有限的，一般在一百左右，对社会网络的相关研究也是类似的结论。
对于MySQL的双Master如何实现，以及如何避免诸如自增ID等可能的数据冲突等问题，刘洪清也介绍了豆瓣的做法：
豆瓣目前的双Master主要是处于切换的便利性考虑，数据读写方面其实是Master-Slave结构，通过运维的方式来控制，同时只有一个Master是可写的，比如修改帐号权限等，这样就没有数据冲突的问题了。
本次百度技术沙龙的演讲资料现在已经可以下载，链接为：Web数据交互的艺术、豆瓣数据存储实践资料下载
本次活动原计划80人到场，结果有400多人报名，近300人到场，组织者不得不加急调整了一个大的会议室人到场。有读者开玩笑说，百度在开拓技术社区方面开了个头彩。我们也希望类似百度这样的国内大公司能够更多地关注社区，和社区分享他们的开发经验，让信息在社区内流动起来。