校内网CTO：校内网规模架构应用

从20台到5000台服务器

       作为校内网的CTO，黄晶对过去几年校内网IT基础建设的过程历历在目。

       “如果要把这个历程分成几个阶段，那么在我看来，校内网的IT基础设施建设目前经历了三个阶段”。

       黄晶对Csdn记者谈到，第一个阶段是校内网创业的阶段，那时候，校内网的主要推广对象是国内比较好的一些高校，但数量很有限，用户数不太多，访问量也不大，因此，当时选择了一个IDC并租赁了20台左右的服务器。

      “随着业务的发展，校内逐渐把业务覆盖到了全国，与此同时，数据量可以呈现几何式的增大，带宽与存储迎来了瓶颈，因此在那时候，公司开始寻找新的IT基础架构解决方案，并因此而找到了世纪互联做服务器的托管，几年的时间，服务器的数量从几十台上升到了近5000台。”

       “但问题也随之出现，虽然带宽够大，但是找IDC托管的这种运营方式成本太高了，尤其是对校内这种已经有一定规模的SNS网站来说，因此，后来直接找到了网通与电信的机房，将服务器托管到这里，以DNS访问流的形式来解决。

数据集中与分散的问题

      “从目前来看，异地数据中心之间的联系是个很大的发展瓶颈”，黄晶表示道，目前校内的两个主力机房，一个在电信一个在网通，从服务质量来说，目前是非常好的，但是也有发展的局限性，“比如现在对一些象视频、图片的服务内容，目前是通过CDN的解决方案，在全国各地建点，这样全国各地的用户都能够体验到SNS的高速服务，但这当中有很多还可以优化的空间，比如带宽量太大、数据集中化的问题等等。”

       实际上，对SNS网站来说，目前的一大通病是数据集中化的问题，而一些静态的网站比如说门户等，可以通过CDN很好的解决这个问题，但是对SNS网站来说，一方面由于数据比较集中，另一方面，用户之间的相互响应需要非常及时（P2P），因此如果在各地建立分支机房，必须要解决数据同步传输的问题，而只有解决了这个问题后，才能通过容灾的点提供更好的服务质量。

       据了解，由于每天形成的数据量太大，大多数互联网公司并没有配置专门的存储设备，而是采用性价比比较高的方式，即分布式文件系统，把服务器虚拟成一个大的资源池，并用分布式文件系统软件管理硬盘。

       校内网也面对同样的问题，黄晶表示道，“目前校内每天产生数据量最大的地方在于相册，还有一些音乐，而光相册这一部分，每天会产生几个T的数据量，对存储的压力很大。”

       “目前校内两个大的节点，通过光纤连接进行内网的传输”，黄晶进一步谈到，“总之异地数据中心之间的联系是个很大的发展瓶颈，因此，校内网在解决多个数据中心间数据同步传输的问题上，花了很大精力，比如软件需要改进，比如cache的同步，算法的替换等等，还有如何通过公网完成同步的问题，对系统软件有更高的考验。”

       而在数据备份的策略上，校内网也是采取了几种不同的形式。

       “首先是在线的备份， 为了保证实时数据的安全，每份数据至少有两个线上的拷贝，这样即使一个硬盘坏了，另一个硬盘也能完整的恢复”他谈到，“其次是离线的备份，主要是为了应对机房大的故障，会用磁带+磁盘的方式。”

       但是磁带的备份方式同样有缺陷，黄晶对csdn记者表示，“虽然磁带保存和运输比较方便，但问题在于恢复的时间太长”，“目前已经在和做虚拟磁带库的厂商有接触，并在做一些测试。”

金融危机影响不大 但也需要节省开支

      从黄晶对csdn记者描述的情况来看，实际上，对SNS类网站来说，09年受金融危机不大，IT规模投资依旧保持增长。对于这个原因，黄晶这样解释道，“校内网本身是一个发展中的互联网公司，发展速度很快，发展并未受金融危机影响，其次，从服务的内容来看，DNS网站目前提供的是一种面向大众的服务，是一种基础性的需求，并非实体性的经济，因此受影响不大，相反一些增值业务发展速度比往年更快。”

       但是随着网站规模的进一步扩大，运营成本再次扩大，校内这几年在节省运营成本上也是下了很大工夫。

       首先，所有的软件基本上是用开源的软件，比如一些补丁提供给开发者开发，同时校内在去年还与Apache搭建了一个联合的实验站点，以推动开源软件的发展。

       对于一些新的技术，比如虚拟化、多核等，黄晶表示目前非常关注。比如现在有一些Linux软件在多核下发挥不出来优势，会尝试升级软件内核来适应多核硬件。

       而对于虚拟化技术，黄晶更是深有体会。

       “虚拟化技术实施的成本并非很高，比如亚马逊的云计算平台，是将主机切成很多个小的虚拟机，然后销售给个人或者是开发者，但个人网站的访问量通常不会太大，因此比较适合用虚拟化的方式来解决。”

      从黄晶对csdn的描述中，我们也了解到，对于虚拟化技术，校内曾经有过尝试，包括Wmware、Xen等。黄晶谈到，“虚拟化技术是一个正在不断成熟的技术，校内去年曾做过一些尝试，但发现虚拟机本身会消耗掉服务器的一部分资源，因此在终端处理能力上也不如物理机高，但我们一直关注这个技术，比如Intel今年推出的Nehalem平台，加入了非常多的虚拟机支持技术，比如硬件绑定技术，在处理时绕过了虚拟层，这样能够把虚拟机本身对主机的消耗降到最低，以前一台物理机分划分出两个虚拟机，但每个虚拟机都达不到物理机的1/2，只能到30%多，但现在通过硬件绑定技术，每个虚拟机的性能能够提升到40%以上。”

       但是对于虚拟化技术，黄晶也谈到校内目前并没有大规模应用，“当条件合适，或者说技术再成熟一些，会考虑大规模的应用。”

两年内将自建数据中心

       “服务器托管只是暂时的，未来两三年内校内网将建立起自己的数据中心，”，黄晶透露道，“以校内目前的发展速度来看，两年左右，服务器的规模将达到10k以上，而那时候，自建数据中心的需求就必须提上日程了。”

       但黄晶也同时指出，自建数据中心的确是一个复杂的工作。

      他谈到，以现在的情况来看，服务器托管的费用比服务器折旧的费用并不少，电力成本很高，在租用的空间的利用率上也受到了很大的制约，比如一个机柜，基于电力配置的考虑，可能只能放一半的空间，对托管而言，这个浪费很大，如果自己有机房，自己可以把电力做充足一些，把空间利用起来。

      “但自己建数据中心是一个一次性投入很大的项目，需要各方面的人才，比如电力方面的专家、部署的专家，散热方面的专家等等，才能做出一个完整的方案”，“因此，将来自建数据中心有两大考虑因素，一是成本，二是容灾的问题，比如火灾、地震等，能够实现数据的实时迁移。”

未来关注的业务领域

       对于公司的新业务，黄晶认为，开放平台将是校内网下一步关注的重点，将来校内会推出一些开放平台给开发者，比如提供虚拟机，可以让开发人员尝试用比较低的成本去做开发。

       “开放平台将是一个机会，比如今年异军突起的twitter技术，校内会越来越开放，会越来越平台化，希望更多的Developer能够与校内一起做更多的应用，只要是好的程序都能够被大众所接受。”

       移动则是校内关注的另一个重点领域，据了解，校内自从去年三月就推出了手机WAP版本， 经过一年的发展，通过手机访问的网站中校内网排行第四。

       “我们现在非常关注android平台的发展，包括iphone平台的发展，将陆续推出这些平台的应用，从数据中心建设来看，为了更好地支持手机访问，很多手机厂商会有Server Push(推技术)，从校内网的角色来看，需要做到的是保证移动的品质，以及网关的顺畅。

       而在沟通平台上校内网还将投入力量进行建设，比如即时消息和mail等。

       Csdn采访手记：事实上，IT还是个幼稚的行业，只容纳得下最勤奋思考的人。在传统的思维模式中，SNS网站他们的包袱不大，似乎不需要自建数据中心，因为他们的任务就是寻找雇佣最好的软件人才，以及使用最好的技术开发出最流行最热门的产品，但是从此次与黄晶的对话中，我们了解到了，随着运营成本的增加，以及传统骨干网络的技术瓶颈，自建数据中心对SNS网站而言，已经提上了议事日程。

       对电信骨干网运营商而言，当他们意识到P2P网络的威力之时，他们也应该开始改造他们目前基于服务器构造的基础设施了。