据国外媒体报道,当你必须扩大服务规模以应对日益增加的数据需求时,最好的参考对象可能就是Facebook了。这家社交网站最初只是为哈佛学生提供服务,现在它已经扩张到为约5亿用户服务。
用“5亿用户”这个数字来描述Facebook面临的扩展和存储需求可能并不充分。因此你可以看看下面这几个统计数字:用户每天在网站上花费的时间总计为80亿分钟,每周有35亿个内容被共享,每月上传的相片数量达25亿张,每秒有120万张相片被观看。而且,由于70%的Facebook用户在美国以外的地区,用户和数据中心所在的位置令处理和存储的数据量变得更加复杂。
因此毫不奇怪,某些传统的规模扩张方式对Facebook不起作用。如果用户互连的方式既是无法预测的,也是全球性的,你就不能简单地基于用户的位置,或基于用户将要使用的信息来共享数据库。
在Facebook发展的过程中,无论是在存储还是在交付内容方面,它都已经在开发了大量工具来处理数据,而且它还把其中很多工具开源了。根据Facebook的开源代码项目经理大卫·勒科尔(David Recordon)所述,Facebook一开始就是建立在开源代码技术的基础上的。但Facebook对开源代码的使用远远超出了LAMP堆栈(或甚至超出了LAMP堆栈加Memcached)的范围。Facebook曾开发并发布了几个开源项目,而且也深入参与了另一些项目的开发,其中最出名的也许就是Hadoop了。
下面就是Facebook的几个开源工具,它们大大提高了Facebook处理海量数据的能力:
Cassandra
Cassandra现在已经是Apache 软件基金会(Apache Software Foundation)的一个顶级项目。Cassandra是由很多数据库节点共同构成的分布式存储系统,可以支持比较丰富的数据结构, 是一种非关系型(NoSQL)数据库解决方案。设计Cassandra的最初目的是解决Facebook收件箱搜索的存储需要。
Hive
Hive是基于Hadoop的数据仓库平台,它的查询语言Hive QL类似于SQL,因此熟悉 SQL的人可以使用较丰富的查询方式来分析存储在Hadoop中的数据。Hive也是Apache 软件基金会的项目。
HipHop
为了节省服务器资源,Facebook开发了HipHop,它可以把PHP源代码转变成高度优化的C + +。HipHop在今年早些时候开源。
Scribe
Facebook的日志数据每天约为25万亿比特,其他工具难以处理如此大量的数据,所以Facebook开发了Scribe,以便从大量服务器上实时收集日志数据。
Thrift
Thrift是一个可伸缩的跨语言的服务开发框架,它目前是Apache的一个孵化器项目,
勒科尔表示,Facebook不仅努力开发内部新工具,也鼓励这些工具的外部发展和使用。不过可能很少有公司需要应对像Facebook那样巨大的数据存储和扩张需求,因此Facebook开源努力的意义在于建立一个“协作的可持续的发展模式”。
南京服务器托管 | 南京服务器租用 | 南京网站建设 | 南京企业建站 | 南京服务器代维 | 虚拟主机 | 顶级域名 | 网站优化 | 网站推广 | 南京中绘谷网络数据中心467.cn
| 整理发布 | TEL:13913852884,025-58633651,QQ:21390019