大数据时代悄然而至
我们每天会坐在电脑前网上搜索、购物、发信息、发图片,用手机打电话、发彩信……很多人都在不经意中制造和使用着数据,因此,产生的数据量正在以惊人的速度增长——数据已经渗透到生活和工作的方方面面,成为时代的特征。
2003年,刚进大学的小强还没有自己的电脑,他省吃俭用花600元买了一个不知名品牌的MP3播放器,容量只有128M。拿到MP3播放器后他非常欣喜,因为这个MP3播放器能存储大约50首普通压缩率的MP3歌曲,还能当软盘用。而他之前一直使用3。5寸的软盘来存储数据,一张软盘的容量仅为1。44M。之前他用来听歌的设备是一台索尼随身听,要听新歌只能花钱买磁带,每盘磁带大约30元,只能存储10首歌,而且没法自己挑选想要听的歌。
十年过后的2013年,小强已经参加工作多年,他平时使用智能手机听歌上网,使用平板电脑玩游戏、购物、看电影,家里的笔记本电脑反而用得越来越少了。可是,最近他想买一个移动硬盘来存储高清电影,他在网上花600元买了一个2T的移动硬盘。这个2T的移动硬盘大约能存储1000部高清电影,如果用来存储普通压缩率的MP3歌曲,大约能存储80万首。
不考虑货币购买力变化及产品功能等间题,只考虑数据容量,同样是600元,2013年购买到的容量是2003年的1600倍。可是,小强还是觉得容量不够用,这10年里到底是哪里出了问题呢?是什么促进了存储介质的发展呢?
不仅是小强,几乎所有的个人、单位都已经觉得原来购买的存储设备容量不够用。随着互联网的逐渐成熟和发展,移动带宽迅速提升,云计算、互联网应用更加丰富。更多的传感设备、移动终端接入网络,由此产生的数据及数据增长速度迅速攀升。数据已经渗透到世界每一个角落、每一个行业和每一个业务职能领域,逐渐成为重要的生产因素和时代的标志;而人们对于海量数据的运用将预示着新一波生产率增长和消费者盈余浪潮的到来。
大数据时代已经悄然来临。在这样的背景下,人们逐渐认识到大数据给我们带来的作用,大数据的概念也逐渐在人们的脑海中凸显。这就让人们需要一个巨大容量的存储设备。所以,大数据产生的一个显著的标志就是:为了满足市场的要求,数据存储设备的容量越来越大,处理数据的速度越来越快。
以Facebook为例。2012年10月,Facebook声称其用户量已突破10亿人——近乎世界总人口的六分之一。仅仅是用户量就是一个巨大的数字,这让Facebook接待这些客户有些吃力,Facebook不得不开发各种各样的新技术以跟上用户暴涨的脚步,而这些都会需要数据去支撑的。
数据暴涨的不仅是人数,更有有人数剧增而产生的一些技术性数据。时代的发展让Facebook以惊人的速度处理的这些数据,据统计,Facebook每天需要处理近30亿个“赞”、25亿次内容分享以及3亿张上传照片。也就是说,这家公司每天存储的数据超过100PB,将这些数据分析处理后,得到超过500PB的新数据。这就相当于2000台MacintoshAir硬盘驱动器存储的数据量。你可能还不了解“PB”是什么样的数据单位,这个单位究竟有多大,但在下文你会知道这是个多么庞大的数字量。
权威机构的一项调查发现,百分之九十的企业的数据量在迅速上涨,其中近五分之一成的企业的数据量每年增长一半甚至更多。
调研机构IDC在2011年6月的报告显示,全球数据量在2011年已达到1。8ZB,在5年里增加了5倍。1。8ZB有多大呢?如果把所有这些数据都刻录存入普通DVD光盘里,光盘的高度将等同于从地球到月球的一个半来回,也就是大约72万英里,相当于每位美国人每分钟写3条推特,而且还要不停地写2。6976万年。IDC预测全球数据量大约每两年翻一番,2015年全球数据量将达到近8ZB,到2020年,全球将达到35ZB。我们可以想象,这是一个多么庞大的数据。当然,也让我们发现,大数据时代已经悄然而至。事实上,今天的全球互联网巨头都已意识到大数据时代数据的重要意义。包括EMC。惠普、IBM、微软在内的全球IT巨头纷纷通过收购大数据相关厂商来实现技术整合,这足以看出它们对大数据的重视。
……
展开