大数据，究竟有多“神”
关键词：大数据
2014-04-09 09:04:43 查看次数:1913次
大数据(big data)，或称巨量资料，指的是所涉及的资料量规模巨大到无法通过目前主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策的资讯。
大数据是当今最“潮”的概念之一，已经走进了人们生活的角角落落。大数据时代，每个人都是数据的贡献者。预计到２０２０年,一个中国普通家庭一年产生的数据相当于半个国家图书馆的信息储量。今年两会，“大数据”第一次出现在政府工作报告中，这表明，我们对大数据重要性的认识上升到国家层面。与互联网的出现一样，大数据带来的不仅是信息技术领域的革命，它正在改变着人们的生活以及我们理解世界的方式，并成为更多新发明、新服务的重要源泉。
IT“红人”大数据
在汉诺威IT展上，大数据是广受关注的“红人”，从商业分析，到预防疾病，再到国家安全，它的身影出现在方方面面。
大数据指对不同来源的海量数据进行分析并从中获得所需信息的一类技术。比如在这个数字时代，人们会经常收发邮件、网上购物、社交媒体发帖……每天都会产生大量数据。企业对这些数据进行分析，就能从中挖掘出商业价值。
常见例子是对消费者群体购买和评价某个产品的大数据分析。德国第二大软件厂商Software AG就推出了这样一款产品APAMA，它是一个消费者体验管理软件。在手机、谷歌眼镜等移动设备安装了这种软件后，只要扫一下产品旁边的二维码，源于大数据的产品介绍、用户评价、价格对比等信息均会实时显示出来。消费者可以将其价格与通常比较便宜的网店进行对比，觉得合适时即可出手，在手机等终端上将其放入网上购物车，并得到商家的电子折扣优惠券。
从商家的角度看，可借此软件了解究竟发出了多少这样的优惠券，又有多少人实际付款，从而获知产品的关注度并分析为何有的产品关注度很高却实际付款少，根据情况对店铺管理进行优化。同时，利用大数据实时分析，商家还可根据时下什么产品在网上口碑最好，什么颜色的产品在某地区受欢迎等因素来调整营销策略。APAMA产品副总经理贾尔斯·纳尔逊说，大数据中隐藏着巨大的商业价值。
精准广告投放已很普遍
很多女性可能有这样的经历，使用某浏览器在淘宝、京东等购物网站上购买过一本关于怀孕的书籍后，在之后十个月左右的时间里，你的浏览器两侧的广告栏里不断出现怀孕所需要的东西，如营养食品、对胎儿无影响的孕妇用药、胎心监测仪、体温计、血压计等产品广告，登录原来的购物网站，也会在首页向你推荐这类产品。而且，在十个月之后，你会发现，以上这些广告开始变成婴儿用品了。
你以前可能对浏览器广告非常讨厌，但对这类广告，你却欣然接受，因为它推荐的产品正是你所需要的。这实际上就是大数据应用的一个简单案例。你的浏览经历已经被浏览器和电商所记录，通过对用户浏览记录进行大数据分析，就可以推测出你目前是一种什么状态，今后又将经历哪些状态，于是，专为你定制的广告就在你需要的时候出现在你的眼前。
大数据最本质的应用就在于预测，即从海量数据中分析出一定的特征，进而预测未来可能会发生什么。实际上，上述例子仅仅是大数据应用的最初级阶段。因为它所涉及的数据的范围并不广泛，其分析原理也非常简单。而如前言所述，大数据有数据量大、数据多样性等特征,实际是将各个维度的数据进行综合分析进而进行一定的预测。当不同的数据流被整合到大型数据库中后，预测的广度和精度都会大规模的提高。例如，当一个数据库从不同的数据来源获得了你使用手机的时间和地点、信用卡购物、银行卡电子收费系统、使用QQ等聊天工具的对象、你的QQ好友关系图、你在新浪微博、腾讯微博的收听及被收听关系图谱、你交纳的水、电、燃气费等各方面的数据，数据分析师就能通过匹配获得你生活的不同侧面。通过大数据，数据分析可以发现各种各样的关联。通过分析，可以发现你多方面的需求，并不仅仅是诸如怀孕书籍和尿不湿之间的简单关联了。在数据足够“大”的情况下，你生活中几乎所有的需求都可能会被预测出来。例如，从数据分析出你可能会约会，于是会向你推荐衣服；从数据推测出你会出去旅游，于是向你推荐相关装备及旅行方式等。
医疗卫生体系会更加精密
在医疗领域大数据也有很好的应用前景。IBM公司今年推出了“健康大数据”项目，在床垫或者枕头中安装传感器，可监测使用者的心跳、呼吸等睡眠数据，并传至手机、平板电脑等移动终端，最终用于分析疾病风险等目的。IBM希望通过长时间收集、评估这些信息，构建一个健康大数据平台，从而帮助人们预防疾病。
通过分析大量用户的搜索记录，比如“咳嗽”、“发烧”等特定词条，谷歌公司能准确预测美国冬季流感传播趋势。和官方机构相比，谷歌能提前一两周预测流感爆发，预测结果与官方数据的相关性高达97%。2009年，在甲型H1N1流感爆发的几周前，谷歌的工程师们公开发表了一篇论文，不仅预测流感即将爆发，并且其预测还精确到美国特定的地区和州。这让人们感到十分震惊。准确预测流感疫情，说起来并不复杂，谷歌一直致力于对用户检索数据的分析。用户求医问药等搜索数据可谓海量，把这些数据再拿来与美国疾控中心往年记录的实际流感病例信息相比对，就帮助谷歌作出了准确预测。
在日本也有相似的应用，日本国内有一个网站，你只要打开这个网站用自己的社交网站账号登录，就可以在短时间内通过数万条社交网站记录找出可能感冒的人，并通过过去的感冒情况和今日的感冒情况进行分析，另外该程序还会结合气温和湿度的变化来预测将来感冒的流行情况，并制作一个“易感冒日历”。目前，此类服务正在日本陆续展开。
对个体而言，大数据可以为个人提供个性化的医疗服务。过去我们去看病，医生只能对我们的当下身体情况做出判断，而在大数据的帮助下，将来的诊疗可以对一个患者的累计历史数据进行分析，并结合遗传变异、对特定疾病的易感性和对特殊药物的反应等关系，实现个性化的医疗。还可以在患者发生疾病症状前，提供早期的检测和诊断。早期发现和治疗可以显著降低肺癌给卫生系统造成的负担，因为早期的手术费用是后期治疗费用的一半。
个性化教育可能真正实现
在传统教育模式下，分数就是一切，一个班上几十个人，使用同样的教材，同一个老师上课，课后布置同样的作业。然而，学生是千差万别的，在这个模式下，不可能真正做到“因材施教”。
举例来说，一个学生考试得了88分，这个分数仅仅是一个数字，它能代表什么呢？88分背后是家庭背景、努力程度、学习态度、智力水平等，把它们和88分联系在一起，这就成了“数据”。大数据因其数据来源的广度，有能力去关注每一个个体学生的微观表现———他在什么时候开始看书，在什么样的讲课方式下效果最好，在什么时候学习什么科目效果最好，在不同类型的题目上停留多久等等。这些数据对其他个体都没有意义，是高度个性化表现特征的体现。同时，这些数据的产生完全是过程性的：课堂的过程，作业的过程，师生或同学的互动过程……而最有价值的是，这些数据完全是在学生不自知的情况下被观察、收集的，只需要一定的观测技术与设备的辅助，而不影响学生任何的日常学习与生活，因此它的采集也非常的自然、真实。
在大数据的支持下，教育将呈现另外的特征：弹性学制、个性化辅导、社区和家庭学习、每个人的成功……大数据支撑下的教育，就是要根据每一个人的特点，解放每一个人本来就有的学习能力和天分。
小数据时代，数据掌握在精英手里；大数据时代，数据掌握在老百姓手里。大数据的公开透明，可以推动社会变革发展，更大意义在于，人人可以通过分析大数据，对自己的未来作出理性抉择。数据时代，“人人皆可成才”，将从理念走向现实。
引领未来的新兴产业
我国对大数据的搜集利用主要体现在电子商务领域：电商通过物流掌握用户数据，进行线上线下联动；通过分析购买商品的数据，精确进行商品推荐等。
在今年政府工作报告关于产业结构调整的论述中，大数据首次出现，与新一代移动通信、集成电路、先进制造、新能源、新材料等一起，成为要引领未来产业发展的新兴产业。与互联网的出现一样，大数据不仅是信息技术领域的一场革命，它将在全球范围内启动透明政府、加速企业创新、引领社会变革。
最早提出“大数据”时代已经到来的机构是全球知名咨询公司麦肯锡。麦肯锡在研究报告中指出，数据已经渗透到每一个行业和业务职能领域，逐渐成为重要的生产因素；而人们对于海量数据的运用将预示着新一波生产率增长和消费者盈余浪潮的到来。
麦肯锡的报告发布后，大数据迅速成为了计算机行业争相传诵的热门概念，也引起了金融界的高度关注。随着互联网技术的不断发展，数据本身是资产，这一点在业界已经形成共识。如果说云计算为数据资产提供了保管、访问的场所和渠道，那么如何盘活数据资产，使其为国家治理、企业决策乃至个人生活服务，则是大数据的核心议题，也是云计算内在的灵魂和必然的升级方向。
大数据时代网民和消费者的界限正在消弭，企业的疆界变得模糊，数据成为核心的资产，并将深刻影响企业的业务模式，甚至重构其文化和组织。
一家名为“埃森哲”的管理咨询公司去年调查了600家英美公司发现，33%的受访企业表示正在整个企业范围内积极使用大数据。68%的企业认为，企业自身的高管团队作为一个整体，能够参与和支持数据分析法的部署，并基于事实情况作出决策。有三分之二的公司在之前18个月任命了负责数据管理和分析工作的高管，其他企业中的71%准备任命此类高管。
美国通用电气公司就较早地意识到了大数据这个难得的机遇，并采取了行动。通用电气正启动在旧金山湾区投资15亿美元，建立一个全球软件和分析中心，拟雇用至少400名数据科学家，现在已经有180名各就其位。