我读《大数据时代》

——《大数据时代》读后感

公司组织的一次读书学习，让我有机会读到了《大数据时代》一书。书的扉页上写着本书作者维克托·迈尔·舍恩伯格的简介：被誉为“大数据时代的预言家”，现任牛津大学网络学院互联网研究所治理与监管专业教授……他是欧盟互联网官方背后真正的制定者和参与者……他是最早洞见大数据时代发展趋势的数据科学家之一。作者如此光鲜眩目的头衔和“大数据”这个新奇（对没看过这类书的我而言）的名词（或事物）吸引着我走向书的深处去。

随着数位IT名人的推荐、译者自序以及本书的引言，我逐渐对所谓大数据有了一个初步的概念：随着计算机技术和互联网全面融入我们的社会生活，信息爆炸累积形成了海量的数据，是为大数据。其所涉及的资料量规模巨大到无法透过目前主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。大数据具有4V的特点：即数量大（Volume）、速度时效高（Velocity）、品种繁多（Variety）和价值密度低（Value）。而本书的主旨即是——大数据开启了一次重大的时代转型，开启了一场生活、工作和思维的大变革。

作者将本书分为三个部分。第一部分提出了大数据时代处理数据理念上的三大转变：全数据模式，样本=全体、不是精确性，而是混杂性、不是因果关系，而是相关关系；第二部分作者从世间万物皆数据化、通过数据创新，不断发掘大数据的价值以及大数据价值链的三大构成等三个方面来阐述大数据应用及发展；最后一部分，作者分析了大数据带来的威胁以及解决之道。

第一部分讲的大数据时代处理数据理念上的三大转变，实际上更多的是阐述大数据应用的理论依据。这三大转变也是利用大数据的基础。

首先，在分析了随机样本的利与弊之后，作者提出全数据模式，即样本等于全体。在信息处理能力受限的年代，世界缺少用来分析所收集数据的工具，因此随机采样应运而生；而当今社会无处不在的信息感知和采集终端为我们采集了海量的数据，而以云计算为代表的计算技术的不断进步，为我们提供了强大的计算能力，可以对这些数据进行处理，于是，全数据模式诞生。作者援引谷歌通过检索词条预测2009年的H1N1流行病毒流行、Farecast票价预测工具节约旅客购票成本、乔布斯对自身所有DNA与肿瘤DNA进行排序以与癌症斗争等经典的案例，这些案例动辄上亿、万亿甚至更多的数据量。这些案例向我们证明这些以亿万计的大数据可以告诉我们更多，而这些是抽样数据所无法也不可能实现的。

其次，作者写到“执迷于精确性是信息缺乏时代和模拟时代的产物……如果不接受混乱，剩下95%的非结构化数据都无法被利用，只有接受不精确性，我们才能打开一扇从未涉足的世界的窗户”而这其中的经典案例包括：无所不包的谷歌翻译系统、Hadoop与VISA的13分钟、IBM Candidate计算机翻译项目等。最经典的是谷歌翻译系统，它接纳所有的数据，对的、错的、混杂的，所有的内容混的一起时，它的翻译才达到最好。就象我们社会人一样，初入社会，对的、错的、混杂的，都会接触，经过正确的引导，我们会知道哪些是对的，哪些是错的……有了错这面镜子，才让我们更能理解什么是对的。或许，从这一点去理解混杂性，谷歌接受了那些错的、混杂的内容，才让它的翻译系统更加智能，所以才更出色。

第三，作者提出了一个我们惯常思维的观点，即不是因果关系，而是相关关系。作者提出，知道“是什么”就够了，没必要知道“为什么”。虽然这样的说法有些武断，但我想作者的用意并不是完全否定因果关系的存在，作者只是提出：在大数据时代往往知道是什么要比知道为什么来的更实在。因为，建立在相关关系分析法基础上的预测才是大数据的核心。而所谓预测就是指出某种可能或结果，如书中的案例把大数据的预测能力进行了很好的展现，沃尔玛把蛋挞与飓风用品摆在一起、UPS与汽车修理预测、纽约大型沙井盖爆炸预测。从这个意义上讲，这还是一种因果关系：正是由于大数据形成的某种“因”，才会据此预测出某种“果”。个人认为，大数据预测简而言之，就是数据在量的积累下，经过技术处理，会有质的转变，变不可能为可能，如蛋挞与飓风用品摆在一起；会提供一种新的方式来帮我们解决现实生活的难题，如UPS与汽车修理预测。

第二部分讲的大数据应用及发展所引发的商业变革。

讲到应用与发展，作者用莫里的导航图、日本先进工业技术研究所越水重臣教授进行的坐姿研究与汽车防盗系统、谷歌的数字图书馆等经典案例证明了大数据蕴藏着巨大的商业价值。作者再次提出：一切皆可“量化”。而量化一切，是数据化的核心。当文字变成数据，有了谷歌数字图书馆；当方位变成数据，有了GPS；当沟通变成数据，我们无所遁形。

大数据的发展需要有商业的推动，而大数据的价值需要通过创新性的分析来释放。大数据正因为其数量之巨，所以其潜在价值就越多，而我们则需要运用思维、创造力、技术工具，来释放大数据的隐藏价值。为此，作者提出了多种数据创新方式以及列举的案例来说明，如何发掘数据的所有价值。所以，大数据的价值在于对它如何使用，而不是占有本身。

作者根据所提供价值的不同来源，将大数据公司分为三种：1.基于数据本身的公司，他们拥有或者有能力收集到大量数据；2.基于技能的公司，他们掌握分析使用数据或对数据进行创新性用途的才能；3.基于思维的公司，他们有怎样挖掘数据新价值的独特想法。 这也是大数据价值链所包括的三大构成部分。更明白的说，就是有数据、有想法、有分析工具这三种公司。这也从三个方面提出了企业在大数据时代的生存法则，善于收集数据、知道用数据的目的、有能力用数据。

大数据成为许多公司竞争力的来源，未来可能整个行业的结构会发生改变。大数据也将会影响国家竞争力。当制造业已经大幅转向发展中国家，而大家都争相发展创新行业的时候，工业化国家因为掌握了大数据以及大数据技术，所以仍然在全球竞争中占据优势。作为发展中国家，我国的大数据技术可能才刚刚起步，在国内，百度已经致力于开发自己的大数据处理和存储系统；腾讯也提出2013年已经到了数据化运营的黄金时期，如何整合这些数据成为未来的关键任务。另外，如移动、电信、淘宝、携程都有很好的大数据基础，完全可以在大数据领域一展拳脚，创立中国的大数据公司，为提高中国的国家竞争力作出贡献。

第三部分作者为我们分析了大数据带来的威胁以及应对之道。包括隐私泄漏、过于依赖数据（它远没我们想象的那么可靠）、对大数据的滥用等不利影响。为此，作者也提出了相应管理和技术变革进行应对。其实，大数据是一个新生事物，大凡是新生事物，总是有利必有弊。人类尽利其利，所以技术进步；同时也穷防其弊，这样也会带来技术进步。正如矛盾之理，有矛之利则必须盾之坚以防之。人类社会正是在这种此消彼长中不断进步。我们要意识到新技术的风险，促进其发展，利用其成果。正如作者所说，我们不能当数据的奴隶，而是要数据为我所用。

总之，大数据是信息通信技术发展积累至今，按照自身技术发展逻辑，从提高生产效率向更高级智能阶段的自然生长。大数据虽然孕育于信息通信技术的日渐普遍和成熟，但它对社会经济生活产生的影响绝不限于技术层面，更本质上，它是为我们看待世界提供了一种全新的方法，即决策行为将日益基于数据分析做出，而不是像过去更多凭借经验和直觉做出。

大数据时代是信息社会运作的必然结果，而借由它，人类的信息社会更上一个台阶。农业社会人们以土地为核心资源，工业时代转为能源，信息社会则将变更为数据。谁掌握数据，以及数据分析方法，谁就将在这个大数据时代胜出，无论是商业组织，还是国家文明。

“凡是过去，皆为序曲”，大数据带来的大变革才刚刚开始。