盘点与大数据相关的技术

在大数据时代已经到来的时候要用大数据思维去发掘大数据的潜在价值，目前，大数据形成决策的模式已经为不少的企业带来了盈利和声誉，那么支撑大数据创造价值的技术有哪些呢？

云技术

大数据常和云计算联系到一起，因为实时的大型数据集分析需要分布式处理框架来向数十、数百或甚至数万的电脑分配工作。云计算提供基础架构平台，大数据应用运行在这个平台上。

业内对大数据和云计算的关系这么阐述：没有大数据的信息积淀，则云计算的计算能力再强大，也难以找到用武之地；没有云计算的处理能力，则大数据的信息积淀再丰富，也终究只是镜花水月；两者相结合，可以提供更多基于海量业务数据的创新型服务，通过云计算技术的不断发展降低大数据业务的创新成本。

大数据需要的云计算的技术有虚拟化技术、分布式处理技术、海量数据的存储和管理技术、NoSQL、实时流数据处理、智能分析技术等。

 分布式处理技术

分布式处理系统可以将不同地点的或具有不同功能的或拥有不同数据的多台计算机用通信网络连接起来，在控制系统的统一管理控制下，协调地完成信息处理任务。

Hadoop是一种常用的分布式处理技术，实现了MapReduce模式，能够对大量数据进行分布式处理的软件框架，具有可靠、高效、可伸缩的特性。

Hadoop用到的一些技术：

HDFS: Hadoop分布式文件系统(Distributed File System) - HDFS (HadoopDistributed File System)；

MapReduce：并行计算框；

HBase: 类似Google BigTable的分布式NoSQL列数据库；

Hive：数据仓库工具，由贡献；

Zookeeper：分布式锁设施，提供类似Google Chubby的功能，由贡献；

Avro：新的数据序列化格式与传输工具，将逐步取代Hadoop原有的IPC机制；

Pig：大数据分析平台，为用户提供多种接口；

Ambari：Hadoop管理工具，可以快捷的监控、部署、管理集群；

Sqoop：用于在Hadoop与传统的数据库间进行数据的传递。

存储技术

数据可以抽象的分为大数据存储和大数据分析，大数据存储是用来支撑大数据分析的。目前，大数据存储致力于研发可以扩展至PB甚至EB级别的数据存储平台；大数据分析关注在最短时间内处理大量不同类型的数据集。

感知技术

大数据的采集和感知技术的发展是紧密联系的。以传感器技术、指纹识别技术、RFID技术、坐标定位技术等为基础的感知能力提升同样是物联网发展的基石。全世界的工业设备、汽车、电表上有着无数的数码传感器，随时测量和传递着有关位置、运动、震动、温度、湿度乃至空气中化学物质的变化，都会产生海量的数据信息。

技术是大数据价值体现的手段和前进的基石，以上从云计算、分布式处理技术、存储技术和感知技术的发展来说明大数据从采集、处理、存储到形成结果的整个过程。