大数据分析浅谈

造的大量非结构化数据和半结构化数据，这些数据在下载

理论

价值探讨

现在和未来

实践

理论

云计算深度结合

科学理论突破

数据泄露泛滥

数据管理成为核心竞争力

数据质量是BI成功的关键数据生态系统复合程度加强采用自助式商业智能工具进行大数据处理的企业将会脱颖而出。

大数据的世界不只是一个单一的、巨大的计算机网络，而是一个由大量活

Pig

优化扩展

假设检验是数理统计学中根据一定假设条件由样本推断总体

的一种方法。具体：根据问题的需要对所研究的总体作某种

假设，记作H0；选取合适的统计量，这个统计量的选取要使

得在假设H0成立时，其分布为已知；由实测的样本，计算出

统计量的值，并根据预先给定的显著性水平进行检验，作出

拒绝或接受假设H0的判断。常用的假设检验方法有u检验法、

t检验法、χ2检验法(卡方检验)、F检验法，秩和检验等

描述

Quality

Check

ARCHIVED LOGS

UNMA TCHED LOGS

STA TS FILES

中文分词

分词引擎关键词提取规则匹配命名实体解析情感分析中文分词分词引擎关键词提取规则匹配命名实体解析

情感分析文件读入

中文分词分词引擎关键词提取规则匹配命名实体解析情感分析

新词扩充热词统计情感分析内容分类

主题

统计基于整个架构主要由三部分组成：引擎部分：用户发布的微博中获取的数据生成文本格式送入文本分析引擎，在输入之前，由于客户的出来，可以作为客户肖像的一部分，但并不送入文本分析系统。引擎部分主要处理中文分词、将分词与词汇库中的字典进行匹配、分类。分词的作用主要将动词，以及动词后的名词分开，情感词，以及表达情感的对象分开等。词汇库部分，主要负责存储客户合作模型的词汇词典，这一部分的词典部分有手工添加，部分由系统根据词汇库聚类生成，词汇库存于出文本的部分，这一部分利用拼接“原始标签”与分词后的标签，一起构成客户肖像表。

既有分类

词典正面负面分类评分

客户补充

新词正面负面分类评分

HBase

词库匹配词库匹配词库匹配

词库匹配

HDFS Amazon S3、Hypertable、HBase、Swift、Ceph……