大数据分析

大数据分析是指对规模巨大的数据进行分析。大数据可以概括为4个V， 数据量大(Volume)、速度快(Velocity)、类型多(Variety)、真实性(Veracity)。大数据作为时下最火热的IT行业的词汇，随之而来的数据仓库、数据安全、数据分析、数据挖掘等等围绕大数据的商业价值的利用逐渐成为行业人士争相追捧的利润焦点。随着大数据时代的来临，大数据分析也应运而生。
　

1分析步骤

大数据分析的五个基本方面
1. Analytic Visualizations（可视化分析）
　　不管是对数据分析专家还是普通用户，数据可视化是数据分析工具最基本的要求。可视化可以直观的展示数据，让数据自己说话，让观众听到结果。[1] 
2. Data Mining Algorithms（数据挖掘算法）
　　可视化是给人看的，数据挖掘就是给机器看的。集群、分割、孤立点分析还有其他的算法让我们深入数据内部，挖掘价值。这些算法不仅要处理大数据的量，也要处理大数据的速度。[1] 
3. Predictive Analytic Capabilities（预测性分析能力）
　　数据挖掘可以让分析员更好的理解数据，而预测性分析可以让分析员根据可视化分析和数据挖掘的结果做出一些预测性的判断。[1] 
4. Semantic Engines（语义引擎）
　　我们知道由于非结构化数据的多样性带来了数据分析的新的挑战，我们需要一系列的工具去解析，提取，分析数据。语义引擎需要被设计成能够从“文档”中智能提取信息。[1] 
5. Data Quality and Master Data Management（数据质量和数据管理）
数据质量和数据管理是一些管理方面的最佳实践。通过标准化的流程和工具对数据进行处理可以保证一个预先定义好的高质量的分析结果。[1] 
假如大数据真的是下一个重要的技术革新的话，我们最好把精力关注在大数据能给我们带来的好处，而不仅仅是挑战。[1] 

2工具介绍

数据仓库有
Teradata AsterData, EMC GreenPlum, HP Vertica 等等。
数据集市有
QlikView、 Tableau 、 Yonghong Data Mart 等等。
Yonghong Data Mart是基于自有技术研发的一款数据存储、数据处理的软件。针对客户需要处理需求数据的量级不同，IT系统架构的不同和存储系统的不同，提供了两种解决方案供客户选择一种本地模式，一种是MPP模式。当需要处理的数据量级别处于TB级以下，或者采用普通存储结构，或者单机已经足够满足性能需求，建议用户选择本地模式。当面对异构数据库存储系统，需要处理的数量级别在TB级和PB级以上，或者IT系统和存储系统采用分布式，或者需要MPP模式才能满足性能需求，基于分布式架构的并行处理模式更适合客户的需求。
Yonghong Data Mart底层技术：
1. 分布式计算
2. 分布式通信
3. 内存计算
4. 列存储
5. 库内计算
前端展现
用于展现分析的前端开源工具有JasperSoft，Pentaho, Spagobi, Openi, Birt等等。
用于展现分析商用分析工具有Cognos, BO, Microsoft, Oracle,Microstrategy,QlikView、 Tableau 、 国内永洪科技 Yonghong Z-Suite等等。

3发展状况

开源大数据
1. Hadoop HDFS、Hadoop MapReduce, HBase、Hive 渐次诞生，早期Hadoop生态圈逐步形成。
2. Hypertable是另类。它存在于Hadoop生态圈之外，但也曾经有一些用户。
一体机数据仓库
IBM PureData(Netezza), OracleExadata, SAP Hana等等。

4应用案例

2014年6月28日，奥地利研究人员发表研究公报称，通过对多家网上博彩公司长期以来的赔率、各球队的历史表现和近期球员伤病情况进行大数据分析，他们预测东道主巴西队问鼎世界杯胜算较大。
奥地利因斯布鲁克大学与维也纳经济大学的研究人员推出了一套“博彩共识模型”。根据这套大数据分析模型，巴西队问鼎本届世界杯的几率为22.5%，阿根廷队为15.8%，德国队为13.4%。从数据上看，东道主夺冠的胜算大大超过其他国家队。[2] 
　
　
参考资料

　

相关链接：软件测试

【打印】 【关闭窗口】