首页 > 我的课程 > 大数据理论与实践

“大数据理论与实践”

课程方案

一、主讲老师

顾翔

二、课程简介

本课程培训周期为2

三、培训内容介绍

大数据(big data,mega data),或称巨量资料,指的是需要新处理模式才能具有更强的决策力、洞察力和流程优化能力的海量、高增长率和多样化的信息资产。

在维克托·迈尔-舍恩伯格及肯尼斯·库克耶编写的《大数据时代》中大数据指不用随机分析法(抽样调查)这样的捷径,而采用所有数据进行分析处理。大数据的4V特点:Volume(大量)、Velocity(高速)、Variety(多样)、Value(价值)。大数据的知识与实践是本课程讨论重点

四、课程介绍

本课程是传统企业如何运用大数据走向互联网+时代课程的提高课程,主要分为理论篇和实践篇。

1     理论篇

包括大数据知识,Hadoop,原理及技术,NoSQL及数据挖掘技术

2     实践篇

包括大数据运用模式,企业与政府数据公开,欧美大数据企业,大数据中关于数据隐私以及传统企业如何运用大数据走向互联网+时代。

本课程以理论为导向,主要结合案例,并配备一定量的讨论进行教学,让你在两天时间内了解大数据的基本知识。

五、培训对象

非研发的希望了解大数据的IT人员,比如产品经理,业务经理,总经理,企业人员等

六、学员基础

有一定的IT知识和商业知识

七、课程内容

第一部分:理论篇

1,大数据知识

       1.1 大数据简介

              1.1.1 大数据与云

              1.1.2 HadoopMapReduce

              1.1.3 NoSQL

              1.1.4 内存服务

       1.2 大数据结构

              1.2.1 大数据理论

              1.2.2 大数据技术

              1.2.3 大数据实践

       1.3 大数据特点

       1.4 大数据意义与用途

              1.4.1 大数据意义

              1.4.2 大数据用途

       1.5 大数据的应用

       1.6 IBM对大数据战略

       1.7 大数据价值

       1.8 大数据机遇

       1.9 大数据回报

       1.10 大数据处理工具

       1.11 大数据收集流程

       1.12 大数据操作方法

              1.12.1 SOA模型

              1.12.2 SOA与数据企业

              1.12.3 SOA与各类数据模型

              1.12.4 SOA模型与水平数据模型

              1.12.5 效率问题

              1.12.6 Hadoop

              1.12.7 Streams

       1.13 大数据治理计划

       1.14 大数据相关问题

              1.14.1 容量问题

              1.14.2 延迟问题

              1.14.3 安全问题

              1.14.4 成本问题

              1.14.5数据的积累

              1.14.6灵活性

              1.14.7应用感知

              1.14.8针对小用户

       1.15 大数据发展前景

       1.16 大数据商业模式

       1.17 大数据企业应对

       1.18 大数据投资热点

       1.19 大数据发展历史

       讨论

2,Hadoop,原理及技术

       2.1 Hadoop优点

       2.2 Hadoop架构

              2.2.1 HDFS

              2.2.2 NameNode

              2.2.3 DataNode

              2.2.4 文件操作

       2.3 Linux集群

       2.4 集群系统

              2.4.1 GFS

              2.4.2 MapReduce

              2.4.3 BigTable

       2.5 Hadoop基本组成

              2.5.1 MapReduce

              2.5.2 Hadoop

              2.5.3 HDFS

              2.5.4 Amazone Elastic Map Reduce(EMR)

              2.5.5 Pig

              2.5.6 Hive

              2.5.7 Habase

              2.5.8 Sqoop

              2.5.9 Flume

              2.5.10 ZooKeeper

       2.6 Hadoop发行版本

       2.7 原理篇

              2.7.1 HyperLogLog

              2.7.2 Bloom Filter

              2.7.3 CountMin Sketch

              2.7.4 Cap Theorem

       2.8 技术篇

              2.8.1 Google的三套马车

                     2.8.1.1 Spanner

                     2.8.1.2 F1

                     2.8.1.3 Dremel Spanner

              2.8.2 Spark

              2.8.3 Flink

              2.8.4 Kafka

              2.8.5 Storm

              2.8.6 Samaza

              2.8.7 Lambda architecture

              2.8.8 Summingbird

              2.8.9 NoSQL

              2.8.10 Cassandra

              2.8.11 SQL on Hadoop

              2.8.12 Impala

              2.8.13 Drill

              2.8.14 Druid

              2.8.15 Berkeley Data Analytics Stack(BDAS)

                     2.8.15.1 Mesos

                     2.8.15.2 Tachyon

                     2.8.15.3 BlinkDB

       2.9 Hadoop架构

              2.9.1 Cloudera

              2.9.2 HDPHadoop Data Platform

              2.9.3 Amazon Redshift

              2.9.4 Netfix

              2.9.5 HDP

       讨论

3,NoSQL

       3.1 基本含义

       3.2 NoSQL数据库的四大分类

       3.3 共同特性

       3.4 适用前景

       3.5 发展现状

       3.6 挑战

       讨论

4,数据挖掘技术

       4.1 分类

       4.2 回归分析

       4.3 聚类

       4.4 关联规则

       4.5 特征

       4.6 变化与偏差分析

       4.7 WEB页挖掘

       讨论

第二部分:实践篇

5,大数据运用模式

       5.1大数据运用实例

       5.2大数据运用模式分类

6,企业与政府数据公开

       6.1国外状态

       6.2数据市场

       6.3国内状态

7 欧美大数据企业

       7.1 eBay 每天产生50TB数据

       7.2 Zynga 披着游戏公司外衣的分析公司

       7.3 Centrica: 通过智能电表分析能源消耗模式

       7.4 Catalina Marketing:通过收银台优惠券对顾客的购物行为进行设计

8,大数据中关于数据隐私

9,传统企业如何运用大数据走向互联网+时代

       9.1大数据应用概论

       9.2数据回报率

       9.3数据收集与预处理

       9.4卫生机构

       9.5商业机构

       9.6政府机构

       9.7金融机构

       9.8制造业

       9.9农业

       9.10房产业

       9.11其他

       9.12传统企业运用大数据走向互联网+时代 

软件测试咨询

  

   

投稿关闭窗口】【打印