大数据分析

book
dot
thumb

大数据分析


大数据分析技术这门课程按照Bloom学习掌握分类法,构建学习者能力层级.课程系统地讲解了大数据分析基础的知识和必备的技能。在知识的记忆和理解的基础上,培养学生的应用和分析的能力,并进一步培养学生的评价

课程概述

大数据分析技术这门课程按照Bloom学习掌握分类法,构建学习者能力层级.课程系统地讲解了大数据分析基础的知识和必备的技能。在知识的记忆和理解的基础上,培养学生的应用和分析的能力,并进一步培养学生的评价和创新的能力。课程采用理论讲解和工程实践训练相结合的方式。

一、理论部分:

大数据分析技术理论知识的讲解是在大数据技术框架1数据存储系统2数据处理系统和3数据应用系统的层次架构下对大数据分析技术的内容进行系统化梳理和了详细的阐述,如图所示

1634d2fd81674fc0a03a47fd8e83d0ff

在1数据存储系统中分为4个子部分

1.1数据收集与建模;

1.2 分布式文件系统;

1.3 分布式数据库和数据仓库;

1.4 统一数据存取接口

在2大数据处理系统中分为3个子部分

2.1 数据分析算法;

2.2 计算模型;

2.3 计算引擎和计算平台;

在3 大数据应用系统中分为3个子部分

3.1 大数据可视化

3.2 大数据产品和服务

3.3 大数据应用

在大数据应用部分以推荐系统和社交网络两个大数据典型应用为例讲解了相关原理,算法等。

在理论讲解中,梳理了整个课程内容知识体系Roadmap帮助学生系统化的建立大数据分析知识体系。在比较复杂的知识点的讲解时,精选了各个知识点的全网优秀讲解视频辅助学生清晰理解所学内容,因为优秀的视频中不仅是讲解人的丰富经验的总结,而且配有讲解动画展示,非常直观清晰地解释了相关知识的原理。


二、实验部分:

在技术动手实践部分设计了5个部分的实验,包括:

1.动态网络爬虫程序设计

2.Spark MLlib 学习与应用

3.Tensorflow学习与应用

4.推荐系统理解与构建

5.社交网络分析与可视化


以上5个专题分别设计了几个由浅入深的实验训练学生大数据分析的动手能力。所有实验均配备有完整案例,包括实验设计思路和步骤,实验手册和源代码等。

通过大数据分析技术理论讲解和工程实验训练,学生可以建立知识体系,深入理解大数据分析技术中的概念,原理,平台,技术等。通过实验的动手练习,实现大数据理论知识的实际运用,加深对原理概念的理解,并提高了动手解决大数据分析工程问题的分析和解决能力。

 课程大纲
大数据概述
1.1 大数据基本概念
1.2 结构数据与非结构数据
1.3 科学研究第四范式
1.4 大数据特征
1.5 大数据生命周期
1.6 大数据处理流程
1.7 大数据分析总体框架
数据获取
2.1 数据源
2.2 内部数据获取
2.3 外部数据获取
2.4 深网数据
数据预处理
3.1 数据预处理概述
3.2 数据质量
3.3 数据清洗技术
3.4 数据转换
3.5 数据缩减
数据存储系统
4.1 数据建模
4.2 分布式文件系统
4.3 NoSQL数据库
4.4 NoSQL 数据库特征
4.5 NoSQL 数据库类型
4.6 统一数据访问接口 UDAI
数据处理系统
5.1 数据处理系统架构
5.2 数据处理算法
5.3 批处理系统
5.4 流处理系统
5.5 大规模并行处理
5.6 内存计算Spark
5.7 内存数据库HANA
5.8 分布式图计算
大数据计算平台和应用
6.1 Spark MLlib
6.2 TensorFlow
6.3 推荐系统
6.4 推荐系统的矩阵分解方法
6.5 社交网络分析
收起
 参考资料

本课程配套教材《大数据分析与处理-实践者的研究方法》车海莺 机械工业出版社 ISBN978-7-111-78613-9