Spark大数据分析实战

1、Spark简介

初识SparkSp ark生态系统BDASSp ark架构与运行逻辑弹性分布式数据集

2、Spark开发与环境配置

Spark应用开发环境2置使用Intelli i开发Spark远程调试Spark程序Spark编译配置Spark源码阅读环境

3、BDAS简介

SQL on SparkSpark StreamingGr aphXMIlib

4、Lamda架构日志分析流水线

日志分析概述日志分析指标Lamda架构构建日志分析数据流水线

5、基于云平台和用户日志的推荐系统

Azure云平台简介系统架构构建Node. js应用数据收集与预处理Spark Str eamine实时分析用户日志MLlib离线训练模型

6、Twi ter情感分析

系统架构Twitter数据收集数据预处理与Cassandr a存储Spark Streami ng热点Twitter分析Spark Str eaming在线情感分析Spark SQL进行Twi tter分析Twitter可视化

7、热点新闻分析系统

新闻数据分析系统架构爬虫抓取网络信息新闻文本数据预处理新闻聚类Spark Elastic Sear ch构建全文检索引擎

8、构建分布式的协同过滤推荐系统

推荐系统简介协同过滤介绍基于Spark的矩阵运算实现协同过滤算法基于Spark的MI1ib实现协同过滤算法案例：使用MLlib协同过滤实现电影推荐

9、基于Spark的社交网络分析

社交网络介绍社交网络中社团挖掘算法Spark中的K均值算法案例:基于Sp ark的F acebook社团挖掘社交网络中的链路预测算法Spark MLlib中的Logistic回归案例:基于Spark的链路预测算法

10、基于Spark的大规模新闻主题分析

主题模型简介主题模型LDASpark中的LDA模型案例：Newse oups新闻的主题分析

11、构建分布式的搜索引擎

搜索引擎简介搜索排序概述