1000字范文,内容丰富有趣,学习的好帮手!
1000字范文 > 大数据日志分析系统背景及架构

大数据日志分析系统背景及架构

时间:2018-07-25 08:17:25

相关推荐

大数据日志分析系统背景及架构

用户行为日志

用户每次访问网站时所有的行为数据(访问、浏览、搜索、点击…)用户行为轨迹、流量日志

日志数据主要内容

访问的系统属性: 操作系统、浏览器等等访问特征:点击的url、从哪个url跳转过来的(referer)、页面上的停留时间等访问信息:session_id、访问ip(访问城市)等

离线数据处理架构

数据处理流程五大步骤

数据采集

Flume: 使用Flume对数据进行采集,将web日志写入到HDFS

数据清洗

使用Spark、Hive、MapReduce或者其他的一些分布式计算框架

清洗完之后的数据可以存放在HDFS或者Hive、Spark SQL里

数据处理

按照我们的需要进行相应业务的统计和分析(使用Spark、Hive、MapReduce、Flink等框架)

数据处理结果入库

结果可以存放到RDBMS、NoSQL等数据库

数据的可视化

通过图形化展示的方式展现出来:饼图、柱状图、地图、折线图

工具:ECharts、HUE、Zeppelin、Kibana等

用户行为日志分析的意义

网站的眼睛:能够看到用户的主要来源、喜好网站上的哪些内容,以及用户的忠诚度等网站的神经:通过分析用户行为日志,我们能对网站的布局、功能进一步的优化,以提高用户的体验等网站的大脑:通过分析结果,进行推广预算的划分,以及重点优化用户群体的倾向点等

模拟日志生成请参考此篇文章:Java实现定时生成日志到文件

本内容不代表本网观点和政治立场,如有侵犯你的权益请联系我们处理。
网友评论
网友评论仅供其表达个人看法,并不表明网站立场。