驴妈妈旅游网站大数据项目实战

admin

【课程内容】

第1章 大数据基本技能储备

项目介绍
hadoop介绍
SSH免密码登录
JAVA安装
Hadoop安装及验证
shell命令相关配置信息
httpfs相关命令
集群启动相关命令介绍
集群启动相关命令操作
hdfs相关命令
其他HadoopShell命令
HDFS结构介绍
windows开发环境搭建
HdfsJavaApi介绍
MapReduce介绍
Wordcount实现
Wordcount运行介绍以及异常解决
倒排索引实现
InputFormat和OutputFormat介绍
自定义InputFormat实现
自定义OutputFormat实现
案例演示
shuffle阶段介绍
自定义group+partitioner实现
案例damo编写
HBase结构介绍
HBase安装
hbase命令概述及帮助命令使用方式介绍
命名空间相关命令介绍
HBase Shell常用命令介绍
Scan命令详解
其他shell命令介绍
Java客户端概述以及Java开发Hbase基本环境搭建
HBaseAdmin类详细介绍
Put类详细介绍
Get和Delete类详细介绍
Scan类和Hbase连接池详细介绍
环境搭建
案例介绍
案例Mapper及Reducer类编写
案例执行入口代码编写及异常解决
Hive介绍
MYSQL安装
Hive安装
hive服务介绍
Database相关命令介绍
Hive表类型及创建命令格式介绍
Hive表创建案例介绍
Hive&Hbase关联介绍
导入数据命令介绍
select语句介绍
join介绍
子查询介绍
导出数据和其他命令介绍
Hive函数介绍
UDF自定义函数实现
UDAF自定义函数实现
UDTF自定义函数实现
Hive自定义函数jar集成方式介绍
Nginx介绍
Flume结构介绍
Flume安装
Flume简单案例实现
Nginx+Flume+Hdfs日志收集案例实现
Sqoop介绍和安装
Sqoop基本命令介绍
Import命令介绍
Export命令介绍
Oozie介绍
Tomcat安装
Oozie安装
Oozie Workflow工作流介绍
Oozie Workflow编写规则和自定义介绍
Workflow案例
Oozie Coordinator和Bundle介绍
Highcharts介绍
案例介绍
基本介绍
环境搭建
案例测试
数据展示框架介绍

第2章 项目需求介绍

bf_track项目总体介绍
JavaSDK需求分析介绍
JsSDK需求分析介绍
bf_dataapi项目总体介绍
bf_dataapi页面展示介绍
bfdataapi的restapi和bftransformer项目结构介绍
数据存储结构介绍

第3章 用户行为数据收集模块实现讲解

SDK Engine入口类编写
SDK Monitor数据发送类编写
JavaSDK测试
JsSDK CookieUtil对象编写
JsSDK tracker对象编写
JsSDK测试

第4章 数据分析模块讲解

UserAgent解析
IP解析
EventLogConstants类编写
LoggerUtil日志解析工具类编写
AnalyserLogDataMapper类编写
AnalyserLogDataRunner类编写
测试
BrowserDimension类编写
DateDimension类编写
PlatformDimension类编写
DimensionConverter类编写
TransformerOutputFormat类编写
新增用户统计mr程序输出类编写
NewInstallUserMapper类编写
NewInstallUserRudecer类编写
NewInstallUserRunner类编写
NewInstallUser代码测试
TotalInstallUser统计代码编写
ActiveUserMapper类编写
ActiveUserReducer类编写
ActiveUserRunner类编写
Collector输出类编写及测试
活跃会员分析
MemberUtil类编写
NewMemberMapper类编写
NewMemberReducer类和Runner类编写
测试
SessionMapper类编写
SessionsReducer类编写
SessionsRunner类编写以及测试
HourlyActiveUser分析
HourlySession相关分析
Mapper编写
Reducer和Runner编写
测试
Mapper公用代码提取
Runner公用代码提取
统计规则介绍
LocationDimension类编写
Mapper类编写
Reducer和Runner类编写
测试
统计规则介绍
InboundDimension相关类编写
InboundMapper类编写
InboundReducer&Runner类编写以及测试
InboundBounceMapper类编写
InboundBounceReducer类编写
InboundBounceRunner类编写以及测试
服务器hdfs参数调优
Linux文件句柄数操作
服务器hbase参数优化
服务器mapreduce参数调优
代码调优
Mapper&Reduce调优
Runner调优
服务器端相关类编写
client端相关类编写
测试
用户浏览深度Hive分析
事件分析Hive编写
规则介绍以及外部表创建
Dimension操作相关UDF编写
订单数量分析
订单金额分析
订单信息mysql保存
订单信息获取相关UDF编写
TotalAmount相关UDF编写
成功支付订单相关统计指标的分析
退款订单相关统计指标分析
Oozie流部署规则介绍
Oozie流编写

第5章 数据展示模块讲解

规则介绍
AEController编写
AEService编写
其他类编写
Spring配置信息编写及测试
前台页面编写
前端页面编写
后台程序编写
后台&前端程序代码编写
程序后台实现
程序前端实现
后台程序编写
前端页面编写
项目总结

下载地址

游客，如果您要查看本帖隐藏内容请回复

Mae