您现在的位置是：论文诗词网 > 成语词典 > 网络课程 >
大数据实时分析平台
2022-03-22 21:16网络课程 人已围观
一、简介
本课程由古桥科技 灰哥哥 精心录制。
支持异构系统，实时上报数据（kafak、mqtt、rest等多来源）到flink，然后做实时分析或离线批处理，分析后的结果以多种形式保存/流转（kafak、mqtt、hdfs、mysql、redis 、hbase），底层以hadoop作为大数据存储与yarn资源管理，实战项目来源于商用项目二次设计，采用分布式高可用集群。
本课程提供一键安装包，快速体验，从零基础学习角度设计并讲解，深入浅出，助您轻松掌握新一代流式计算与大数据分析全栈处理技术， 涵盖了真实业务全场景应用。
同时提供包括： java微服架构设计、系统运维、docker、linux shell编程、node-red等相关知识详细讲解。
本课程以EdgeXFoundry作为物联平台例示端。
本系列课程可作为商业项目交付的基础框架、企业数据中台基础框架。
二、课程适应群体
1）企业老板，降低投入风险，前期招1名java人员，即可承接大型项目
2）有简单java基础的程序员或在校学生，想高起点，高薪资，少走弯路
3）渴望通过技术提高薪水的程序员，有欲转为系统架构师/技术总监
4）高校老师/科研人员，作为教学素材、科研项目原型
5）运维工程师，想转为高级技术工程师/运维总监
三、课程特色
1）体验式学习，深入浅出，并提供一键安装包与详细电子文档
2）商用级案例实战
3）主流/实用技术
4）系统性完整性
四、课程内容与技术栈
五、售后服务
六、详细的电子文档
1. 概述 6
2. 环境准备 6
2.1. 约定 6
2.2. 下载安装包及执行文件 7
3. 快速安装 8
3.1. 上传安装包到服务器 8
3.2. 解压安装包 8
3.3. 修改安装配置文件 9
3.3.1. flink.conf 文件配置 10
3.3.2. hadoop.conf 文件配置 10
3.3.3. hive.conf 文件配置 11
3.3.4. hosts 文件配置 11
3.3.5. kafkabroker.conf 文件配置 12
3.3.6. zk.conf 13
3.4. 执行安装命令 13
3.4.1. 安装问题解决 15
3.5. 安装路径说明 16
3.6. 验证安装结果 16
3.6.1. 查看进程 16
3.6.2. Hdfs namenode HA 18
3.6.3. Yarn resourcemanager HA 21
3.6.4. Hbase master HA 22
3.6.5. Flink jobmanager HA 25
3.6.6. 查看业务数据导入hive 29
4. 应用服务启停 32
4.1. 停止服务 32
4.2. 启动服务 32
5. 卸载与重新安装 33
5.1. 卸载 33
5.2. 重新安装 33
6. hadoop配置说明 34
6.1. 环境变量与PATH 34
6.2. Zookeeper集群 34
6.2.1. zoo.cfg文件 34
6.2.2. 环境变量 34
6.3. HDFS (Namenode HA) 35
6.3.1. core-site.xml 35
6.3.2. hdfs-site.xml 35
6.3.3. slaves配置 37
6.4. Yarn (RM HA) 38
6.4.1. mapred-site.xml 39
6.4.2. yarn-site.xml 39
6.5. HBase (Master HA) 43
6.5.1. 环境变量 43
6.5.2. Hbase集群 43
6.5.3. Hbase Master HA 44
6.6. Hive 45
6.6.1. hive-site.xml文件 45
6.6.2. 环境变量 46
6.6.3. 可能的问题 46
6.7. Sqoop 48
7. Flink配置说明 48
7.1. flink-conf.xml 48
7.2. masters文件 49
7.3. slaves文件 50
7.4. zoo.cfg文件 50
8. Edgex配置说明 51
8.1. dockercompose.yml文件 关注标黄内容 51
8.2. Mysql5.7 docker 运行说明 63
8.3. Kafka docker配置说明 64
9. Edgex实时数据分析与批处理 65
9.1. 写redis 65
9.1.1. 按时间分析 65
9.1.2. 按数量分析 67
9.2. 写Hbase 68
9.2.1. 按数量 68
9.2.2. 按时间 68
9.3. 原始数据处理 69
9.3.1. kafak消息源 69
9.3.2. mqtt消息源 69
9.3.3. Sink到各分支参数说明 70
9.4. 批处理 71
9.4.1. 读hive 71
9.4.2. 读hdfs 72
9.5. 查看分析结果4种方式 73
9.5.1. 页面查看 73
9.5.2. Postman查看 73
9.5.3. Node-red查看 75
9.5.4. 客户端工具查看 76
10. 命令手册 78
10.1. Hadoop相关命令 78
10.1.1. 启停hdfs nameode 78
10.1.2. 启停yarn resoucemanager 78
10.1.3. 启停hdfs 79
10.1.4. 启停hbase 79
10.1.5. Hive常用命令 80
10.1.6. Hbase常用命令 80
10.2. EDGEX相关命令 80
10.2.1. 启动 80
10.2.2. 停止 80
10.2.3. 启停单个服务 80
10.2.4. 重置IP与topic 81
10.2.5. kafka消息查看 81
10.3. Flink相关命令 82
10.3.1. Flink集群启停 82
10.3.2. jobmanager启停 82
10.3.3. 提交flink job 83
10.3.4. savepoint 85
10.4. HDFS文件与目录操作 86
10.5. Redis常用命令 87
10.5.1. redis-cli 87
10.5.2. 图形客户端工具 88
10.6. 触发MQTT消息（两种方式） 90
10.6.1. edgex生产mqtt消息 90
10.6.2. UI工具上报mqtt消息 90
10.7. 触发kafka消息（两种方式） 91
10.7.1. edgex上报kafka消息 91
10.7.2. 通过模拟器手工发 91
11. 二次开发 92
11.1. 开发环境 92
11.1.1. 导入项目(eclipse) 92
11.1.2. 主要目录文件简述 96
11.1.3. 编译打包 96
11.2. Mock 100
11.3. Redis配置 101
12. 常见问题解答 101
12.1. 本平台只能edgexfoundry数据源吗 101
12.2. Flink相关 102
12.2.1. Flink提交的作业一直等待 102
12.2.2. Flink没收到edgex发来的kafka消息 102
12.2.3. 提交job错误 Unable to retrieve any partitions 106
12.2.4. Flink list命令报错或 standalone集群命令提交作业报错 107
12.2.5. Mqtt 任务提交后报错 108
12.2.6. 没有收到Edgex发出的mqtt消息 108
12.2.7. Flink on yarn 提交job失败 108
12.3. Hbase相关 109
12.3.1. Hbase无法启动 109
12.3.2. Hbase无法创建表 109
12.3.3. 分析结果无法写入Hbase 110
12.4. Redis连接不上 110
12.5. Hdfs namenode HA无法故障时自动切换 110
12.6. Hive无法工作 111
12.7. Docker相关 111
12.8. 安装问题 111
12.8.1. Hive导入业务测试数据错误 111
12.8.2. 镜像装载错误 112
本课程由古桥科技 灰哥哥 精心录制。
支持异构系统，实时上报数据（kafak、mqtt、rest等多来源）到flink，然后做实时分析或离线批处理，分析后的结果以多种形式保存/流转（kafak、mqtt、hdfs、mysql、redis 、hbase），底层以hadoop作为大数据存储与yarn资源管理，实战项目来源于商用项目二次设计，采用分布式高可用集群。
本课程提供一键安装包，快速体验，从零基础学习角度设计并讲解，深入浅出，助您轻松掌握新一代流式计算与大数据分析全栈处理技术， 涵盖了真实业务全场景应用。
同时提供包括： java微服架构设计、系统运维、docker、linux shell编程、node-red等相关知识详细讲解。
本课程以EdgeXFoundry作为物联平台例示端。
本系列课程可作为商业项目交付的基础框架、企业数据中台基础框架。
二、课程适应群体
1）企业老板，降低投入风险，前期招1名java人员，即可承接大型项目
2）有简单java基础的程序员或在校学生，想高起点，高薪资，少走弯路
3）渴望通过技术提高薪水的程序员，有欲转为系统架构师/技术总监
4）高校老师/科研人员，作为教学素材、科研项目原型
5）运维工程师，想转为高级技术工程师/运维总监
三、课程特色
1）体验式学习，深入浅出，并提供一键安装包与详细电子文档
2）商用级案例实战
3）主流/实用技术
4）系统性完整性
四、课程内容与技术栈
五、售后服务
六、详细的电子文档
1. 概述 6
2. 环境准备 6
2.1. 约定 6
2.2. 下载安装包及执行文件 7
3. 快速安装 8
3.1. 上传安装包到服务器 8
3.2. 解压安装包 8
3.3. 修改安装配置文件 9
3.3.1. flink.conf 文件配置 10
3.3.2. hadoop.conf 文件配置 10
3.3.3. hive.conf 文件配置 11
3.3.4. hosts 文件配置 11
3.3.5. kafkabroker.conf 文件配置 12
3.3.6. zk.conf 13
3.4. 执行安装命令 13
3.4.1. 安装问题解决 15
3.5. 安装路径说明 16
3.6. 验证安装结果 16
3.6.1. 查看进程 16
3.6.2. Hdfs namenode HA 18
3.6.3. Yarn resourcemanager HA 21
3.6.4. Hbase master HA 22
3.6.5. Flink jobmanager HA 25
3.6.6. 查看业务数据导入hive 29
4. 应用服务启停 32
4.1. 停止服务 32
4.2. 启动服务 32
5. 卸载与重新安装 33
5.1. 卸载 33
5.2. 重新安装 33
6. hadoop配置说明 34
6.1. 环境变量与PATH 34
6.2. Zookeeper集群 34
6.2.1. zoo.cfg文件 34
6.2.2. 环境变量 34
6.3. HDFS (Namenode HA) 35
6.3.1. core-site.xml 35
6.3.2. hdfs-site.xml 35
6.3.3. slaves配置 37
6.4. Yarn (RM HA) 38
6.4.1. mapred-site.xml 39
6.4.2. yarn-site.xml 39
6.5. HBase (Master HA) 43
6.5.1. 环境变量 43
6.5.2. Hbase集群 43
6.5.3. Hbase Master HA 44
6.6. Hive 45
6.6.1. hive-site.xml文件 45
6.6.2. 环境变量 46
6.6.3. 可能的问题 46
6.7. Sqoop 48
7. Flink配置说明 48
7.1. flink-conf.xml 48
7.2. masters文件 49
7.3. slaves文件 50
7.4. zoo.cfg文件 50
8. Edgex配置说明 51
8.1. dockercompose.yml文件 关注标黄内容 51
8.2. Mysql5.7 docker 运行说明 63
8.3. Kafka docker配置说明 64
9. Edgex实时数据分析与批处理 65
9.1. 写redis 65
9.1.1. 按时间分析 65
9.1.2. 按数量分析 67
9.2. 写Hbase 68
9.2.1. 按数量 68
9.2.2. 按时间 68
9.3. 原始数据处理 69
9.3.1. kafak消息源 69
9.3.2. mqtt消息源 69
9.3.3. Sink到各分支参数说明 70
9.4. 批处理 71
9.4.1. 读hive 71
9.4.2. 读hdfs 72
9.5. 查看分析结果4种方式 73
9.5.1. 页面查看 73
9.5.2. Postman查看 73
9.5.3. Node-red查看 75
9.5.4. 客户端工具查看 76
10. 命令手册 78
10.1. Hadoop相关命令 78
10.1.1. 启停hdfs nameode 78
10.1.2. 启停yarn resoucemanager 78
10.1.3. 启停hdfs 79
10.1.4. 启停hbase 79
10.1.5. Hive常用命令 80
10.1.6. Hbase常用命令 80
10.2. EDGEX相关命令 80
10.2.1. 启动 80
10.2.2. 停止 80
10.2.3. 启停单个服务 80
10.2.4. 重置IP与topic 81
10.2.5. kafka消息查看 81
10.3. Flink相关命令 82
10.3.1. Flink集群启停 82
10.3.2. jobmanager启停 82
10.3.3. 提交flink job 83
10.3.4. savepoint 85
10.4. HDFS文件与目录操作 86
10.5. Redis常用命令 87
10.5.1. redis-cli 87
10.5.2. 图形客户端工具 88
10.6. 触发MQTT消息（两种方式） 90
10.6.1. edgex生产mqtt消息 90
10.6.2. UI工具上报mqtt消息 90
10.7. 触发kafka消息（两种方式） 91
10.7.1. edgex上报kafka消息 91
10.7.2. 通过模拟器手工发 91
11. 二次开发 92
11.1. 开发环境 92
11.1.1. 导入项目(eclipse) 92
11.1.2. 主要目录文件简述 96
11.1.3. 编译打包 96
11.2. Mock 100
11.3. Redis配置 101
12. 常见问题解答 101
12.1. 本平台只能edgexfoundry数据源吗 101
12.2. Flink相关 102
12.2.1. Flink提交的作业一直等待 102
12.2.2. Flink没收到edgex发来的kafka消息 102
12.2.3. 提交job错误 Unable to retrieve any partitions 106
12.2.4. Flink list命令报错或 standalone集群命令提交作业报错 107
12.2.5. Mqtt 任务提交后报错 108
12.2.6. 没有收到Edgex发出的mqtt消息 108
12.2.7. Flink on yarn 提交job失败 108
12.3. Hbase相关 109
12.3.1. Hbase无法启动 109
12.3.2. Hbase无法创建表 109
12.3.3. 分析结果无法写入Hbase 110
12.4. Redis连接不上 110
12.5. Hdfs namenode HA无法故障时自动切换 110
12.6. Hive无法工作 111
12.7. Docker相关 111
12.8. 安装问题 111
12.8.1. Hive导入业务测试数据错误 111
12.8.2. 镜像装载错误 112
