2020年第三期全国高校大数据与人工智能双师骨干师资研修班开班通知-威尼斯5139手机版

linux基础

1 linux操作系统简介

1.1 linux简介与发展历程

1.2 linux常见版本

1.3 linux安装(设计磁盘分区)及使用

2 linux基本命令

2.1 linux文件系统树

2.2 档案与目录管理

2.3 查看文件内容

2.4 创建硬链接和符号链接

2.5 帮助命令

2.6 重定向相关命令

2.7 用户及用户组管理

2.8 linux档案权限与目录配置

3 linux vi编辑器

3.1 模式介绍与常见快捷命令

3.2 vi常用快捷命令

3.2.1 一般模式快捷键

3.2.2 编辑模式与指令模式快捷键

4 linux shell编辑

4.1 bash简介及功能介绍

4.2 shell script编程

5 软件安装与卸载

5.1 安装与卸载方式

5.2 yum源

mysql基础

1 数据库概述

1.1 数据库概述

1.2 数据库基本概念介绍

2 mysql安装与配置

2.1 mysql安装与配置

2.2 可视化工具使用

3 mysql基本命令

3.1 创建与删除数据库

3.2 数据结构与数据类型

3.3 主键与外键

3.4 创建、修改、删除表

3.5 插入与删除数据

4 sql语法操作

4.1 mysql常用运算符

4.2 mysql数据查询操作

5 mysql联表操作与子查询

5.1 联表查询

5.2 子查询

5.3 复制表

6 mysql函数

6.1 函数类型介绍

6.2 sql函数应用

7 约束与索引

7.1 约束介绍与设置

7.2 索引介绍与设置

java基础

1 java基础模块

1.1 java简介

1.2 java安装配置

2 java基础语法

2.1 java基本数据类型&引用数据类型

2.2 java变量

2.3 java string类

2.4 java运算符

2.5 表达式

2.6 判断循环语言

3 java数组

4 java方法

4.1 方法定义

4.2 方法重载与重写

5 java集合简介

5.1 java集合之list

5.2 java集合之set

5.3 java集合之map

6 java面向对象模块

6.1 java类、对象

6.2 java类封装

6.3 java构造函数

6.4 java类继承

6.5 java类多态

6.6 java抽象类

6.7 java接口

6.8 java泛型

7 java其他模块

7.1 java多线程

7.2 java包、异常

8 java文件

8.1 读取文件

8.2 写入文件

9 java操作数据库实例

学习时间

课程内容

6月26日(周五)

19:00 - 21:30

1 hadoop简介、核心及生态系统

1.1 hadoop简介

1.2 hadoop核心组件

1.3 hadoop生态系统

1.4 hadoop应用场景

2 hadoop集群搭建

2.1 安装配置虚拟机

2.2 安装java

2.3 搭建hadoop完全分布式集群

3 hadoop基本操作

3.1 查看hadoop集群的基本信息

3.2 上传文件到hdfs

3.3 运行首个mapreduce

3.4 管理多个mapreduce任务

6月27日(周六)

上午08:30 - 11:30

下午14:00 - 17:00

4 mapreduce入门编程

4.1 使用eclipse创建mapreduce工程

4.2 通过源码初识mapreduce编程

4.3 编程实现按日期统计访问次数

4.4 编程实现按访问次数排序

5 mapreduce编程进阶

5.1 筛选日志文件生成序列化文件

5.2 hadoop java api读取序列化日志文件

5.3 优化日志文件统计程序

5.4 eclipse提交日志文件统计程序

6 hadoop案例基于knn的鸢尾花分类预测

6月28日(周日)

08:00 - 11:30

14:00 - 17:00

1 hive概述

1.1 hive的产生背景

1.2 hive体系架构

1.3 数据类型

1.4 与传统数据库的区别

1.5 hive的应用

2 hive安装配置

2.1 安装mysql

2.2 安装hive

3 hive表定义

3.1 hive创建内表和外表

3.2 hive创建静态分区表

3.3 hive创建动态分区表

3.4 创建带有数据的表

4 hive导入导出数据

4.1 hive导入本地或者hdfs上的数据

4.2 hive单表查询和多表查询导入数据

4.3 hive导出数据

5 hive查询

5.1 hive查询语法及distinct操作

5.2 hive order by和内置函数查询

5.3 hive group by查询

5.4 hive join查询

5.5 hive子查询和case when查询

6月29日(周一)

19:00 - 21:30

6 函数

6.1 hive内置函数

6.2 hive自定义函数

7 基于hive的航空客户价值分析数据处理

7.1 数据探索

7.2 数据处理

在线实训2-2

6月30日(周二)

19:00 - 21:30

1 hbase简介

1.1 hbase介绍

1.2 hbase模式简介

1.3 使用场景

2 hbase安装配置

2.1 hadoop环境与zookeeper环境介绍

2.2 zookeeper安装配置

2.3 hbase安装配置

3 hbase原理架构

3.1 hbase组件及功能

3.2 hbase数据模型

3.3 hbase数据读写流程

4 hbase shell

4.1 命名空间操作

4.2 新建表

4.3 描述表

4.4 修改表

4.5 删除表

4.6 表数据增加

4.7 表数据查询

4.8 表数据删除

7月1日(周三)

19:00 - 21:30

5 表的模式设计

5.1 模式设计介绍

5.2 rowkey设计

5.3 列簇设计

5.4 表模式设计实例

6 hbase java api

6.1 搭建hbase开发环境

6.2 建立数据库链接与常用类介绍

6.3 java api创建与删除表

6.4 java api增加表数据

6.5 java api查看与删除表数据

6.6 多版本列簇与region分割点设置

6.7 多版本数据读取

6.8 列簇增加、修改与删除

7月2日(周四)

19:00 - 21:30

7 mapreduce与hbase交互

7.1 mapreduce实现hdfs与hbase数据传输

7.2 mapreduce实现hbase与hbase数据转移

8 冠字号系统数据存储设计

8.1 数据描述

8.2 数据表设计

8.3 创建表

8.4 数据存储

8.5 数据查询

7月3日(周五)

19:00 - 21:30

1 scala简介与安装

1.1 scala简介与特性

1.2 scala安装

2 scala基础语言

2.1 scala数据类型

2.2 scala变量

2.3 scala运算符

2.4 条件控制与循环

2.5 函数

3 scala集合

3.1 scala集合-array

3.2 scala集合-list

3.3 scala集合-set

3.4 scala集合-map

3.5 scala集合-tuple

3.6 内置函数组合器

7月4日(周六)

08:30 - 11:30

4 scala异常

5 scala类

5.1 类定义

5.2 构造函数

5.3 成员变量和方法

5.4 单例对象、伴生类和伴生对象

5.5 文件读写

6 scala应用实例

7月4日(周六)

14:00 - 17:00

1 spark概述

1.1 认识spark

1.2 搭建spark环境

1.3 了解spark运行架构与原理

1.4 spark生态系统

2 spark编程

3.1 创建rdd

3.2 rdd transform算子应用

3.3 rdd action算子应用

7月5日(周日)

08:30 - 11:30

14:00 - 17:00

4 spark编程进阶

4.1 搭建开发环境

4.2 编程实现学生信息分析

4.3 程序编译

4.4 任务提交与运行模式

4.5 查看任务监控

4.6 rdd持久化

4.7 rdd依赖与容错

5 spark sql: 结构化数据文件处理

5.1 认识spark sql

5.2 认识dataframe、dataset

5.3 掌握dataframe基础操作

5.4 探索分析法律服务网站数据

6 spark与机器学习库

6.1 机器学习简介

6.2 mllib各模块简介

6.3 探索分析模块

6.4 算法模块

6.5 模型评估与优化模块

6.6 pipeline介绍

6.7 pipeline整合预处理、建模、调优、评估过程

7 电影智能推荐案例

7月6日(周一)

19:00 - 21:30

1 flume简介

1.1 flume概念

1.2 flume组成

2 flume安装配置

2.1 flume安装

2.2 flume采集示例

2.3 flume采集文件数据到hdfs中

3 flume源与通道选择器

3.1 flume源

3.2 通道选择器

7月7日(周二)

19:00 - 21:30

4 通道

4.1 内存通道

4.2 文件通道

5 接收器与接收处理器

5.1 接收器

5.2 接收器组

5.3 接收处理器

7月8日(周三)

19:00 - 21:30

1 kafka的概述

1.1 什么是消息系统

1.2 kafka介绍

1.3 kafka基础架构

1.4 kafka核心概念

2 kafka安装配置

2.1 安装zookeeper

2.2 安装kafka

2.3 多代理配置和主题操作

7月9日(周四)

19:00 - 21:30

3 kafka基础应用

3.1 创建主题

3.2 创建生产者

3.3 创建消费者

4 kafka基础操作

4.1 kafka producer api

4.2 kafka consumer api

4.3 kafka与spark集成

7月10日(周五)

19:00 - 21:30

1 认识flink

1.1 flink简介

1.2 flink自身优势以及与其他框架的比较

2 flink基本概念和数据流编程模型

2.1 flink数据流编程模型和时间窗口

2.2 flink分布式运行环境

3 flink安装

3.1 安装flink

3.2 启动与关闭flink

3.3 查看flink监控窗口

3.4 flinkwordcount任务与运行示例

4 flink开发

4.1 配置开发环境

4.2 datastream api编程

5 flink应用实例

7月11日(周六)

08:30 - 11:30

14:00 - 17:00

广电大数据用户画像(hadoop spark hive)

1 项目需求

1.1 项目背景

1.2 项目目标

2 技术方案

2.1 技术选型

2.2 系统架构

3 数据存储与传输

3.1 创建hive表

3.2 csv数据导入到hive

4 需求探索

4.1 数据说明

4.2 基础探索

4.3 业务需求探索

4.4 需求探索总结

5 基础数据预处理

6 svm预测用户是否挽留

6.1 svm算法简介

6.2 构建特征列和标签列数据

6.3 建立svm模型

6.4 模型评估与预测

7 用户画像

7.1 用户画像概述

7.2 标签计算

7.3 标签展示

7月12日(周日)

08:30 - 11:30

14:00 - 17:00

商品实时推荐系统(flume kafka flink)

1 案例背景与目标分析

1.1 背景介绍

1.2 业务需求分析

1.3 任务分析

2 系统架构设计

2.1 实时日志采集系统架构设计

2.2 实时数据处理系统架构设计

3 采集系统方案实施

3.1 kafka主题设计与实现

3.2 flume数据采集配置与实现

3.3 kafka消费者配置与实现

4 实时处理系统方案实施

4.1 创建flink作业

4.2 统计商品销售额

4.3 flink实时统计与推荐

7月12日(周日)

19:00 - 21:30

发票内容：

电子发票

接收邮箱：

1、电汇到指定账号。
2、扫码支付(报名后联系工作人员索要支付码)。

3、付款时请注明"大数据研修班 单位或姓名"字样，方便查账备案。

账户名：广东泰迪智能科技股份有限公司

开户行：中国建设银行股份有限公司广州萝岗支行

账户号：44050 14700 42090 12501

 请将报名表发送至招生办公室，报名邮箱：zengaizhi@tipdm.com        

 联系人： 曾老师     13246821827