泰迪科技“hadoop＋spark大数据开发”与“python数据分析与机器学习”就业培训班盛大起航-威尼斯5139手机版

1、linux简介与安装

2、linux目录与权限管理

3、文件基础操作与vim 程序编辑器

4、bash简介及功能介绍、shell script编程

5、数据库概述

6、mysql基本知识与体系结构

7、mysql基础语句与编程

8、数据库和表的创建及增删改查操作

1、准备工作
1.1 认识python
1.2 搭建python环境
1.3 安装pycharm并创建一个应声虫程序

2、python基础知识
2.1 掌握python固定语法
2.2 创建字符串变量并提取里面的数值
2.3 计算圆形的各参数

3、python数据结构
3.1 创建一个列表（list）并进行增删改查操作
3.2 转换一个元组（tuple）并进行取值操作
3.3 创建一个字典（dict）并进行增删改查操作
3.4 将两个列表转换为集合（set）并进行集合运算

4、程序流程控制语句
4.1 实现考试成绩划分
4.2 实现一组数的连加与连乘
4.3 使用冒泡排序法排序
4.4 实训（猜数字游戏）

5、函数
5.1 自定义函数实现输出方差
5.2 使用匿名函数添加列表元素
5.3 存储并导入函数模块

6、面向对象
6.1 认识面向对象编程
6.2 创建car类
6.3 创建car对象
6.4 迭代car对象
6.5 产生land_rover对象（子类）

7、文件基础
7.1 认识文件
7.2 读取txt文件中的数据
7.3 保存数据为csv格式文件
7.4 认识os模块

1、微积分基础

2、概率论与数理统计

3、线性代数

4、数值计算基础

1、python数据分析概述
1.1 认识数据分析
1.2 熟悉python数据分析的工具
1.3 安装python3的anaconda发行版
1.4 掌握jupyter notebook常用功能

2、numpy数值计算基础
2.1 认识numpy数组对象ndarray
2.2 认识numpy矩阵与通用函数
2.3 利用numpy进行统计分析

3、matplotlib数据可视化基础
3.1 了解绘图基础语法与常用参数
3.2 分析特征间的关系
3.3 分析特征内部数据分布与分散状况

4、pandas统计分析基础
4.1 读写不同数据源的数据
4.2 掌握dataframe的常用操作
4.3 转换与处理时间序列数据
4.4 使用分组聚合进行组内计算
4.5 创建透视表与交叉表

5、使用pandas进行数据预处理
5.1 合并数据
5.2 清洗数据
5.3 标准化数据
5.4 转换数据

6、使用scikit-learn构建模型
6.1 使用sklearn转换器处理数据
6.2 构建并评价聚类模型
6.3 构建并评价分类模型
6.4 构建并评价回归模型

7、航空公司客户价值分析
7.1 了解航空公司现状与客户价值分析
7.2 预处理航空客户数据
7.3 使用k-means算法进行客户分群

1、机器学习绪论
1.1 引言
1.2 基本术语
1.3 假设空间
1.4 归纳偏好

2、模型评估与选择
2.1 经验误差与过拟合
2.2 评估方法
2.3 性能度量
2.4 偏差与方差

3、回归分析(regression analysis)
3.1 基本形式
3.2 线性模型
3.3 逻辑回归

4、决策树(decision tree)
4.1 基本流程
4.2 划分选择
4.3 剪枝

5、人工神经网络(artificial neural network)
5.1 神经元模型
5.2 感知机与多层网络
5.3 误差逆传播
5.4 bp神经网络

6、最近邻算法（knn）

7、朴素贝叶斯分类(naive bayesian)

8、聚类分析(cluster analysis)
8.1 聚类任务
8.2 性能度量
8.3 距离计算
8.4 常用聚类算法

9、关联规则(apriori)

10、支持向量机(support vector machine)
10.1 间隔与支持向量
10.2 对偶问题
10.3 核函数
10.4 软间隔与正则化

11、智能推荐(collaborative filtering)

12、深度学习介绍(deep learning)

1、文本挖掘全流程概述

2、文本挖掘预处理技术

3、中文分词介绍（jieba）

4、词云介绍（wordcloud）

5、正则表达式

6、文本特征提取

7、文本聚类

8、主题分析

1、图像数据处理

2、水质图像识别

3、tensorflow入门与应用

4、图像识别与卷积神经网络

5、mnist数字识别

1、电力窃漏电用户自动识别

2、垃圾短信分类与识别

3、电商产品评论数据情感分析

4、电子商务智能推荐服务

5、基于微博数据的网络舆情分析

1、家用电器用户行为分析及事件识别

2、金融广告精准投放

3、基于图片处理的机器人智能抓取

……

1、linux操作系统简介、安装及使用

2、linux档案权限与目录配置、档案与目录管理、用户账号管理

3、文件操作、文本编辑、vim 程序编辑器

4、bash简介及功能介绍、shell script编程

1、数据库概述、数据库系统、管理系统

2、mysql安装配置、基本操作、mysql连接工具的使用

3、数据库基础知识概述：数据库、表结构、字段及其数据类型、运算符

4、sql概述,数据库及表的创建基本操作

5、增删改查语句,使用java程序进行增删改查

1、java基础程序设计：数据类型、运算符、表达式、判断循环语言

2、数组定义与使用、方法定义与重载

3、面向对象（基础）

4、面向对象（高级）

5、异常概念与编程；包概念与导入、泛型概念与编程应用

6、java类集：collection接口主要操作方法：list、set、map常用子类与使用，集合操作与遍历方法

7、多线程编程及应用

8、java ee编程实战；javaee基础，html，javascript，java web，tomcat，jsp

1、hadoop简介、架构、原理

2、集群配置及安装（jdk、ssh）

3、hadoop ide开发环境配置（eclipse配置）

4、hadoop mapreduce实战：单词计数

5、hadoop命令（hadoop fs , hadoop job, hadoop jar）

6、分布式文件系统hdfs  java api实战：创建目录，上传，下载，删除

7、hadoop基础编程（mapper、reducer、driver）

8、hadoop高级编程（combiner／partitioner原理实战及自定义，fileinputformat、fileoutputformat）

9、hadoop高级编程（自定义键值对）；

10、hadoop高级编程（开发环境直接运行mapreduce程序）

11、hadoop案例1：基于knn的鸢尾花分类预测

12、hadoop案例2：基于kmeans的客户价值分析

1、hive产生背景、概念，hive架构、原理

2、hive安装、配置

3、hive与rdbms区别，hive应用场景

4、hive hql命令，数据库，表创建；数据导入、导出，hql查询

5、hive内置函数，自定义函数（udf）

6、hive与java交互

7、基于hive的航空公司客户价值分析项目案例

1、hbase简介、架构原理

2、hbase集群安装配置（zookeeper简介、zookeeper安装配置、配置文件解读）

3、hbase架构与数据模型（组件原理功能、rowkey设计、schema设计）

4、hbas命令行（hbase shell）表操作

5、hbase开发环境配置

6、java api操作hbase删/建表、hbase增删改查

7、hbase与hadoop mapreduce交互（hbase to hdfs， hdfs to hbase，hbase to hbase）

8、基于hbase的冠字号查询系统（案例背景、架构、数据处理、建表、导入表数据实现）

9、基于hbase的冠字号查询系统java web实现

1、spark 简介（spark简介、应用场景）

2、spark安装配置（资源管理器yarn／spark standalone）

3、spark整合hive及传统数据库

3、原理与架构（组件功能、rdd原理）

4、spark编程基础（scala及编程简介）

5、spark transformation/action编程

6、spark intellij idea开发环境配置

7、基于spark als算法的电影推荐系统（案例背景、系统架构）

8、基于spark als算法的电影推荐系统（spark shell简单实现& java web远程调用spark集群实现）

一、基于hadoop、spark的法律网智能推荐

1、法律网案例背景，架构设计

2、数据预处理：异常数据探索、数据剔除

3、系统数据预处理实现

4、推荐算法简介、评估与选型

5、系统模型建立、预研、调优

6、系统模型完整实现

二、基于spark fpgrowth的餐饮智能菜品推荐

1、餐饮案例背景、架构设计

2、数据预处理：上传、数据探索、异常处理

3、推荐模型预研、评估与选型

4、mllib fpgrowth调用与编码实现

5、系统模型建立、评价、调优

6、系统模型完整实现