关于泰迪科技大数据人才定向培养的说明-威尼斯5139手机版

1、linux简介与安装;

2、linux目录与权限管理;

3、文件基础操作与vim 程序编辑器;

4、bash简介及功能介绍、shell script编程;

5、数据库概述;

6、mysql基本知识与体系结构;

7、mysql基础语句与编程;

8、数据库和表的创建及增删改查操作

1 准备工作;

1.1 认识python;

1.2 搭建python环境;

1.3 安装pycharm并创建一个应声虫程序;

2 python基础知识;

2.1 掌握python固定语法;

2.2 创建字符串变量并提取里面的数值;

2.3 计算圆形的各参数;

3 python数据结构;

3.1 创建一个列表（list）并进行增删改查操作;

3.2 转换一个元组（tuple）并进行取值操作;

3.3 创建一个字典（dict）并进行增删改查操作;

3.4 将两个列表转换为集合（set）并进行集合运算;

4 程序流程控制语句;

4.1实现考试成绩划分;

4.2实现一组数的连加与连乘;

4.3使用冒泡排序法排序;

4.4实训（猜数字游戏）;

5 函数;

5.1自定义函数实现输出方差;

5.2使用匿名函数添加列表元素;

5.3存储并导入函数模块;

6 面向对象;

6.1 认识面向对象编程;

6.2 创建car类;

6.3 创建car对象;

6.4 迭代car对象;

6.5 产生land_rover对象（子类);

7 文件基础;

7.1 认识文件;

7.2 读取txt文件中的数据;

7.3 保存数据为csv格式文件;

7.4 认识os模块.

微积分基础;

概率论与数理统计;

线性代数;

数值计算基础.

1 python数据分析概述;

1.1 认识数据分析;

1.2 熟悉python数据分析的工具;

1.3 安装python3的anaconda发行版;

1.4 掌握jupyter notebook常用功能;

2 numpy数值计算基础

2.1认识numpy数组对象ndarray

2.2认识numpy矩阵与通用函数

2.3利用numpy进行统计分析

3 matplotlib数据可视化基础

3.1了解绘图基础语法与常用参数

3.2分析特征间的关系

3.3分析特征内部数据分布与分散状况

4 pandas统计分析基础

4.1读写不同数据源的数据

4.2掌握dataframe的常用操作

4.3转换与处理时间序列数据

4.4使用分组聚合进行组内计算

4.5创建透视表与交叉表

5 使用pandas进行数据预处理

5.1合并数据

5.2清洗数据

5.3标准化数据

5.4转换数据

6使用scikit-learn构建模型

6.1使用sklearn转换器处理数据

6.2构建并评价聚类模型

6.3构建并评价分类模型

6.4构建并评价回归模型

7 航空公司客户价值分析

7.1了解航空公司现状与客户价值分析

7.2预处理航空客户数据

7.3使用k-means算法进行客户分群

1 机器学习绪论

1.1 引言

1.2 基本术语

1.3 假设空间

1.4 归纳偏好

2 模型评估与选择

2.1 经验误差与过拟合

2.2 评估方法

2.3 性能度量

2.4 偏差与方差

3 回归分析(regression analysis)

3.1 基本形式

3.2 线性模型

3.3 逻辑回归

4 决策树(decision tree)

4.1 基本流程

4.2 划分选择

4.3 剪枝

5 人工神经网络(artificial neural network)

5.1 神经元模型

5.2 感知机与多层网络

5.3 误差逆传播

5.4 bp神经网络

6 最近邻算法（knn）

7 朴素贝叶斯分类(naive bayesian)

8 聚类分析(cluster analysis)

8.1 聚类任务

8.2 性能度量

8.3 距离计算

8.4 常用聚类算法

9 关联规则(apriori)

10 支持向量机(support vector machine)

10.1 间隔与支持向量

10.2 对偶问题

10.3 核函数

10.4 软间隔与正则化

11 智能推荐(collaborative filtering)

12 深度学习介绍(deep learning)

1 文本挖掘全流程概述

2 文本挖掘预处理技术

3 中文分词介绍（jieba）

4 词云介绍（wordcloud）

5 正则表达式

6 文本特征提取

7 文本聚类

8 主题分析

1 图像数据处理

2 水质图像识别

3 tensorflow入门与应用

4 图像识别与卷积神经网络

5 mnist数字识别

1 电力窃漏电用户自动识别

2 垃圾短信分类与识别

3 电商产品评论数据情感分析

4 电子商务智能推荐服务

5 基于微博数据的网络舆情分析

1 家用电器用户行为分析及事件识别

2 金融广告精准投放

3 基于图片处理的机器人智能抓取

……

1、linux操作系统简介、安装及使用

2、linux档案权限与目录配置、档案与目录管理、用户账号管理

3、文件操作、文本编辑、vim 程序编辑器

4、bash简介及功能介绍、shell script编程

1、数据库概述、数据库系统、管理系统

2、mysql安装配置、基本操作、mysql连接工具的使用

3、数据库基础知识概述：数据库、表结构、字段及其数据类型、运算符

4、sql概述,数据库及表的创建基本操作

5、增删改查语句,使用java程序进行增删改查
                           

java基础程序设计：数据类型、运算符、表达式、判断循环语言；

数组定义与使用、方法定义与重载；

面向对象（基础）；

面向对象（高级）；

异常概念与编程；包概念与导入；泛型概念与编程应用；

java类集：collection接口主要操作方法：list、set、map常用子类与使用，集合操作与遍历方法；

多线程编程及应用；

java ee编程实战；javaee基础，html，javascript，java web，tomcat，jsp。

hadoop简介、架构、原理；

集群配置及安装（jdk、ssh）；

hadoop ide开发环境配置（eclipse配置）；

hadoop mapreduce实战：单词计数；

hadoop命令（hadoop fs , hadoop job, hadoop jar）；

分布式文件系统hdfs  java api实战：创建目录，上传，下载，删除；

hadoop基础编程（mapper、reducer、driver）；

hadoop高级编程（combiner／partitioner原理实战及自定义，fileinputformat、fileoutputformat）；

hadoop高级编程（自定义键值对）；

hadoop高级编程（开发环境直接运行mapreduce程序）；

hadoop案例1：基于knn的鸢尾花分类预测；

hadoop案例2：基于kmeans的客户价值分析。
                           

hive产生背景、概念，hive架构、原理；

hive安装、配置；

hive与rdbms区别，hive应用场景；

hive hql命令，数据库，表创建；数据导入、导出，hql查询；

hive内置函数，自定义函数（udf）；

hive与java交互；

基于hive的航空公司客户价值分析项目案例。

hbase简介、架构原理；

hbase集群安装配置（zookeeper简介、zookeeper安装配置、配置文件解读）；

hbase架构与数据模型（组件原理功能、rowkey设计、schema设计）；

hbas命令行（hbase shell）表操作；

hbase开发环境配置；

java api操作hbase删/建表、hbase增删改查；

hbase与hadoop mapreduce交互（hbase to hdfs， hdfs to hbase，hbase to hbase）；

基于hbase的冠字号查询系统（案例背景、架构、数据处理、建表、导入表数据实现）；

基于hbase的冠字号查询系统java web实现。

spark 简介（spark简介、应用场景）;  

spark安装配置（资源管理器yarn／spark standalone）；

spark整合hive及传统数据库；

原理与架构（组件功能、rdd原理）；

spark编程基础（scala及编程简介）；

spark transformation/action编程；

spark intellij idea开发环境配置；

基于spark als算法的电影推荐系统（案例背景、系统架构）；

基于spark als算法的电影推荐系统（spark shell简单实现& java web远程调用spark集群实现）；

一、基于hadoop、spark的法律网智能推荐

法律网案例背景，架构设计；

数据预处理：异常数据探索、数据剔除；

系统数据预处理实现；

推荐算法简介、评估与选型；

系统模型建立、预研、调优；

系统模型完整实现。

二、基于spark fpgrowth的餐饮智能菜品推荐

餐饮案例背景、架构设计；

数据预处理：上传、数据探索、异常处理；

推荐模型预研、评估与选型；

mllib fpgrowth调用与编码实现；

系统模型建立、评价、调优；

系统模型完整实现。