Python机器学习算法 升级版课程

admin

本课程特点是从数学层面推导最经典的机器学习算法，以及每种算法的示例和代码实现（Python）、如何做算法的参数调试、机器学习算法的应用场景介绍等。

【课程内容】

数学基础1 - 数学分析

• 机器学习的角度看数学
• 复习数学分析
• 直观解释常数e
• 导数/梯度与SGD
• Taylor展式
• 凸函数
• 概率论基础
• 古典概型
• 贝叶斯公式
• 常见概率分布
  

数学基础2 - 数理统计与参数估计

• 统计量
• 期望/方差/偏度/峰度
• 协方差(矩阵)和相关系数
• 独立和不相关
• 大数定律
• 中心极限定理
• 中心矩/原点矩/矩估计
• 深刻理解最大似然估计
• 过拟合的数学原理
• 偏差方差二难
  

数学基础3 - 矩阵和线性代数

• 线性代数是有用的：以SVD为例
• 马尔科夫模型和矩阵乘法、状态转移矩阵
• 矩阵和向量组
• 特征值和特征向量
• 对称阵、正交阵、正定阵
• 数据白化及其应用
• 向量对向量求导
• 标量对向量求导
• 标量对矩阵求导
  

数学基础4 - 凸优化

• 凸集的严格数学表达
• 凸集保凸运算
• 分割超平面/支撑超平面
• 凸函数/上境图
• Jensen不等式
• Fenchel不等式
• K-L散度
• 凸优化
• 共轭函数和对偶函数
• 鞍点解释
• 用对偶方法求解最小二乘问题
• 强对偶KKT条件
  

Python基础及其数学库的使用

• 解释器Python2.7与IDE：Anaconda/Pycharm
• Python基础：列表/元组/字典/类/文件
• numpy/scipy/matplotlib/panda的介绍和典型使用
• 典型图像处理
  

Python基础及其机器学习库的使用

• scikit-learn的介绍和典型使用
• 损失函数的绘制
• 多种数学曲线
• 多项式拟合
• 股票数据分析、卷积、(指数)移动平均线
  

回归

• 线性回归
• 高斯分布
• Logistic回归
• 最大似然估计
• 梯度下降算法：BGD与SGD
• 特征选择与过拟合
  

回归实践

• 机器学习sklearn库介绍
• Ridge回归、LASSO
• Logistic/Softmax回归
• 回归代码实现和调参
• 交叉验证
• 数据可视化
  

决策树和随机森林

• 熵、联合熵、条件熵、KL散度、互信息
• 最大似然估计与最大熵模型
• ID3、C4.5、CART详解
• 决策树的评价
• 预剪枝和后剪枝
• Bagging
• 随机森林
  

随机森林实践

• 手写随机森林实践
• 调用开源库函数完成随机森林
• 数据结构的综合使用
• gini系数
  

提升

• 提升为什么有效
• Adaboost算法
• 加法模型与指数损失
• 梯度提升决策树GBDT
  

XGBoost

• 自己动手实现GBDT
• XGBoost库介绍
• Taylor展式与学习算法
• KAGGLE简介
• 泰坦尼克乘客存活率估计
  

SVM

• 线性可分支持向量机
• 软间隔的改进
• 损失函数的理解
• 核函数的原理和选择
• SMO算法
• 支持向量回归SVR
  

SVM实践

• libSVM代码库介绍
• 原始数据和特征提取
• 调用开源库函数完成SVM
• SVR用于时间序列曲线预测
• SVM、Logistic回归、随机森林三者的横向比较
  

聚类

• 各种相似度度量及其相互关系
• Jaccard相似度和准确率、召回率
• Pearson相关系数与余弦相似度
• K-means与K-Medoids及变种
• AP算法(Sci07)/LPA算法及其应用
• 密度聚类DBSCAN/DensityPeak(Sci14)
• 谱聚类SC
• 聚类评价和结果指标
  

聚类实践

• K-Means++算法原理和实现
• 向量量化VQ及图像近似
• 并查集的实践应用
• 密度聚类的代码实现
• 谱聚类用于图片分割
  

EM算法

• 最大似然估计
• Jensen不等式
• 朴素理解EM算法
• 精确推导EM算法
• EM算法的深入理解
• 混合高斯分布
• 主题模型pLSA
  

EM算法实践

• 多元高斯分布的EM实现
• 分类结果的数据可视化
• EM与聚类的比较
• Dirichlet过程EM
• 三维及等高线等图件的绘制
• 主题模型pLSA与EM算法
  

贝叶斯网络

• 朴素贝叶斯
• 贝叶斯网络的表达
• 条件概率表参数个数分析
• 马尔科夫模型
• D-separation
• 条件独立的三种类型
• Markov Blanket
• 混合(离散+连续)网络：线性高斯模型
• Chow-Liu算法：最大权生成树MSWT
  

朴素贝叶斯实践

• GaussianNB
• MultinomialNB
• BernoulliNB
• 朴素贝叶斯用于鸢尾花数据
• 朴素贝叶斯用于路透社新闻文本分类
  

主题模型LDA

• 贝叶斯学派的模型认识
• 共轭先验分布
• Dirichlet分布
• Laplace平滑
• Gibbs采样详解
  

LDA实践

• 网络爬虫的原理和代码实现
• 停止词和高频词
• 动手自己实现LDA
• LDA开源包的使用和过程分析
• Metropolis-Hastings算法
• MCMC
• LDA与word2vec的比较
  

隐马尔科夫模型HMM

• 概率计算问题
• 前向/后向算法
• HMM的参数学习
• Baum-Welch算法详解
• Viterbi算法详解
  

HMM实践

• 动手自己实现HMM用于中文分词
• 多个语言分词开源包的使用和过程分析
• 文件数据格式UFT-8、Unicode
• 停止词和标点符号对分词的影响
• 前向后向算法计算概率溢出的解决方案
• 发现新词和分词效果分析
• 高斯混合模型HMM
• GMM-HMM用于股票数据特征提取
  

下载地址

游客，如果您要查看本帖隐藏内容请回复

kaitoxlee

好好学习，天天向上