深度学习基础知识整理.docx
- 文档编号:30421441
- 上传时间:2023-08-14
- 格式:DOCX
- 页数:9
- 大小:17.55KB
深度学习基础知识整理.docx
《深度学习基础知识整理.docx》由会员分享,可在线阅读,更多相关《深度学习基础知识整理.docx(9页珍藏版)》请在冰豆网上搜索。
深度学习基础知识整理
xx学习基础知识整理
Withoutdeviationfromthenorm,progressisnotpossible(不偏离常规,就无法取得进步-FrankZappa)
第一课:
数学分析与概率论
Taylor展式及其应用、凸函数、jensen不等式、常见分布与共轭分布
第二课:
数理统计与参数估计
Chebyshev不等式、大数定理、小数定理、中心极值定理、矩阵计算、最大似然估计
第三课:
矩阵和线性代数
从马尔克夫模型看矩阵、特征向量、对称矩阵、线性方程第四课:
凸优化
凸函数、共轭函数、凸优化、Lagrange对偶函数
第五课:
回归
高斯分布、Logistic回归、梯度下降、特征选择与过拟合欠拟合关系
应用方向:
线性回归、Logistic回归实现和分析
xx:
梯度下降与拟xxxx
梯度下降算法、自适应学习率、拟牛顿、LBFGS
应用方向:
自适应学习率代码实现和参数调试分析
第七课:
最大熵模型
熵、相对熵、信息增益、最大熵模型、Softmax回归应用方向:
独立成分分析ICA求解盲源分离BBS问题第八课:
决策树和随机森林(蒙特卡罗)ID
3、"C
4."
5、CART、Bagging
研究方向:
使用随机森林进行数据分类(蒙特卡洛)
xx:
SVM
线性可分支持向量机、软间隔、核函数、SMO
研究方向:
使用SVM进行数据分类
第十课:
聚类
K-means/K-Medoids、密度聚类、谱聚类、
应用方向:
K-means、谱聚类代码实现和参数调试分析第十一课:
推荐系统
相似度量方案、协同过滤(User-based/ltem-based)、PCA/SV
D、随机游走
应用方向:
协同过滤用于商品推荐、SVD隐变量的推荐第十二课:
提升
梯度提升决策树GBDT、Adaboost、前向分步算法
应用方向:
Adaboost与随机森林(蒙特卡洛)结合、用于数据分类
第十三课:
EM算法和GMM
EMM算法、GMM、主题模型pLSA
应用方向:
分解部分观测数据的男女身高、图像分解第十四课:
普斯贝叶斯和贝叶斯网络初步有向分离、(隐)马尔科夫模型HMM
第十五课:
主题模型用EM算法计算pLS
A、Dirichiet分布、L
D
A、Gibbs采样
应用方向:
使用Gibbs采样计算给语料的主题
第十六课:
采样
MC(MarkovchainMonteCarlo)、Metropolis-Hastings算法、Gibbs采样
第十七课:
变分
KL(pllq)与KL(qllp)分析、平均场理论
第十八课:
隐马尔科夫模型HMM
概率计算问题、HMM参数学习问题、状态预测问题应用方向:
使用HMM进行中文分词
第十九课:
条件随机场CRF
无向图模型、MR
F、前向-后向算法
第二十课:
xx学习
全连接网络、链式法则与BP算法、卷积网络、残差网络、应用方向:
使用BP网络对样本分类
第十三课:
xx学习总体介绍
1.
2.
3.
4.神经网络;传统到现代
xx学习应用特定
xx学习发展方向
xx学习框架比较:
用Tensorflow进行课程学习
第十四课:
传统神经网络
1.线性回归
2.非线性激励函数
3.loss函数,常见问题:
过拟合,正则化,dropout
实例:
传统神经网络络实现
第十五课反向反馈:
xx学习模型优化基础
1.SGD梯度下降介绍
2.神经网络的梯度优化
3.神经网络训练
实例:
反向梯度优化对比
第十六课卷积神经网络
1.卷积核以及卷积层
2.AlexNet最早的现代神经网络
3.VGG,GoogleNet,,ResNet.近期的高级网络LeNet
实例:
利用已有模型进行物体分类/xx
第十七课迁移学习
1.理论分析
2.迁移模型&原始训练模型
3.如何设计新的的网络
实例:
表情识别/人脸识别/动物识别
第十八课与时域信息相关的xx学习
1.RNN
2.LSTM
3.图片标题生成
4.视频处理
实例:
LSTM用于图片标题生成
第十九课自然语言处理
1.处理之前:
speechtotext
2.词语表达,word2vect
3.语句生成LSTM
实例:
根据上下文回答问题
第二十课给予xx学习的目标检测
1.传统的目标检测方法
2.初代算法:
RegionCNN
3.升级:
SPPNet,FastRCNN,FasterRCNN
4.xx学习另辟蹊径:
YoLo和SSD
实例:
自动驾驶的核心:
实时目标检测
第二十一课xx卷积神经偶的重要应用
1.图片问答
2.图像模式转换
3.图像xx
4.围棋程序,Alphago
5.自动游戏机器人,DeepMindAtari
实例:
图片艺术风格转化
第二十二课无监督学习:
对抗网络GAN
1.传统无监督学习Autoencode,KMeans,SparseCoding
2.RBM限制博斯曼机,深度学习的另一支
3.生成对抗网络GAN
实例:
机器生成图片,以假乱真
第二十三课:
迁移学习
第二十四课:
增强学习
记忆模型,xxRNN的GTMM
第二十五课:
二值神经网络
普通二值神经网络,YodaNN,
XLA如何让机器学习在TensorFlow上提升速度
第二十六课:
对偶学习
纳米神经网络NanoNet
Asolutiontothesingle-questioncrowdwisdomproblem(选自自然杂志意味流行算法解决群体智慧中缺陷)
语义理解(目前自然语言界最大难关)使用LSTM+Attion解决
像素卷积神经网络(PixelCNN++)可将图像生成速度提高183倍
WaveNet
RLSSscheduletobepostedsoon(深度学习与强化学习暑期学校)机器与大脑学习项目课程计划
CNNs
RNNs
GenerativeModels2
ComputationalNeuroscience1
Learningtolearn
CoffeBreak
NeuralNetworks
StructuredModels/AdvancedVision
ProbabillsticNumerics
NaturalLanguageUnderstanding
Computational
常见问题:
Q:
会有实际上机演示和动手操作吗?
A:
有,几乎每节课,老师均会准备上机演示部分,学员可以学习老师的实践经验。
Q:
参加本门课程有什么要求?
A:
有一定Python编程能力,有几本大学数学基础。
Q:
本课程怎么答疑?
A:
会有专门的QQ班级群,同学们可以针对课上知识的问题,或者自己学习与动手实践中的问题,向老师提问,老师会进行相应解答。
也推荐大家到小象问答社区提问,方便知识的沉淀,老师会集中回答,不会因为QQ群信息刷屏而被老师错过。
Q:
本课程需要什么环境?
A:
开发环境主要以Ubuntu为主,深度学习训练需要有可以支持的显卡,基本要求GTX960,有条件的尽量GTX1080,GTXTitanX更好(显卡的内核数以及显存数尽量多一点)。
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 深度 学习 基础知识 整理