损失函数与优化器的关联

*AI学习知识点* 1. 基础知识 概率论 微积分与逼近论 极限、微分、积分的基本概念 利用逼近的思想理解微积分，利用积分的方式理解概率论 概率论的基础 古典模型 常见的概率分布 大数定理和中心极限定理 协方差和相关系数 最大似然估计和最大后验估计 凸优化 凸优化的基本概念 凸函数 凸集 凸优化问题的标准形式 线性代数及矩阵 线性空间及线性变化 矩阵的基本概念 状态转移矩阵 特征向量 矩阵的相关乘法 矩阵的QR分解 对称矩阵、正交矩阵、正定矩阵 矩阵的SVD分解 矩阵的求导 矩阵的映射和投影 数据分析 常数e gini系数 导数 梯度 梯度下降 信息熵与组合数 Taylor 牛顿法 2. Python高级应用 容器 列表：list 元组：tuple 字典：dict 数组：Array 切片 列表推导式 浅拷贝和深拷贝 函数 lambda表达式 递归函数及递归优化 常用内置函数/高级函数 项目案例： 约瑟夫环问题 常用库 时间库 并发库 科学计算库 Matplotlib可视化会图库 锁和线程 多线程变成 3. 机器学习 机器学习 理论概述 督导学习 逻辑回归 Softmax分类 条件随机场 支持向量机svm 决策树 随机森林 GBDT 集成学习 非督导学习 高斯混合模型 聚类 PCA 密度估计 LDA 双聚类 降维算法 LSI 数据处理与模型调优 特征提取 数据预处理 数据降维 模型参数调优 模型持久化 模型可视化 优化算法：坐标轴下降法和最小角回归法 数据挖掘关联规则算法 感激模型 4. 深度学习 迈入人工智能的大门 深度学习概述 感知器 BP神经网络 RBF神经网络 Tensorflow概述 Tensorflow常用api Tensorboard可视化技术 源码实现BP与RBF 机器能看的现代技术-CNN 初识CNN 模型优化技术 CNN经典模型 机器能读懂文字的技术-RNN 初识RNN 走进LSTM 机器能伪造数据的技术-GAN 走进GAN 损失函数原理解析 GAN变种 深度学习进阶 目标检测（ssd，yolo） seq2seq seq2seq with Attension 5. 自然语言处理 词 分词 词性标注 词向量 字向量 实体识别 关系抽取 关键词提取 无用词过滤 句 句法分析 语义分析 自然语言 理解 一阶逻辑 文本相似度计算 7. 图像处理 图像基础 图像读写、保存、画图 图像操作及算数运算 图像像素读取、算数运算、ROI区域读取 图像颜色空间运算 图像颜色空间相互转换 图像集合变化 平移、旋转、仿射变化、透视变化等 图像形态学 腐蚀、膨胀、开闭运算等 图像轮毂 长宽、面积、周长、外方园、方向、平均颜色、层次轮图 图像统计学 图像直方图 图像滤波 高斯滤波、均值滤波、双边滤波、拉普拉斯滤波 1. 基础知识 概率论 微积分与逼近论 极限、微分、积分的基本概念 利用逼近的思想理解微积分，利用积分的方式理解概率论 概率论的基础 古典模型 常见的概率分布 大数定理和中心极限定理 协方差和相关系数 最大似然估计和最大后验估计 凸优化 凸优化的基本概念 凸函数 凸集 凸优化问题的标准形式 线性代数及矩阵 线性空间及线性变化 矩阵的基本概念 状态转移矩阵 特征向量 矩阵的相关乘法 矩阵的QR分解 对称矩阵、正交矩阵、正定矩阵 矩阵的SVD分解 矩阵的求导 矩阵的映射和投影 数据分析 常数e gini系数 导数 梯度 梯度下降 信息熵与组合数 Taylor 牛顿法 2. Python高级应用 容器 列表：list 元组：tuple 字典：dict 数组：Array 切片 列表推导式 浅拷贝和深拷贝 函数 lambda表达式 递归函数及递归优化 常用内置函数/高级函数 项目案例： 约瑟夫环问题 常用库 时间库 并发库 科学计算库 Matplotlib可视化会图库 锁和线程 多线程变成 3. 机器学习 机器学习 理论概述 督导学习 逻辑回归 Softmax分类 条件随机场 支持向量机svm 决策树 随机森林 GBDT 集成学习 非督导学习 高斯混合模型 聚类 PCA 密度估计 LDA 双聚类 降维算法 LSI 数据处理与模型调优 特征提取 数据预处理 数据降维 模型参数调优 模型持久化 模型可视化 优化算法：坐标轴下降法和最小角回归法 数据挖掘关联规则算法 感激模型 4. 深度学习 迈入人工智能的大门 深度学习概述 感知器 BP神经网络 RBF神经网络 Tensorflow概述 Tensorflow常用api Tensorboard可视化技术 源码实现BP与RBF 机器能看的现代技术-CNN 初识CNN 模型优化技术 CNN经典模型 机器能读懂文字的技术-RNN 初识RNN 走进LSTM 机器能伪造数据的技术-GAN 走进GAN 损失函数原理解析 GAN变种 深度学习进阶 目标检测（ssd，yolo） seq2seq seq2seq with Attension 5. 自然语言处理 词 分词 词性标注 词向量 字向量 实体识别 关系抽取 关键词提取 无用词过滤 句 句法分析 语义分析 自然语言 理解 一阶逻辑 文本相似度计算 7. 图像处理 图像基础 图像读写、保存、画图 图像操作及算数运算 图像像素读取、算数运算、ROI区域读取 图像颜色空间运算 图像颜色空间相互转换 图像集合变化 平移、旋转、仿射变化、透视变化等 图像形态学 腐蚀、膨胀、开闭运算等 图像轮毂 长宽、面积、周长、外方园、方向、平均颜色、层次轮图 图像统计学 图像直方图 图像滤波 高斯滤波、均值滤波、双边滤波、拉普拉斯滤波