)
前置知识:序列模型--输出/输入中包含有序列数据的模型特点:1.输入/输出元素之间具有顺序关系, 不同顺序得到的结果不同2.输入输出不定长, 比如问答系统, 聊天机器人DL--RNN小名:循环神经网络外国小名: sequence model定义:专门设计用来处理序列数据的神经网络应用:1.自然语言处理--NLP,例如1.文本生成2.机器翻译3.情感分析4.命名实体识别5.问答系统2.语音处理,例如1.语音识别2.语音合成3.语音增强3.时间序列预测, 例如1.股价预测2.天气预报RNN作用原理:RNN常见结构:1.多输入,单输出--情感识别2.单输入,多输出--序列数据生成器3.多输入,多输出--语言翻译RNN缺陷:前部序列传递到后部的时候, 信息权重下降, 导致重要信息丢失转化成数学问题就是: 在求解过程中, 在反推的时候, 梯度越来越小, 直到无法求解LSTM--长短期记忆网络:优点:解决前部信息在传递过程中出现的距离越远, 信息丢失越多的问题原理:增加记忆细胞, 用它来保留前部重要信息传递到后部, 详情如图BRNN:双向循环神经网络特点:进行判断时, 也考虑后部信息DRNN:深层循环神经网络特点: 为了解决更复杂的序列模型, 可以把单层RNN记性叠加, 或者在输出前与普通mlp结合使用 深度学习——循环神经网络RNN知识点小结(全)
前置知识:序列模型--输出/输入中包含有序列数据的模型特点:1.输入/输出元素之间具有顺序关系, 不同顺序得到的结果不同2.输入输出不定长, 比如问答系统, 聊天机器人DL--RNN小名:循环神经网络外国小名: sequence model定义:专门设计用来处理序列数据的神经网络应用:1.自然语言处理--NLP,例如1.文本生成2.机器翻译3.情感分析4.命名实体识别5.问答系统2.语音处理,例如1.语音识别2.语音合成3.语音增强3.时间序列预测, 例如1.股价预测2.天气预报RNN作用原理:RNN常见结构:1.多输入,单输出--情感识别2.单输入,多输出--序列数据生成器3.多输入,多输出--语言翻译RNN缺陷:前部序列传递到后部的时候, 信息权重下降, 导致重要信息丢失转化成数学问题就是: 在求解过程中, 在反推的时候, 梯度越来越小, 直到无法求解LSTM--长短期记忆网络:优点:解决前部信息在传递过程中出现的距离越远, 信息丢失越多的问题原理:增加记忆细胞, 用它来保留前部重要信息传递到后部, 详情如图BRNN:双向循环神经网络特点:进行判断时, 也考虑后部信息DRNN:深层循环神经网络特点: 为了解决更复杂的序列模型, 可以把单层RNN记性叠加, 或者在输出前与普通mlp结合使用 RELATED READING
延伸阅读
更多一线实战笔记与深度复盘，助您持续精进
