深度学习核心技术

LSTM 长短期记忆网络

Long Short-Term Memory,一种特殊的循环神经网络架构 通过独特的门控机制,有效解决了传统RNN在长序列处理中的梯度消失问题 机器翻译、语音识别、时间序列预测等领域奠定了坚实基础

LSTM 记忆传送带结构
当前输入
Xₜ
遗忘门 fₜ
删掉无用信息
输入门 iₜ
存入关键信息
细胞状态 / 长期记忆传送带
Ct-1
桂林 / 艾玛
Ct
输出门 oₜ
提取当前要用的记忆
当前输出
hₜ
传递到 下一时刻
关键信息 "桂林 / 艾玛" 全程保留