第20章 RNN与序列建模

目标

掌握时序数据的处理方法。

---

必学内容

RNN 前向传播

a<t> = g(W_aa * a<t-1> + W_ax * x<t> + b_a)
y<t> = g(W_ya * a<t> + b_y)

RNN 类型

一对一：标准神经网络
一对多：音乐生成
多对一：情感分类
多对多：机器翻译

GRU

# 更新门 + 重置门
# 解决长程依赖问题

LSTM

# 遗忘门 + 更新门 + 输出门
# 记忆单元 c<t> 直接传递

---

必须真正理解

为什么标准RNN有梯度消失

W_aa 连乘多次 → 指数级放大/缩小

LSTM 如何解决

记忆单元 c<t> 有加法路径
梯度可以直接流过，不受乘法影响

---

Python Example

Included in the static site for reading. Run locally from the source repository when needed.

""" 第20章：RNN / LSTM 前向传播 Chapter 20: RNN & LSTM Forward Propagation """ import numpy as np # --- 单步 RNN --- def rnn_step(x_t, a_prev, parameters): Wax = parameters['Wax'] Waa = parameters['Waa'] ba = parameters['ba'] a_next = np.tanh(np.dot(Wax, x_t) + np.dot(Waa, a_prev) + ba) return a_next # 测试单步 np.random.seed(1) n_x, n_a = 10, 5 x_t = np.random.randn(n_x, 1) a_prev = np.random.randn(n_a, 1) params = { 'Wax': np.random.randn(n_a, n_x) * 0.01, 'Waa': np.random.randn(n_a, n_a) * 0.01, 'ba': np.zeros((n_a, 1)) } a_next = rnn_step(x_t, a_prev, params) print(f"RNN 单步: a_prev {a_prev.shape} + x_t {x_t.shape} -> a_next {a_next.shape}") # --- LSTM 单步 --- def lstm_step(x_t, a_prev, c_prev, parameters): n_a = a_prev.shape[0] concat = np.vstack((a_prev, x_t)) # 门 ft = sigmoid(np.dot(parameters['Wf'], concat) + parameters['bf']) # 遗忘门 it = sigmoid(np.dot(parameters['Wi'], concat) + parameters['bi']) # 更新门 cct = np.tanh(np.dot(parameters['Wc'], concat) + parameters['bc']) # 候选值 ot = sigmoid(np.dot(parameters['Wo'], concat) + parameters['bo']) # 输出门 c_next = ft * c_prev + it * cct a_next = ot * np.tanh(c_next) return a_next, c_next def sigmoid(z): return 1 / (1 + np.exp(-np.clip(z, -500, 500))) # LSTM 参数 n_concat = n_a + n_x lstm_params = { 'Wf': np.random.randn(n_a, n_concat) * 0.01, 'bf': np.zeros((n_a, 1)), 'Wi': np.random.randn(n_a, n_concat) * 0.01, 'bi': np.zeros((n_a, 1)), 'Wc': np.random.randn(n_a, n_concat) * 0.01, 'bc': np.zeros((n_a, 1)), 'Wo': np.random.randn(n_a, n_concat) * 0.01, 'bo': np.zeros((n_a, 1)), } c_prev = np.zeros((n_a, 1)) a_lstm, c_lstm = lstm_step(x_t, a_prev, c_prev, lstm_params) print(f"LSTM 单步: a {a_lstm.shape}, c {c_lstm.shape}") print("\nLSTM 核心: 记忆单元 c 直接传递，梯度可通过加法路径流动")