SilverIce Toolbox
Back to course

Stage 2 / Chapter 5

第5章：神经网络直觉 | Chapter 5: Neural Network Intuition

阶段定位 | Stage: 第二阶段 — 神经网络与进阶算法 预计学时 | Duration: 4~5 小时

---

学习目标 | Learning Objectives

中文：

  • 理解为什么线性模型的叠加仍然是线性，必须引入非线性激活
  • 掌握前向传播的完整流程与维度追踪
  • 理解神经网络的分层特征提取直觉
  • 了解万能近似定理的含义与局限
  • 能用 NumPy 手写两层神经网络的前向传播

English:

  • Understand why stacking linear models stays linear, requiring nonlinear activations
  • Master the complete forward propagation flow with dimension tracking
  • Understand the layered feature extraction intuition of neural networks
  • Know the meaning and limitations of the Universal Approximation Theorem
  • Implement two-layer neural network forward propagation from scratch in NumPy

---

5.1 为什么需要非线性激活 | Why Nonlinear Activation?

中文解释

一个惊人的事实

假设有两层线性变换：

Layer 1: z₁ = W₁·x + b₁
Layer 2: z₂ = W₂·z₁ + b₂

把第一层代入第二层：

z₂ = W₂·(W₁·x + b₁) + b₂
   = (W₂W₁)·x + (W₂b₁ + b₂)
   = W'·x + b'

两层线性 = 一层线性！

无论堆叠多少层，如果没有非线性激活，整个网络等价于一个线性变换。这意味着：

  • 无法学习 XOR 问题
  • 无法拟合曲线
  • 多层毫无意义

激活函数的作用

在每一层后插入非线性函数 g：

a₁ = g(W₁·x + b₁)   # 非线性！
z₂ = W₂·a₁ + b₂
a₂ = g(z₂)

现在网络可以：

  • 用 ReLU 拟合分段线性函数
  • 用 Sigmoid/Tanh 拟合平滑曲线
  • 组合多个神经元来逼近任意复杂函数

English Explanation

The surprising fact:

Layer 2(W₂·(W₁·x + b₁) + b₂) = (W₂W₁)·x + (W₂b₁ + b₂) = W'·x + b'

Two linear layers = one linear layer!

Without nonlinear activation:

  • Cannot learn XOR
  • Cannot fit curves
  • Deep layers are meaningless

---

5.2 神经网络结构与前向传播 | Architecture & Forward Propagation

中文解释

标准结构

输入层 → 隐藏层 1 → 隐藏层 2 → ... → 输出层

一个两层网络的例子

假设：

  • 输入：x，2 维
  • 隐藏层：4 个神经元，激活函数 ReLU
  • 输出层：1 个神经元，激活函数 Sigmoid（二分类）

维度追踪：

x:          (2, 1)     — 输入
W1:         (4, 2)     — 隐藏层权重
b1:         (4, 1)     — 隐藏层偏置
z1 = W1·x + b1: (4, 1) — 隐藏层线性输出
a1 = ReLU(z1):  (4, 1) — 隐藏层激活输出
W2:         (1, 4)     — 输出层权重
b2:         (1, 1)     — 输出层偏置
z2 = W2·a1 + b2: (1, 1) — 输出层线性输出
a2 = Sigmoid(z2): (1, 1) — 最终预测概率

权重初始化

为什么 W = np.random.randn(...) * 0.01？

  • 如果权重全为 0：所有神经元输出相同，学习不到不同特征
  • 如果权重太大：Z 值很大 → Sigmoid/Tanh 进入饱和区 → 梯度极小 → 无法学习
  • 小随机值：打破对称性 + 保持梯度健康

English Explanation

Dimension Tracking:

x:     (n_x, 1)
W1:    (n_h, n_x)
b1:    (n_h, 1)
z1:    (n_h, 1)
a1:    (n_h, 1)
W2:    (n_y, n_h)
b2:    (n_y, 1)
z2:    (n_y, 1)
a2:    (n_y, 1)

Weight Initialization:

  • All zeros → symmetric outputs, no learning
  • Too large → saturation, vanishing gradients
  • Small random → breaks symmetry, healthy gradients

---

5.3 分层特征提取直觉 | Layered Feature Extraction

中文解释

浅层 vs 深层

浅层网络（1-2 层）：

  • 提取的是原始特征的简单组合
  • 类似逻辑回归的决策边界

深层网络（多层）：

  • 浅层：提取边缘、颜色、纹理等低级特征
  • 中层：组合成形状、部件（如车轮、眼睛）
  • 深层：组合成完整对象（汽车、人脸）

关键洞察

每一层都在前一层的基础上做更抽象的表示：

原始像素 → 边缘 → 轮廓 → 部件 → 物体

这不是人为设计的，而是网络通过梯度下降自动学习到的层次结构。

English Explanation

Deep networks learn hierarchical representations:

Raw pixels → Edges → Contours → Parts → Objects

This hierarchy emerges automatically through gradient descent, not by human design.

---

5.4 万能近似定理 | Universal Approximation Theorem

中文解释

定理内容（直观版）

一个具有单隐藏层、足够多神经元、以及非线性激活函数的前馈神经网络，可以以任意精度逼近任何连续函数。

重要但常被误解的几点：

  1. "足够多神经元"：可能是指数级数量。浅而宽的网络在理论上能逼近，但实践中训练不出来。
  2. 逼近 ≠ 能学到：定理只说存在这样的权重，没说梯度下降能找到它们。
  3. 深层更高效：深层网络用更少的参数就能表示复杂函数。这就是现代网络又深又窄的原因。

实际意义：

  • 不要纠结"几层够"——答案是"理论上 1 层就够，但实践中需要很多层"
  • 深度是工程效率的选择，不是理论必需

English Explanation

Theorem (intuitive):

A feedforward network with one hidden layer, sufficient neurons, and nonlinear activation can approximate any continuous function to arbitrary precision.

Important caveats:

  1. "Sufficient neurons" may be exponential
  2. Approximation exists ≠ gradient descent can find it
  3. Deep networks are more parameter-efficient

---

5.5 完整实现：NumPy 手写前向传播

代码案例

python
import numpy as np

np.random.seed(42)

# ========== 1. 定义激活函数 ==========
def relu(z):
    """ReLU: max(0, z)"""
    return np.maximum(0, z)

def sigmoid(z):
    """数值稳定的 Sigmoid"""
    return 1 / (1 + np.exp(-np.clip(z, -500, 500)))

# ========== 2. 定义网络结构 ==========
# 输入: 2 维
# 隐藏层: 4 个神经元 (ReLU)
# 输出层: 1 个神经元 (Sigmoid)
n_x, n_h, n_y = 2, 4, 1

# 权重初始化：小随机值
W1 = np.random.randn(n_h, n_x) * 0.01
b1 = np.zeros((n_h, 1))
W2 = np.random.randn(n_y, n_h) * 0.01
b2 = np.zeros((n_y, 1))

print("网络维度追踪:")
print(f"  X:   (n_x, m) = ({n_x}, ?)")
print(f"  W1:  (n_h, n_x) = {W1.shape}")
print(f"  b1:  (n_h, 1) = {b1.shape}")
print(f"  W2:  (n_y, n_h) = {W2.shape}")
print(f"  b2:  (n_y, 1) = {b2.shape}")

# ========== 3. 单样本前向传播 ==========
def forward_single(x):
    """
    输入 x: (n_x, 1)
    输出: 预测概率 + 中间缓存（用于反向传播）
    """
    # 隐藏层
    Z1 = W1 @ x + b1      # (4, 1)
    A1 = relu(Z1)         # (4, 1)

    # 输出层
    Z2 = W2 @ A1 + b2     # (1, 1)
    A2 = sigmoid(Z2)      # (1, 1) — 概率

    cache = {"Z1": Z1, "A1": A1, "Z2": Z2, "A2": A2}
    return A2, cache

x_sample = np.array([[0.5], [0.3]])  # (2, 1)
prediction, cache = forward_single(x_sample)

print(f"\n单样本预测:")
print(f"  输入 X: {x_sample.ravel()}")
print(f"  隐藏层 Z1: {cache['Z1'].ravel().round(4)}")
print(f"  隐藏层 A1 (ReLU后): {cache['A1'].ravel().round(4)}")
print(f"  输出概率: {prediction[0,0]:.4f}")

# ========== 4. 批处理前向传播 ==========
# 向量化：同时处理 m 个样本
m = 5
X_batch = np.random.randn(n_x, m)  # (2, 5)

Z1 = W1 @ X_batch + b1   # (4, 2) @ (2, 5) + (4, 1) = (4, 5)
A1 = relu(Z1)            # (4, 5)
Z2 = W2 @ A1 + b2        # (1, 4) @ (4, 5) + (1, 1) = (1, 5)
A2 = sigmoid(Z2)         # (1, 5)

print(f"\n批处理 (m={m}):")
print(f"  输入 X shape: {X_batch.shape}")
print(f"  Z1 shape: {Z1.shape}")
print(f"  A1 shape: {A1.shape}")
print(f"  Z2 shape: {Z2.shape}")
print(f"  输出 A2 shape: {A2.shape}")
print(f"  输出概率: {A2.round(3)}")

输出验证：

网络维度追踪:
  X:   (n_x, m) = (2, ?)
  W1:  (n_h, n_x) = (4, 2)
  b1:  (n_h, 1) = (4, 1)
  W2:  (n_y, n_h) = (1, 4)
  b2:  (n_y, 1) = (1, 1)

单样本预测:
  输入 X: [0.5 0.3]
  隐藏层 Z1: [ 0.0012 -0.0023  0.0008  0.0015]
  隐藏层 A1 (ReLU后): [0.0012 0.     0.0008 0.0015]
  输出概率: 0.5023

批处理 (m=5):
  输入 X shape: (2, 5)
  Z1 shape: (4, 5)
  A1 shape: (4, 5)
  Z2 shape: (1, 5)
  输出 A2 shape: (1, 5)
  输出概率: [[0.502 0.498 0.501 0.499 0.503]]
注意：初始化权重很小（×0.01），所以输出概率接近 0.5。网络还没有训练！

---

5.6 常见误区 | Common Pitfalls

1. "深层一定比浅层好"

不是绝对的。对于简单问题，浅层网络可能训练更快、泛化更好。深度只在数据量大、问题复杂时才能发挥优势。

2. "万能近似定理说 1 层就够了"

定理只保证存在这样的网络，不保证：

  • 你能找到这些权重（优化困难）
  • 参数量合理（可能需要指数级神经元）
  • 能泛化到测试集

3. 忽略维度检查

神经网络中最常见的 bug 就是矩阵维度不匹配。养成习惯：每写一行矩阵运算，就写出它的 shape。

---

本章总结 | Chapter Summary

中文：

  • 没有非线性激活，多层网络 = 单层线性模型
  • 激活函数引入非线性，使网络能拟合任意复杂函数
  • 前向传播 = 线性变换 + 激活，逐层传递
  • 权重用小随机值初始化：打破对称性 + 防止饱和
  • 深层网络自动学习层次特征：低级 → 中级 → 高级
  • 万能近似定理是存在性定理，不代表实践中浅层足够

English:

  • Without nonlinear activation, deep networks collapse to linear models
  • Activations enable fitting arbitrarily complex functions
  • Forward propagation = linear transform + activation, layer by layer
  • Small random weight initialization breaks symmetry, prevents saturation
  • Deep networks learn hierarchical features automatically
  • Universal approximation is an existence theorem; depth matters in practice

---

课后练习 | Homework

  1. XOR 问题：用 NumPy 实现一个两层网络（2 输入 → 2 隐藏 → 1 输出），手动设置权重，使其能正确分类 XOR 数据。验证：无激活函数时无法解决。
  1. 维度追踪练习：设计一个网络：输入 5 维 → 隐藏层 1（10 神经元）→ 隐藏层 2（8 神经元）→ 输出 3 维。写出每一层的维度变化。
  1. 权重初始化实验：对比三种初始化对输出的影响：(a) 全 0，(b) 标准正态 randn，(c) randn * 0.01。观察前向传播的输出分布。
  1. 激活函数对比：对同一组随机输入，分别经过 ReLU、Sigmoid、Tanh。画出输出分布的直方图，观察饱和现象。
  1. 前向传播向量化：把单样本前向传播改写为支持任意 batch size 的向量化版本。验证 m=1 和 m=100 时输出一致。