# Sigmoid 函数

$Sigmoid$ 函数是一种常用的激活函数，数学表达式是

$$\sigma(x)=\frac{1}{1+e^{-x}}$$

• 在二分类任务中，将输出转换为概率
• 在神经网络中，作为隐藏层或输出层的激活函数

1
2

def sigmoid(x):
    return 1 / (1 + cp.exp(-x))

# Softmax 函数

$Softmax$ 函数是多分类问题中常用的激活函数，可以把一组实数转换成概率分布，输出在 $0$ 到 $1$ 之间，数学公式是

$$Softmax(x_i)=\frac{e^{x_i}}{\sum_j{e^{x_j}}}$$

• 一般用来计算结果，比如 $0 \to 9$ 数字识别的时候，转换后可以算出每个类别的概率，进而实现预测

1
2
3
4

def softmax(x):
    x = x - cp.max(x, axis=-1, keepdims=True)
    ex = cp.exp(x)
    return ex / cp.sum(ex, axis=-1, keepdims=True)

# 交叉熵损失函数

交叉熵是常用的损失函数之一（特别是在分类问题中），它用来衡量预测概率分布 $y$ 与真实分布 $t$ 之间的差异，数学公式为

$$L=-\sum_i{t_i}\log{(y_i)}$$

• $t_i$ 是真实标签的第 $i$ 个元素（$0$ 或 $1$）
• $y_i$ 是预测结果的第 $i$ 个元素（由 $Softmax$ 函数输出）