Skip to content

决策边界

定义

决策边界 (Decision Boundary)是特征空间中用于区分不同类别的分界线或分界面. 决策边界将输入空间划分为不同的区域, 每个区域对应一个特定的分类结果.

Abstract

决策边界是一个判别函数, 定义了特征空间中类别之间的分界线. 这条分界线将整个特征空间划分为互斥的区域, 每个区域映射到一个特定的类别标签.

以逻辑回归模型为例, 其决策边界的可视化可能是这样的:

逻辑回归-决策边界可视化案例
逻辑回归-决策边界可视化案例
图片来源: Decision Boundary Visualizer

图中的样本分布被近似地划分成了两个区域, 从图片底部的注释中可看到模型分类的准确度 (Accuracy).

数学推导

逻辑回归的数学推演需要基于逻辑函数(Sigmoid函数)进行:

\[ \sigma(z) = \frac{1}{1+e^{-z}} \]

在推演前首先需要设置决策阈值. 决策阈值本质上是一个概率值(通常为0.5), 用于建立边界条件 \(\sigma(z) = \text{阈值}\), 从而求解出对应的 \(z = \overrightarrow{w} \cdot \overrightarrow{x} + b\) 值, 最后将 \(z\) 展开并通过移项推出特征之间的关系式, 这个关系式就是所谓的决策边界方程.

以逻辑回归模型为例, 可遵循以下步骤进行决策边界方程的推导:

  1. 设定决策阈值：通常设为 \(0.5\)

  2. 建立边界条件：\(\sigma(z) = 0.5\)

  3. 求解z值：通过代数运算得到 \(z = 0\)

  4. 展开线性组合：\(w₁x₁ + w₂x₂ + ... + wₙxₙ + b = 0\)

  5. 求解边界方程：通过移项得到特征之间的关系式

Tip

在某些情况下, 我们或许不希望错过针对某个分类标签的任何一个样本, 比如恶性肿瘤的评估. 这时我们就可以适当地调整决策阈值, 使得模型的预测结果会更倾向某个分类标签.

常见阈值策略

  • 平衡策略：阈值 = 0.5（平衡精度和召回率）

  • 保守策略：阈值 = 0.7（减少假阳性）

  • 激进策略：阈值 = 0.3（减少假阴性）

阈值调整的数学影响

当决策阈值从0.5调整为0.3时:

  • 边界条件变为：\(\sigma(z) = 0.3\)

  • 求解得到：\(z = \ln(0.3/0.7) \approx -0.85\)

  • 边界方程变为：\(w₁x₁ + w₂x₂ + ... + wₙxₙ + b = -0.85\)