CHAPTER 30 / 37
异常检测：如何发现不正常？
异常检测的本质，不是预测错误，而是持续监控什么是正常，并在偏离发生的第一时间发出信号。
在上一篇文章中，我们讨论了一个很有意思的问题：当数据没有答案时，我们如何发现结构？
而今天，我们进入无监督学习里另一个非常实用、甚至更“商业化”的领域： 异常检测（Anomaly Detection）。
如果说聚类是在寻找“常见模式”，那么异常检测，是在寻找“不应该发生的事情”。
什么是异常检测？
异常检测，就是让系统学会什么是“正常”，然后把不正常的标出来。
注意这里的关键点不是学习异常，而是学习正常。
这听起来有点反直觉，但其实非常符合现实世界。假设你负责一套线上系统，每天服务器都会产生一些指标：
CPU使用率
内存占用
磁盘读写
网络流量大多数时间，这些数据都很稳定。比如：
CPU: 30% ~ 60%
Memory: 40% ~ 70%
Network: 稳定波动系统运行得很好。但某一天，突然出现：
CPU: 98%
Network: 0这时候你会立刻觉得不对劲。
不是因为你知道“具体发生了什么错误”，而是这个行为不像正常情况。
这就是异常检测的核心思想——系统并不是预测某种具体错误，而是识别“不像以前”的事情。
这也是异常检测算法的基本逻辑：它会先学习正常行为模式，然后当新数据看起来非常不常见时，就发出警报。
为什么异常检测在商业上非常重要？
因为现实世界里，真正危险的事情往往很少发生。比如：
欺诈交易
网络攻击
设备故障
数据泄露
系统崩溃这些事件有一个共同特点：非常少，但影响巨大。
一个非常熟悉的场景——支付风控。假设一个用户，通常：
每天消费 1~3 次
在固定城市
金额比较稳定突然某一天：
凌晨 3 点
国外 IP
连续 12 次支付
金额 9,999系统不需要知道这是哪种欺诈，只需要判断这个行为不像这个用户。
这就是异常检测。
异常检测的核心逻辑
异常检测的核心逻辑可以总结成一句话——如果一件事情发生的概率非常小，就可能是异常。
用一个直观例子理解，假设你记录了一家咖啡店每天的订单量：
周一：210
周二：195
周三：205
周四：198
周五：220这些数据都差不多。但有一天：
订单：5你会立刻觉得这不正常，因为这个数字几乎不可能出现在历史数据里。
异常检测的数学本质：概率
异常检测通常会做一件事：计算某个数据出现的概率。如果概率很小，就认为可能是异常。
这里有一个关键概念：阈值（epsilon）——系统会设一个很小的数：ε（epsilon），规则很简单：
如果 p(x) < ε 就认为是异常
否则
就认为是正常也就是说，不是因为它一定是错的，而是因为它太罕见了。
这正是异常检测算法的标准流程：当某个数据的概率低于一个很小的阈值 ε 时，就会被标记为异常。
系统是如何知道什么是“正常”的？
这里就用到了一个非常经典的统计工具：高斯分布（Gaussian Distribution），也叫正态分布（Normal Distribution）。
你一定见过它，考试成绩、身高、体重、IQ……很多自然数据都会呈现这种形状：
^
|
***
*****
*******
*****
***中间最多，两边越来越少，这就是钟形曲线（Bell Curve）。
高斯分布描述的是，一个数据通常集中在什么范围。系统会计算两个核心参数：
μ（mu）：平均值
σ（sigma）：标准差比如：
平均订单量：200
标准差：15说明大多数订单量在 170 ~ 230 之间，如果出现：
订单：5概率就会非常低，所以很可能是异常。
异常检测的算法流程
你可以把整个算法理解成 4 步：
Step 1：收集正常数据
比如：
服务器日志
用户行为
设备状态通常大部分数据都是正常的，这也是异常检测的一个重要前提。
Step 2：计算每个特征的分布
例如：
CPU 使用率
内存占用
响应时间系统会计算：
平均值
波动范围Step 3：建立正常模型
也就是什么样的数据是常见的，什么样的数据是不常见的。
这一步叫密度估计（Density Estimation），本质上就是：建立一个概率模型，描述数据通常出现在哪些区域。
Step 4：判断新数据
当新的数据出现，系统会计算p(x) ，如果很小，就触发报警。
一个简化版 TensorFlow 示例
下面这段代码，不是为了让你上线，而是帮助理解流程：
import numpy as np
import tensorflow as tf
# 模拟服务器 CPU 使用率
data = np.array([
30, 35, 40, 45, 50,
42, 38, 36, 41, 39
])
mean = np.mean(data)
std = np.std(data)
def anomaly_score(x):
return abs(x - mean) / std
test_value = 95
score = anomaly_score(test_value)
if score > 3:
print("Anomaly detected")
else:
print("Normal")你只需要理解：离平均值太远，就是异常。
异常检测 vs 监督学习：什么时候用哪个？
这是一个非常实际的问题。
使用异常检测的典型场景
异常样本很少，未来可能出现新的异常。比如：
欺诈检测
网络攻击
设备故障
系统异常因为明天的异常，可能从来没见过。这种情况下，异常检测更合适。
使用监督学习的典型场景
异常类型稳定，历史数据很多。比如：
垃圾邮件识别
疾病诊断
产品缺陷分类因为未来问题，很可能和过去一样。
特征选择（Feature Engineering）
在异常检测中，特征，比算法更重要，这是经验规律。
假设你在做风控，一开始你用：
交易次数但发现系统识别不出异常。后来你新增一个特征：
打字速度结果异常用户立刻被识别出来。为什么？
因为异常不是次数，而是速度。
因此，如果系统检测不到异常，不一定是算法问题。通常是你没有给它正确的特征。
这也是为什么，做异常检测，本质上更像产品设计，而不是算法设计。
今天这篇文章，你只需要记住三件事：
1、异常检测不是学习异常而是学习正常；
2、核心判断逻辑只有一句话：如果发生概率很小，就可能是异常；
3、最重要的不是算法，而是你选择了哪些特征。
在很多技术讨论里，我们习惯把系统的能力定义为能否正确地完成一件事情。但在真实世界中，真正决定系统可靠性的，往往不是它能处理多少正常情况，而是当事情开始偏离常态时，它是否能第一时间意识到不对。
异常检测的价值，就在这里。它并不试图穷举所有可能的错误，也不假设未来的问题一定和过去一样。相反，它选择了一条更现实的路径：先理解什么是正常，然后对不正常保持敏感。
这其实是一种非常工程化，也非常成熟的思维方式。因为在复杂系统里，真正危险的，从来不是已知的问题，而是那些还没有被命名的问题，那些还没有被记录的故障，以及那些第一次出现的异常。
一个成熟的系统，不需要对每一种风险都有答案。但它必须具备一种能力：在未知发生时，及时发出信号。而这，也是异常检测真正的意义。
真正可靠的系统，不是从不出错，而是永远能最早发现错误正在发生。
附录：本文涉及的专有名词中英文对照（标红为最核心）