异常检测-第四章勘误

This commit is contained in:
leungkafai
2021-01-12 00:30:04 +08:00
parent bfa2713a23
commit 73f3d71e7b
2 changed files with 5 additions and 12 deletions
@@ -11,8 +11,6 @@
## 1、概述
统计学方法对数据的正常性做出假定。**它们假定正常的数据对象由一个统计模型产生,而不遵守该模型的数据是异常点。**统计学方法的有效性高度依赖于对给定数据所做的统计模型假定是否成立。
异常检测的统计学方法的一般思想是:学习一个拟合给定数据集的生成模型,然后识别该模型低概率区域中的对象,把它们作为异常点。
@@ -120,15 +118,11 @@ HBOS算法流程:
1.为每个数据维度做出数据直方图。对分类数据统计每个值的频数并计算相对频率。对数值数据根据分布的不同采用以下两种方法:
> 1.静态宽度直方图:标准的直方图构建方法,在值范围内使用k个等宽箱。样本落入每个桶的频率(相对数量)作为密度(箱子高度)的估计。
>
> 时间复杂度:$O(n)$
>
>
* 静态宽度直方图:标准的直方图构建方法,在值范围内使用k个等宽箱。样本落入每个桶的频率(相对数量)作为密度(箱子高度)的估计。时间复杂度:$O(n)$
> 2.动态宽度直方图:首先对所有值进行排序,然后固定数量的$\frac{N}{k}$个连续值装进一个箱里,其 中N是总实例数,k是箱个数;直方图中的箱面积表示实例数。因为箱的宽度是由箱中第一个值和最后一个值决定的,所有箱的面积都一样,因此每一个箱的高度都是可计算的。这意味着跨度大的箱的高度低,即密度小,只有一种情况例外,超过k个数相等,此时允许在同一个箱里超过$\frac{N}{k}$值。
>
> 时间复杂度:$O(n\times log(n))$
* 2.动态宽度直方图:首先对所有值进行排序,然后固定数量的$\frac{N}{k}$个连续值装进一个箱里,其 中N是总实例数,k是箱个数;直方图中的箱面积表示实例数。因为箱的宽度是由箱中第一个值和最后一个值决定的,所有箱的面积都一样,因此每一个箱的高度都是可计算的。这意味着跨度大的箱的高度低,即密度小,只有一种情况例外,超过k个数相等,此时允许在同一个箱里超过$\frac{N}{k}$值。
时间复杂度:$O(n\times log(n))$
@@ -173,7 +167,7 @@ $$
## 6、练习
**1.学习使用PyOD库生成toy example并调用HBOS**
**1.使用PyOD库生成toy example并调用HBOS**
@@ -93,7 +93,6 @@ $。
  给定点p的局部可达密度计算公式为:$$lrd_{MinPts}(p)=1/(\frac {\sum\limits_{o∈N_{MinPts}(p)} reach-dist_{MinPts}(p,o)} {\left\vert N_{MinPts}(p) \right\vert})$$
  由公式可以看出,这里是对给定点p进行度量,计算其邻域内的所有对象o到给定点p的可达距离平均值。给定点p的局部可达密度越高,越可能与其邻域内的点 属于同一簇;密度越低,越可能是离群点。
  看到这个公式,可能很多同学会想为什么使用“1/”的形式,而不直接将分子分母颠倒。写成这样,是考虑到存在p的k-邻域内有重复点而使$\sum\limits_{o∈N_k(p)} reach-dist_{N_k}(p,o)$为0的情况。因为0不能为分母,所以写成其倒数的形式。
### 3.5 局部异常因子: