eis/eqpalg/doc/多维数据处理.md

709 B
Raw Blame History

多维数据分析

在线实时分析

统计大概的数据分布情况

对输入维度进行相关性分析,如果两个维度之间的皮尔逊系数过大,则只采取一个维度作为数据维度

对数据采用不同的回归模型进行检测,将每种数据带入回归多项式检验,检查数据是否报警

如果报警量占样本总量超过了5%,则认为数据回归拟合异常

如果回归拟合出现多个正常拟合结果则选取报警率在0.5%的结果作为最终拟合结果

如果没有正确的回归,则选取报警总量最少的回归作为拟合结果。 如果所有的回归报警率都超过了50%,则把这个异常打出,并不进行报警