信号的离群点剔除与幅度规整

信号的离群点剔除与幅度规整

在信号序列中有时出现异常值，它们与信号的一般趋势或模式明显不相符合，为了提高信号分析的准确性和可靠性，需要对信号的幅度进行修剪处理，以便剔除这些异常值。这里列举几种异常值剔除方法和幅度规整方法，以便剔除信号中的突变数据点和突显局部幅度特征，修整信号幅度等。包括中值滤波、奇异点剔除、突变点消除、离群点消除、短时积分、局部差分绝对和、Hilbert包络、限制幅度范围、小信号归零、信号截底、幅度规整等处理。

（1）中值滤波

输入滑动窗口长度，取值范围是3-501点。窗口逐点滑动，计算每次滑动后窗口内信号数据的中值，用于取代滑动窗口中间点的信号值。当窗口长度m为奇数，中点位置为p=(m-1)/2，当滑动窗口长度m为偶数时中间点位置为p=m/2，窗口中的数据序列为x(0)，x(1)，…，x(p)，…，x(m-2)，x(m-1)。中值的计算方法是：将窗口内数据由小到大排序，如果窗口长度m为奇数，则取排序后中间位置的值，如果窗口长度为偶数，则取排序后中间两点的平均值。

（2）奇异点剔除

输入滑动窗口长度(点数)m和判决门限th，窗口在信号中逐点滑动，计算窗口内数据的平均值a和标准差s，如果窗口内有数据|x(i)-a|>th*s，则将该数据替换成平均值a。门限值th大于1。注意在计算窗口内均值和标准差时窗口内数据的最大值和最小值不参与计算，适合处理单点突跳干扰信号。

（3）突变点消除

输入突变门限和滑动窗口长度(s)，将信号差分绝对值大于门限的的差分值设置成零。然后，去掉差分序列的基线，基线是差分序列的滑动平均，滑动窗口长度为输入长度。将所得到的序列反差分后得到输出序列。

①求差分序列：y(i)=x(i)-x(i-1)；

②突变置零：if abs(y(i))>th then y(i)=0；

③求y(i)的基线序列：对y(i)进行滑动平均得到基线序列b(i)；

④去掉基线序列：z(i)=y(i)-b(i)；

⑤求输出序列：out(i)=z(i)+out(i-1)。

（4）离群点剔除

连续光滑曲线中偶发离群点检测及消除方法：对于信号序列x(i), i=0...n-1，对其进行逐段处理，设每段长度为nseg(例如nseg=1000, nseg>10)，将该段数据由小到大进行排序，找到中值m以及上下四分位值xL, xR；若x(i)-m<a*xL或者x(i)-m>a*xR则认为是离群点，a 是判断门限，通常取a=2-10。在该段离群点全部检测完成后，可以找离群点附近的两个非离群点值平均来替代该离群点。需要输入分段长度和门限。

（5）短时积分

短时积分可以产生向上的凸包(能量集中区)。输入滑动窗口长度(s) ，计算滑动窗口内信号差分绝对值的平均。对于相邻两点相等的点，则差分值替换成信号与窗口内的平均值之差，以此来适应上下饱和的直线情况，因而不适合那种非饱和情况下出现频繁相邻点相等的情况。

（6）局部差分绝对和

输入滑动窗口长度nMoveWin，信号局部绝对差分积分，s(i) = sum( |x(j)-x(j-1)|, j=i-m...i-m+nMoveWin-1 )，在处理饱和幅度时，用邻近不为0的差分替代。其作用是使信号中能量较大（变化幅度较大）的信号段变成鼓包。

（7）Hilbert包络

用希尔伯特(Hilbert)变换FIR滤波器对信号进行滤波，求的信号包络幅度。参考：希尔伯特(Hilbert)变换信号瞬时频率计算。

（8）限制幅度范围

对于第ch通道信号x(i)，i=0,1, ..., n-1，输入信号幅度范围[a, b]，其中a是AD数字的最小值，b是AD数字的最大值，如果x(i)<a或者x(i)>b，超出了输入的幅度范围，则用信号中前一个在[a,b]范围内的有效值来替代此处的x(i)。如果选择要消除无效值(即信号中的空洞处之值)，则也用这个值替代无效值。这样就把信号值范围限制在[a,b]之间。

（9）小信号归零

对于第ch通道信号序列x(i)，i=0,1, ..., n-1，输入信号幅度范围[a,b]，如果信号x(i)<a则取x(i)=x(i)-a，如果x(i)>b则取x(i)=x(i)-b，如果x(i)在[a,b]范围以内则取x(i)=0。

（10）信号截底处理

对于第ch通道信号序列x(i)，i=0,1, ..., n-1，输入信号幅度门限值a，如果信号x(i)≤a则取x(i)=0，如果x(i)>a则取x(i)=x(i)-a，在处理过程中保持无效值(空洞值)不变。

（11）幅度规整

设滑动窗口内的平均值为a，标准差为s，门限为k，输出幅度范围为[ad1, ad2]，那么，

由于滑动窗口体现局部化性质，使得规整化后的信号幅度更加平稳。显然，滑动窗口长规整后的波形偏概貌一些，滑动窗口短规整后的波形偏细节一些。对于16位或者24位AD，所得到的信号数值幅度动态范围很大，其中既包含大波动幅度也包含小波动幅度，通过合适的滑动窗口长度设置，经幅度规整后，可以用波形曲线方式观察到其中细小的波动。该方法不保证绝对幅值精确，但可以凸显微小波动(如呼吸波中的心跳)。

（12）软件操作

多通道信号分析软件系统(Multi-channel Signal Analysis, MUSIA)中包含上述信号幅度修剪功能的实现。软件菜单操作：《处理》→《幅度修剪处理》，出现如下对话框：

选择其中一项幅度处理方法，对当前通道信号进行处理。

参考文献

[1]王丽玲. 能力验证、实验室间比对常用统计技术及评定方法[J]. 中国卫生检验杂志，2006, 16(8): 985-986.

[2]李艺，华静，刘保双，张裕芬，冯银厂. 大气污染监测数据异常值判别方法研究[J]. 环境科学学报，2022，42(12): 341:350.

作者文章

多通道信号分析软件系统
多通信号分析软件(MUSIA)功能介绍
生物医学信号处理与分析软件系统设计
曲线拟合软件
特殊函数计算器
两组样本均值、方差和分布的统计假设检验
多元线性回归分析
给定概率分布的随机变量仿真
多通道信号数据压缩存储
信号的特征参数计算
信号频域特征参数
多维特征参数机器学习算法
多维特征参数机器学习软件
Kohonen自组织特征映射神经网络(环形和球面形网络)
数据分布点纹图
矩阵的三维图形显示软件
数值矩阵的图形表示
图像处理基本算法及软件简介
真彩色图像转换成256色图像的自组织网络方法
图片浏览软件工具
离散小波变换用于信号滤波
主成分分析(K-L变换)与信号的分解与合成(滤波)
矩阵奇异值分解(SVD)及应用
离散正交变换及其应用
信号功率谱估计
信号的双谱分析
短时傅里叶变换时变功率谱分析
线性调频Z变换与细化频谱
使用FFT计算滑动平均(MA)模型参数
希尔伯特(Hilbert)变换信号瞬时频率计算
信号的样本熵序列计算
信号的经验模态分解(EMD)
滤波器设计、自适应滤波、匹配滤波方法
信号中的能量包检测
心电R波检测之差分奇点法和局部极值排除法
多通道信号的奇异值熵(表示熵)
心率变异性之安静指数

电子邮箱：chengbowork@163.com