Сигналы и линейные системы

Signals and linear systems. Casual processes and signals

Тема 9. СЛУЧАЙНЫЕ ПРОЦЕССЫ И СИГНАЛЫ

Нет ничего более противного разуму и постоянству природы, чем случайность. Сам бог не может знать того, что произойдет случайно. Ибо если знает, то это определенно произойдет, а если определенно произойдет, то не случайно.

Марк Туллий Цицерон. Римский философ и политик, I в.д.н.э.
Случайность противна разуму, но не природе. Для проверки теории случайных процессов боги и создали мир. Швыряться яблоками они уже перестали, со времен Ньютона здесь ничего нового не наблюдалось. Но арбузные корки продолжают подсовывать - фиксируется непредсказуемая и зачастую очень даже интересная реакция.

Рудольф Гавшин. Уральский геофизик, ХХ в.

Введение.

1. Случайные процессы и функции. Случайный процесс. Функциональные характеристики случайного процесса. Одномерная функция распределения вероятностей. Одномерная плотность вероятностей. Функции математического ожидания, дисперсии, среднего квадратического отклонения. Двумерная плотность распределения вероятностей. Корреляционные и ковариационные функции случайных процессов. Свойства функций автоковариации и автокорреляции. Взаимные моменты случайных процессов. Статистическая независимость случайных процессов. Классификация случайных процессов. Эргодические процессы.

2. Функции спектральной плотности. Каноническое разложение случайных функций. Комплексные случайные функции. Финитное преобразование Фурье. Спектры мощности случайных функций. Теорема Винера-Хинчина. Спектр ковариационных функций. Взаимные спектральные функции. Эффективная ширина спектра мощности. Соотношение неопределенности.

3. Преобразования случайных функций. Системы преобразования случайных функций. Связь выходных статистических функций с входными. Математическое ожидание выходного сигнала. Корреляционная функция выходного сигнала. Функция взаимной корреляции входного и выходного сигналов. Спектральные соотношения. Дисперсия выходного сигнала. Функция когерентности. Преобразования случайных функций. Преобразования стационарных случайных функций.

4. Модели случайных сигналов и помех. Телеграфный сигнал. Белый шум. Гауссовый шум. Гауссовые случайные процессы.

Наряду с полезными информационными составляющими в реальных сигналах присутствуют помехи и шумы. К помехам обычно относят сигналы от других посторонних источников, "наводки" аппаратуры, влияние дестабилизирующих факторов на основной сигнал и т.п. Физическая природа помех, как правило, не случайна, и после соответствующего изучения может переводиться в разряд детерминированной помехи или исключаться из сигнала. К шумам относят случайные флуктуации сигнала, обусловленные природой его источника или устройств детектирования и формирования сигнала. При неизвестной природе помех они также могут относиться к числу случайных, если имеют случайное вероятностное распределение с нулевым средним значением и дельта-подобную функцию автокорреляции.

Теория вероятностей рассматривает случайные величины и их характеристики в "статике". Задачи описания и изучения случайных сигналов "в динамике", как отображения случайных явлений, развивающихся во времени или по любой другой переменной, решает теория случайных процессов.

В качестве универсальной координаты для распределения случайных величин по независимой переменной будем использовать, как правило, переменную "t" и трактовать ее, чисто для удобства, как временную координату. Распределения случайных величин во времени, а равно и сигналов их отображающих в любой математической форме, обычно называют случайными (или стохастическими) процессами. В технической литературе термины "случайный сигнал" и "случайный процесс" используются как синонимы.

В отличие от детерминированных сигналов значения случайных сигналов в произвольные моменты времени не могут быть вычислены. Они могут быть только предсказаны в определенном диапазоне значений с определенной вероятностью, меньшей единицы. Количественные характеристики случайных сигналов, позволяющие производить их оценку и сравнение, называют статистическими.

В процессе обработки и анализа физико-технических данных обычно приходится иметь дело с тремя типами сигналов, описываемых методами статистики. Во-первых, это информационные сигналы, отображающие физические процессы, вероятностные по своей природе, как, например, акты регистрации частиц ионизирующих излучения при распаде радионуклидов. Во-вторых, информационные сигналы, зависимые от определенных параметров физических процессов или объектов, значения которых заранее неизвестны, и которые обычно подлежать определению по данным информационным сигналам. И, в-третьих, это шумы и помехи, хаотически изменяющиеся во времени, которые сопутствуют информационным сигналам, но, как правило, статистически независимы от них как по своим значениям, так и по изменениям во времени. При обработке таких сигналов обычно ставятся задачи:

• 
  обнаружение полезного сигнала,
  
• 
  оценка параметров сигнала,
  
• 
  выделение информационной части сигнала (очистка сигнала от шумов и помех),
  
• 
  предсказание поведения сигнала на некотором последующем интервале (экстраполяция).
  

Случайный процесс описывается статистическими характеристиками, называемыми моментами. Важнейшими характеристиками случайного процесса являются его стационарность, эргодичность и спектр мощности.

Рис. 9.1.1. Выборочные функции случайного процесса.

Рис. 9.1.2. Сечения случайного процесса X(t).

Допустим, что случайный процесс X(t) задан ансамблем реализаций {x₁(t), x₂(t),… x_k(t),…}. В произвольный момент времени t₁ зафиксируем значения всех реализаций {x₁(t₁), x₂(t₁),… x_k(t₁),…}. Совокупность этих значений представляет собой случайную величину X(t₁) и является одномерным сечением случайного процесса X(t). Примеры сечений случайного процесса X(t) по 100 выборкам x_k(t) (рис. 9.1.1) в точках t₁ и t₂ приведены на рис. 9.1.2.

F(x, t_i) = P{X(t_i)≤x}.

Очевидно, что в диапазоне значений вероятностей от 0 до 1 функция F(x, t) является неубывающей с предельными значениями F(-,t)=0 и F(,t)=1. При известной функции F(x,t) вероятность того, что значение X(t_i) в выборках будет попадать в определенный интервал значений [a, b] определяется выражением:

P{ai)≤b} = F(b, t_i) – F(a, t_i).

p(x, t_i) = dF(x, t_i)/dx. (9.1.1)

Моменты времени t_i являются сечениями случайного процесса X(t) по пространству возможных состояний и плотность вероятностей p(x, t_i) представляет собой плотность вероятностей случайных величин X(t_i) данных сечений. Произведение p(x, t_i)dx равно вероятности реализации случайной величины X(t_i) в бесконечно малом интервале dx в окрестности значения x, откуда следует, что плотность вероятностей также является неотрицательной величиной.

Рис. 9.1.3. Распределение вероятностей и плотность вероятностей сечения случайного процесса

На рис. 9.1.3 приведены примеры распределения вероятностей и плотности вероятностей сечения случайного процесса X(t) в точке t₁ (рис. 9.1.1). Функции вероятностей определены по N=1000 выборок дискретной модели случайного процесса и сопоставлены с теоретическими распределениями при N  .

При известной функции плотности вероятностей вероятность реализации значения X(t_i) в произвольном интервале значений [a, b] вычисляется по формуле:

P(ai)≤b) =p(x,t_i) dx.

Функция плотности вероятностей должна быть нормирована к 1, т.к. случайная величина обязана принимать какое-либо значение из числа возможных, образующих полное пространство случайных величин:

Плотность распределения вероятностей, соответственно, определяет функцию распределения вероятностей:

F(x,t_i) =p(x, t_i) dx.

По известной плотности распределения вероятностей могут быть вычислены функции моментов случайного процесса, которые представляют собой математические ожидания соответствующих степеней (порядка) значений случайного процесса (начальные моменты) и значений флюктуационных составляющих процесса (центральные моменты, моменты относительно центров распределения случайных величин):

M{xⁿ(t)} =xⁿ(t) p(x, t) dx,

M₀{xⁿ(t)} = M{[x(t)-M{x(t)}]ⁿ} =[(x(t)- M{x(t)}]ⁿ p(x, t) dx,

Функции моментов являются основными статистическими характеристиками случайного процесса. Они представляют собой неслучайные функции, но полностью и однозначно определяют случайный процесс, как и плотность распределения вероятностей, при определенном количестве порядков в зависимости от характера процесса. Минимальное число порядков, которое полностью определяет гауссово распределение плотности вероятностей, равно 2.

В практике анализа случайных процессов используются, в основном, начальные моменты первого порядка и центральные моменты второго порядка.

m_x(t)  M{Х(t)} =x p(x; t) dx, (9.1.2)

Математическое ожидание m_x(t) представляет собой неслучайную составляющую случайного процесса X(t). На рис. 9.1.1. и 9.1.2 неслучайные составляющие m(t) модели случайного процесса X(t) выделены пунктиром и соответствуют выборкам N  .

Второй начальный момент случайного процесса определяет его среднюю мощность:

w_x(t)  M{Х²(t)} =x² p(x; t) dx, (9.1.3)

D_x(t) = M{[Х(t)-m_x(t)]²} = M{X²(t)} - m_x²(t) =[x_o(t)]² p(x; t) dx, (9.1.4)

где x_o(t) = x(t)-m_x(t).

Функция среднего квадратического отклонения (standard deviation) служит амплитудной мерой разброса значений случайного процесса по временной оси относительно математического ожидания процесса:

_x(t) =. (9.1.5)

Рис. 9.1.4.

На рис. 9.1.4 приведен пример флюктуационной составляющей процесса X(t) (рис. 9.1.1) в одной из реализаций в сопоставлении со средним квадратическим отклонением ± случайных величин от математического ожидания m(t).

Одномерные законы плотности распределения вероятностей случайных процессов не несут каких-либо характеристик связи между значениями случайных величин для различных значений аргументов.

Двумерная плотность распределения вероятностей p(x₁,t₁; x₂,t₂) определяет вероятность совместной реализации значений случайных величин Х(t₁) и Х(t₂) в произвольные моменты времени t₁ и t₂, что характеризует взаимосвязь случайного процесса в различные моменты времени и дает возможность определить характер изменения случайного процесса, т.е. динамику развития процесса во времени. Распределение описывает двумерную случайную величину {X(t_i), X(t_j)} в виде функции вероятности реализации случайной величины X(t_i) в бесконечно малом интервале dx_i в окрестностях x_i в момент времени t_i при условии, что в момент времени t_j значение X(t_j) будет реализовано в бесконечно малом интервале dx_j в окрестностях x_j:

p(x₁,t₁; x₂,t₂) = P{x₁ ≤ x(t₁) ≤ x₁+dx₁  x₂ ≤ x(t₂) ≤ x₂+dx₂ }.

С помощью двумерной плотности распределения вероятностей можно определить корреляционные функции процесса.

Корреляционные функции случайных процессов. Характеристикой динамики изменения случайной величины X(t_i) является корреляционная функция, которая описывает случайный процесс в целом:

R_X(t_i, t_j) = M{X(t₁) X(t₂)}.

Корреляционная функция представляет собой статистически усредненное произведение значений случайного процесса X(t) в моменты времени t_i и t_j по всем значениям временных осей t_i и t_j, а, следовательно, тоже является двумерной функцией. В терминах теории вероятностей корреляционная функция является вторым начальным моментом случайного процесса.

На рис. 9.1.5 приведены примеры реализаций двух случайных процессов, которые характеризуются одной и той же функцией математического ожидания и дисперсии.

Рис. 9.1.5.

R_X(t_i, t_j) =x(t_i)x(t_j) p(x_i,t_j; x_i,t_j) dx_i dx_j, (9.1.6)

При анализе случайных процессов второй момент времени t_j удобно задавать величиной сдвига  относительно первого момента, который при этом может быть задан в виде координатной переменной:

R_X(t, t+) = M{Х(t)Х(t+)}. (9.1.7)

Функция, задаваемая этим выражением, обычно называется автокорреляционной функцией случайного процесса.

Ковариационные функции. Частным случаем корреляционной функции является функция автоковариации (ФАК), которая широко используется при анализе сигналов. Она представляет собой статистически усредненное произведение значений центрированной случайной функции X(t)-m_x(t) в моменты времени t_i и t_j и характеризует флюктуационную составляющую процесса:

K_Х(t_i, t_j) =(x(t_i)-m_x(t_i)) (x(t_j)-m_x(t_j)) p(x_i,t_j; x_i,t_j) dx_i dx_j, (9.1.8)

В терминах теории вероятностей ковариационная функция является вторым центральным моментом случайного процесса. Для центрированных случайных процессов ФАК тождественна функции автокорреляции. При произвольных значениях m_x ковариационные и корреляционные функции связаны соотношением:

K_X(t, t+) = R_X(t, t+) - m_x²(t).

Нормированная функция автоковариации (функция корреляционных коэффициентов):

_Х(t,t+) = K_X(t,t+)/[(t)(t+)]. (9.1.9)

Функция корреляционных коэффициентов может принимать значения от +1 (полная статистическая корреляция случайных процессов на интервалах t и t+) до -1 (полная статистическая противоположность процессов на этих интервалах). Попутно отметим, что в математической статистике, а также довольно часто и в технической литературе, эту функцию называют функцией корреляции. При = 0 значение _Х равно 1, а ФАК вырождается в дисперсию случайного процесса:

K_X(t) = D_X(t).

Отсюда следует, что для случайных процессов и функций основными характеристиками являются функции математического ожидания и корреляции (ковариации). Особой необходимости в отдельной функции дисперсии не имеется.

Рис. 9.1.7. Реализации и ковариационные функции случайных процессов.

Примеры реализаций двух различных случайных процессов и их нормированных ковариационных функций приведены на рис. 9.1.7.

Свойства функций автоковариации и автокорреляции.

1. Максимум функций наблюдается при = 0. Это очевидно, т.к. при = 0 вычисляется степень связи отсчетов с собой же, которая не может быть меньше связи разных отсчетов. Значение максимума функции корреляции равно средней мощности сигнала.

2. Функции автокорреляции и автоковариации являются четными: R_X() = R_X(-). Последнее также очевидно: X(t)X(t+) = X(t-)X(t) при t = t-. Говоря иначе, моменты двух случайных величин X(t₁) и X(t₂) не зависят от последовательности, в которой эти величины рассматриваются, и соответственно симметричны относительно своих аргументов: R_x(t₁, t₂) = R_x(t₂, t₁).

3. При значения ФАК для сигналов, конечных по энергии, стремятся к нулю, что прямо следует из физического смысла ФАК. Это позволяет ограничивать длину ФАК определенным максимальным значением _max - радиусом корреляции, за пределами которого отсчеты можно считать независимыми. Интегральной характеристикой времени корреляции случайных величин обычно считают эффективный интервал корреляции, определяемый по формуле:

T_k =|_x()| d  (1/K_x(0)) |K_x()| d. (9.1.10)

Отсчеты (сечения) случайных функций, отстоящие друг от друга на расстояние большее T_k, при инженерных расчетах считают некоррелированными.

4. Если к случайной функции X(t) прибавить неслучайную функцию f(t), то ковариационная функция не изменяется. Обозначим новую случайную функцию как Y(t)=X(t)+f(t). Функция математического ожидания новой величины: = + f(t). Отсюда следует, что Y(t) -= X(t) -, и соответственно K_y(t₁,t₂) = K_x(t₁,t₂).

5. Если случайную функцию X(t) умножить на неслучайную функцию f(t), то ее корреляционная функция R_x(t₁,t₂) умножится на f(t₁)f(t₂). Обоснование данного свойства проводится по методике, аналогичной предыдущему пункту.

6. При умножении функции случайного процесса на постоянное значение С значения ФАК увеличиваются в С² раз.

Взаимные моменты случайных процессов второго порядка дают возможность оценить совместные свойства двух случайных процессов X(t) и Y(t) путем анализа произвольной пары выборочных функций x_k(t) и y_k(t).

Мера связи между двумя случайными процессами X(t) и Y(t) также устанавливается корреляционными функциями, а именно - функциями взаимной корреляции и взаимной ковариации. В общем случае, для произвольных фиксированных моментов времени t₁ = t и t₂ = t+:

R_XY(t, t+) = M{X(t)Y(t+)}. (9.1.11)

K_XY(t, t+) = M{(X(t)-m_x(t))(Y(t+)-m_y(t+))}. (9.1.12)

Взаимные функции являются произвольными функциями, не обладают свойствами четности или нечетности, и удовлетворяют следующим соотношениям:

R_xy(-) = R_yx(), (9.1.13)

|R_xy()|²  R_x(0)R_y(0).

Если один из процессов центрированный, то имеет место R_xy(t) = K_xy(t).

Нормированная взаимная ковариационная функция (коэффициент корреляции двух процессов) характеризует степень линейной зависимости между случайными процессами при данном сдвиге  одного процесса по отношению ко второму и определяется выражением:

_xy() = K_xy()/(_x_y). (9.1.14)

p(x,y) = p(x) p(y).

Это условие является обязательным условием статистической независимости случайных величин. В противном случае между случайными величинами может существовать определенная статистическая связь, как линейная, так и нелинейная. Мерой линейной статистической связи является коэффициент корреляции:

r_xy = [M{X·Y} – M{X}·M{Y}]/.

Значения r_xy могут изменяться в пределах от -1 до +1. В частном случае, если случайные величины связаны линейным соотношением x=ay+b, коэффициент корреляции равен ±1 в зависимости от знака константы а. Случайные величины некоррелированы при r_xy=0, при этом из выражения для r_xy следует:

M{X·Y} = M{X}·M{Y}.

Из статистической независимости величин следует их некоррелированность. Обратное не очевидно. Так, например, случайные величины x=cos  и y=sin , где  - случайная величина с равномерным распределением в интервале 0…2, имеют нулевой коэффициент корреляции, и вместе с тем их зависимость очевидна.

Классификация случайных процессов. Случайные процессы различают по степени однородности их протекания во времени (по аргументу). Кроме моментов первого и второго порядка случайные процессы имеют моменты и более высоких порядков. По мере повышения порядка моментов вероятностная структура случайных процессов и их выборочных реализаций описывается все более детально. Однако практическая оценка этих моментов по выборкам ограничена, в основном, только стационарными случайными процессами.

Стационарные процессы. Процесс называют стационарным (более точно – слабо стационарным), если плотность вероятностей процесса не зависит от начала отсчета времени и если на интервале его существования выполняются условия постоянства математического ожидания и дисперсии, а корреляционная функция является функцией только разности аргументов = t₂-t₁, т.e.:

m_Х(t₁) = m_Х(t₂) = m_Х = const, (9.1.15)

D_Х(t₁) = D_Х(t₂) = D_Х = const,

R_X(t₁, t₁+)  R_x(t₂-, t₂) = R_Х()  R_Х(-),

r_x() = R_x()/D_x, r_x(0) = 1, |r_x()| ≤ 1, r_x(-) = r_x().

Последние выражения свидетельствует о четности корреляционной (а равно и ковариационной) функции и функции корреляционных коэффициентов. Из него вытекает также еще одно свойство смешанных моментов стационарных процессов:

|R_x()|  R_x(0), |K_x()|  K_x(0)  D_x.

Чем медленнее по мере увеличения значений  убывают функции R_x() и r_x(), тем больше интервал корреляции случайного процесса, и тем медленнее изменяются во времени его реализации.

Если от времени не зависят и моменты более высоких порядков (в частности, асимметрия и эксцесс), то такой процесс считается строго стационарным. В общем случае класс строго стационарных процессов входит в класс слабо стационарных. И только в случае гауссовых случайных процессов слабая стационарность автоматически влечет строгую, поскольку все характеристики этих процессов определяются средним значением и корреляционной функцией.

Стационарные случайные процессы наиболее часто встречаются при решении физических и технических задач. Теория стационарных случайных функций разработана наиболее полно. Случайные процессы, удовлетворяющие условиям стационарности на ограниченных, интересующих нас интервалах, также обычно рассматривают в классе стационарных и называют квазистационарными.

m_X(t) = M{x(t)} =x(t) dt, (9.1.16)

D_Х(t) = M{x(t) - m_Х(t)]²} =(x(t) - m_Х(t))² dt, (9.1.17)

R_X() = M{x(t)x(t+)} =x(t)x(t+) dt. (9.1.18)

Эргодичность является очень важным свойством случайных стационарных, и только стационарных процессов. Математическое ожидание эргодического случайного процесса равно постоянной составляющей любой его реализации, а дисперсия является мощностью его флюктуационной составляющей. Так как определение функций производится по ограниченным статистическим данным одной реализации и является только определенным приближением к соответствующим фактическим функциям процессов, целесообразно называть эти функции статистическими.

Свойства эргодичности могут проявляться только по отношению к двум первым моментам случайного процесса, что вполне достаточно для использования соответствующих методик исследования процессов. Практическая проверка эргодичности процесса обычно производится проверкой выполнения условия Слуцкого:

Если ковариационная функция процесса стремится к нулю при возрастании значения аргумента (), то процесс относится к числу эргодических, по крайней мере, относительно моментов первого и второго порядков.