1. Классификация и определение марковских процессов

Рассмотрим случайную величину или случайный процесс, зависящий лишь от одного параметра (для определенности — времени ). Пусть время изменяется на отрезке , т. е. . Тогда говорят, что какое-либо значение является возможным значением (или состоянием) случайного процесса , если на отрезке имеется такое время , что для любого .

В зависимости от того, непрерывное или дискретное множество значений принимают случайная величина и ее параметр различают следующие основные виды случайных процессов.

1. Дискретная случайная последовательность (дискретный процесс с дискретным временем). В данном случае время пробегает дискретный ряд значений или , и случайная величина может принимать лишь дискретное множество значений или . Множества значений и могут быть конечными или бесконечными; в последнем случае . Процессы такого вида непосредственно встречаются на практике (случайное подбрасывание монеты, радиотелеграфия, радиолокации и др., а также могут быть получены путем квантования по уровню и по времени непрерывных процессов с непрерывным временем. Такое квантование часто применяется на практике при машинной обработке различной информации.

2. Непрерывнозначная случайная последовательность (непрерывный процесс с дискретным временем). Такой процесс отличается от процесса первого вида лишь тем, что теперь случайная величина может принимать континуум значений. В качестве примера можно указать временные выборки из непрерывного случайного процесса.

3. Дискретный (разрывный) случайный процесс (дискретный процесс с непрерывным В этом случае принимает дискретные значения , а время — континуум значений: , где — длина временного интервала, на котором задан процесс . Примерами могут служить показания счетчика числа случайно появляющихся частиц, результат квантования непрерывного случайного процесса только по уровню и др.

4. Непрерывнозначный случайный процесс. В данном случае принимает значения из некоторого непрерывного пространства и аргумент изменяется также непрерывно, причем траектории процесса не имеют больших вертикальных скачков.

Таблица 1.1,

5. Дискретно-непрерывный процесс. В этом случае при непрерывном изменении времени случайный процесс в некоторые моменты времени имеет скачки (дискретные или непрерывные), а на интервалах времени между скачками ведет себя как непрерывно-значный случайный процесс.

6. Помимо перечисленных пяти видов случайных процессов, возможны более сложные, смешанные виды случайных процессов. Если, например, случайный процесс зависит от двух случайных параметров — процессов и . т.е. , то один из них, допустим, может быть непрерывнозначным процессом, а другой — дискретным и т. д.

В соответствии с приведенной классификацией, применительно к случайным марковским процессам, определение которых приведено ниже, будем различать марковские цепи, марковские последовательности, марковские процессы с конечным и бесконечным числом состояний, дискретно-непрерывные и смешанные марковские процессы.

Характер временных реализаций первых четырех основных видов марковских процессов показан в табл. 1.1.

Наряду со скалярным (одномерным) процессом на практике приходится рассматривать совокупный или векторный процесс , состоящий из компонент . В этом случае процесс называют также многомерным (мерности или -мерным) и обозначают . В общем случае компоненты могут относиться к разным видам случайных процессов, перечисленных выше.

Приведем общее определение марковского процесса, которое ниже будет конкретизировано применительно к отдельным частным видам процессов. Случайный процесс называется марковским, если для любых моментов времени из отрезка условная функция распределения «последнего» значения при фиксированных значениях зависит только от . т.е. при заданных значениях справедливо соотношение

Здесь и в дальнейшем через обозначена вероятность события, указанного в фигурных скобках.

Для трех моментов времени формула (1) принимает вид

Поэтому часто говорят, что характерное свойство марковских процессов состоит в следующем если известно состояние марковского процесса в настоящий момент времени , то будущее состояние (при ) не зависит от прошлого состояния (при ).

В качестве определения марковского процесса можно также принять следующее соотношение, имеющее симметричный вид относительно времени:

Такая запись означает, что при фиксированном состоянии процесса в настоящий момент времени будущее (при ) и прошлое (при ) состоянии марковского процесса независимы.

Хотя определения (2) и (3) по существу эквивалентны, однако и правой части (2) фигурируют не три, а лишь два момента времени. Ввиду этого упрощения для установлении марковского характера процесса в дальнейшем используется только определение (2).

Укажем еще одно общее и важное свойство марковских процессов: для них эволюция вероятности описывается уравнением вида:

где — некоторый линейный оператор (матрица в § 6, дифференциальный оператор в § 11, 13, интефодпффсреиииальный оператор в § 23 и т.п.). Это свойство позволяет нсследгвать поведение марковских процессов при помощи хорошо разработанных методов решения соответствующих дифференциальных уравнений.

В дальнейшем применительно к марковским процессам будем пользоваться следующими обозначенными: , если пространство состояний (фазовое пространство) процесса непрерывно, и , если пространство состояний дискретно.

Имеется обширная литература, посвященная как математической теории марковских процессов, так и ее применениям крешениюраз-нообразных прикладных задач [1—7]. В последующем будут кратко приведены основные теоретические сведении и рассмотрены иллюстративные радиотехнические примеры.