Рассмотрим теперь две случайные величины $X$ и $Y$ и предположим (это важно для будущих приложений в волновой механике), что измерение одной из этих величин никак не влияет на значения другой и что возможно одновременное измерение этих двух величин. Тогда можно ввести функцию распределения $F(x,y)$, такую, что вероятность при одновременном измерении величин $X$ и $Y$ (или при двух отдельных измерениях $X$ и $Y$ в любом порядке) получить значения, не превышающие $X=x$ и $Y=y$, будет равна $F(x,y)$. Как и в предыдущем случае, необходимо положить
$$\begin{array}{l}F(-\mathrm{\infty },y)=F(x,-\mathrm{\infty })=F(-\mathrm{\infty },-\mathrm{\infty })=0,\\ F(+\mathrm{\infty },+\mathrm{\infty })=1.\end{array}$$

Функция $F$ должна всегда возрастать с увеличением $x$ и $y$. Этот рост может быть скачкообразным или непрерывным. В плоскости переменных $x,y$ функцию $F(x,y)$ можно рассматривать как сумму масс, распределенных по этой плоскости, взятых во всех точках, абсциссы которых меньше заданных значений $x$ и $y$. Массы могут быть локализованы в отдельных точках и на отдельных линиях плоскости или распределены непрерывно в определенных областях плоскости. Если $F(x,y)$ — всюду непрерывная функция, то можно ввести плотность распределения $\rho (x,y)$, такую, что
$$F(x,y)={\int }_0^{x}dx{\int }_0^{y}dy\rho (x,y),$$

и все величины можно будет выразить через $\rho (x,y)$. В случае же дискретного распределения точек или линий $F$ на плоскости $(x,y)$ используем интеграл Стилтьеса
$$F(x,y)=\iint dF(x,y),$$

где величина $dF(x,y)$ равна $\rho (x,y)dxdy$ в случае непрерывного распределения и принимает конечные значения в точках или на линиях, где имеется скачок вероятности.
Моменты распределения вероятностей
Мы можем здесь по-прежнему ввести моменты, но с учетом специфики двух переменных. Можно написать
$$m_{x^k{y}^{\prime }}={\int }_{-\mathrm{\infty }}^{+\mathrm{\infty }}{\int }^k{x}^{k}dF(x,y),$$

где $m_{x^k{k}^0}=m_{x^k}$ и $m_{x{0}_{y}l}=m_y$.
В частности, $m_x=\overline{x},m_y=\overline{y},m_{x^2}=x^2,\dots$ В случае непрерывного распре деления имеем
$$m_{x^k{y}^l}={\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}{\int }^k{x}^k\rho (x,y)dxdy.$$

Характеристическая функция
Характеристическая функция может быть введена как естественное обобщение соответствующего определения в случае одной переменной, а именно
как
$\phi (u,v)=\iint e^{i(ux+vy)}dF(x,y)$,
что в случае непрерывного распределения приводит к выражению
$\phi (u,v)=\iint e^{i(ux+vy)}\rho (x,y)dxdy$,

а в случае дискретного распределения — к выражению
$\rho (u,v)=\sum _{n,m}{P}_{nm}\exp \left[i(u{x}_n+v{y}_m)\right]$,
где $P_{nm}$ — вероятность обнаружения пары значений $X=x_n,Y=y_m$.
Здесь остаются справедливыми и формулы обратного преобразования. Так, например, в случае непрерывного распределения имеем
$\rho (x,y)=\frac{1}{4{\pi }^2}{\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}{\int }^{-i(ux+vy)}\phi (u,v)dudv$
(формула обратного преобразования Фурье).
В общем случае
$$\begin{array}{l}F(x,y)-F(x_0,y_0)=\underset{\begin{array}{c}U\to \mathrm{\infty }\\ V\to \mathrm{\infty }\end{array}}{lim}{\int }_{-U}^U{\int }_{-V}^V\frac{\exp (-iu{x}_0)-\exp (-iux)}{iu}\times \\ \times \frac{\exp (-iv{y}_0)-\exp (-ivy)}{iv}\phi (u,v)dudv\end{array}$$

Эти формулы показывают, что знание характеристической функции эквивалентно знанию функции распределения.

Как и в случае одной переменной, можно ввести моменты, если только они существуют, т. е. если сходятся соответствующие интегралы. Разложение функции $\phi (u,v)$ в ряд Маклорена имеет вид
$$\begin{array}{rl}\phi (u,v)=\phi (0,0)+u{\phi }_u^{\prime }(0)& +v{\phi }_v^{\prime }(0)+\\ & +\frac{1}{2}[u^2{\phi }_{u^2}^{\prime \prime }(0)+2uv{\phi }_{uv}^{\prime \prime }(0)+v_{.}^2{\phi }_{v^2}^{\prime \prime }(0)]+\dots \end{array}$$

В то же время по определению функции $\phi (u,v)$ имеем
$$\phi (u,v)=1+i(m_{x}u+m_{y}v)+\frac{i^2}{2}(m_{x^2}{u}^2+2m_{xy}uv+2m_{y^2}{v}^2)+\dots$$

Сравнивая почленно эти два выражения, получаем

В этих формулах моменты выражаются через производные функции $\phi$, и, следовательно, если моменты существуют, то их знание эквивалентно знанию функции $\phi (u,v)$, т. е. знанию распределения вероятностей.
Можно, очевидно, ввести для переменных $X$ и $Y$ дисперсии
$${\sigma }_x^2=m_{x^2}-m_x^2,{\sigma }_y^2=m_{y^2}-m_y^2.$$

Введем вторую характеристическую функцию
$$\mathrm{\Phi }(u,v)=\ln \phi (u,v)=\ln {\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}{\int }^{i(ux+vy)}dF(x,y).$$

Ее разложение в ряд Маклорена имеет вид
$$\mathrm{\Phi }(u,v)=i(u{m}_x+v{m}_y)+\frac{i^2}{2}({\sigma }_x^2{u}^2+2r{\sigma }_x{\sigma }_{y}uv+{\sigma }_y{}^2{v}^2)+\dots ,$$

где коэффициент $m_{xy}-m_x{m}_y$ при $2uv$ мы записали в виде $r{\sigma }_x{\sigma }_y$. Таким образом, мы фактически ввели «козффициент корреляции» $r$ :
$$r=\frac{m_{xy}-m_x{m}_y}{{\sigma }_x{\sigma }_y}.$$

Мы видим, что этот козффициент характеризует степень независимости переменных $X$ и $Y$. Для среднего значения величины $[(x-\overline{x})+\lambda (y-\overline{y}){]}^2$ находим ${\sigma }_x^2+2\lambda (\overline{x-\overline{x}})(y-\overline{y})+{\lambda }^2{\sigma }_y^2$, и, так как по определению эта величина должна быть, очевидно, неотрицательна, дискриминант $((\overline{x-\overline{x}})(y-\overline{y}{)}^2-{\sigma }_x^2{\sigma }_y^2$ предыдущего выражения по отношению к переменной $\lambda$ должен быть меньше нуля или равен нулю. Отсюда.
$$\overline{(x-\overline{x})(y-\overline{y})}=\overline{xy}-\overline{x}\overline{y}=m_{xy}-m_x{m}_y=r{\sigma }_x{\sigma }_y,$$
т. е. $(r^2-1){\sigma }_x^2{\sigma }_y^2\le 0$ и $|r|\le 1$. Таким образом, коэффициент корреляции по абсолютной величине не может быть больше единицы.

Маргинальные и условные распределения вероятностей
Если нас интересуют только значения величины $X$, то можно ввести функцию распределения
$$F_X^{\prime }(x)={\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}{d}_{y}F(x,y),$$

где интеграл берется по прямой, параллельной оси $y$, с абсциссой $x$. Точно так же, если интерес представляют только значения величины $Y$, то соответствующая функция распределения имеет вид
$$F_Y(y)={\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}{d}_{x}F(x,y),$$

где интеграл берется по прямой, параллельной оси $x$, с ординатой $y$.
Функции $F_X(x)$ и $F_Y(y)$ — это маргинальные функции распределения вероятностей. Соответствующие характеристические функции равны
$$\begin{array}{l}{\phi }_X(u)={\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}{e}^{iux}d{F}_X(x)={\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}{\int }^{iux}dF(x,y)=\phi (u,0),\\ {\phi }_Y(v)=\phi (0,v).\end{array}$$

В случае непрерывного совместного распределения, когда $dF(x,y)=$ $=\rho (x,y)dxdy$, вводятся маргинальные плотности распределения
${\rho }_X(x)={\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}\rho (x,y)dy,{\rho }_Y(y)={\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}\rho (x,y)dx$.
В случае дискретного совместного распределения можно ввести маргинальные вероятности
$$P_X\left(x_n\right)=\sum _{m}P(x_n,y_m),P_Y\left(y_m\right)=\sum _{n}P(x_n,y_m).$$

В случае независимых величин $X$ и $Y$ по теореме об умножении вероятностей (я предполагаю, что ее доказательство известно читателю) можно написать $F(x,y)=F_X(x)F_Y(y)$, что в случае непрерывного совместного распределения приводит к формуле $\rho (x,y)={\rho }_X(x){\rho }_Y(y)$, а в случае дискретного — к формуле $P(x_n,y_m)=P_X\left(x_n\right)P_Y\left(y_m\right)$. Но в общем случае, когда величины $X$ и $Y$ не являются независимыми, по теореме об умножении вероятностей имеем
$$dF(x,y)=d{F}_X(x)d{F}_Y^{(X)}(x,y),dF(x,y)=d{F}_Y(y)d{F}_X^{(Y)}(x,y).$$

Здесь $d{F}^{(X)}$ есть функция распределения вероятностей значений величины $Y$, соответствующих значению $x$ величины $X$, а $d{F}_X^{(Y)}(x,y)$ — функция распределения вероятностей значений величины $X$, соответствующих значению $y$ величины $Y$. Такие вероятности и такие распределения вероятностей называются условными.

В случае непрерывного совместного распределения вводятся условные плотности распределений ${\rho }_X^{(Y)}(x)$ и ${\rho }_Y^{(X)}(y)$, такие, что
$$\rho (x,y)={\rho }_X(x){\rho }_Y^{(X)}(x,y),\rho (x,y)={\rho }_Y(y){\rho }_X^{(Y)}(x,y).$$

В случае дискретного совместного распределения можно ввести условные вероятности $P_X^{(Y)}\left(x_n\right)$ и $P_i^{(X)}\left(y_m\right)$, такие, что
$$\begin{array}{l}P(x_n,y_m)=P_X\left(x_n\right)P_Y^{(X)}(x_n,y_m),\\ P(x_n,y_m)=P_Y\left(y_m\right)P_X^{(Y)}(x_n,y_m).\end{array}$$

Для условных распределений можно определить условные моменты и условные дисперсии. Например,
$$\begin{array}{l}\overline{y^{(X)}}={\left(m_1\right)}_Y^{(X)}={\int }^{\mathrm{\infty }}y{\rho }_Y^{(X)}(x,y)dy=f(x),\\ {\left({\sigma }_Y^{(X)}\right)}^2={\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}{(y-\overline{y^{(X)}})}^2{\rho }_Y^{(X)}(x,y)dy=g(x),\end{array}$$

и эти величины являются функциями $x$.
Функция $f(x)$ есть «регрессия» случайной величины $Y$ на случайную величину $X$, а функция $g(x)$ — это условная дисперсия величины $Y$ при $X=x$. Если $g$ не зависит от $x$ (дисперсия ${\sigma }_Y^{(X)}$ постоянна), то говорят, что корреляция «гомоседастическая». Аналогичные определения справедливы и для случайной величины $X$, коррелированной с $Y$.

Мы видим, что независимость, рассматриваемая с точки зрения теории вероятностей (стохастическая независимость), характеризуется формулами
$$F(x,y)=F_X(x)F_Y(y),\rho (x,y)={\rho }_X(x){\rho }_Y(y),P(x_n,y_m)=P_X\left(x_n\right)P_Y\left(y_m\right).$$

Как нетрудно убедиться, в этом случае условные распределения совпадают с маргинальными распределениями: $F_X^{(Y)}(x)=F_X(x)$ и т. д. Характеристическая функция для двух стохастически независимых переменных равна произведению маргинальных характеристических функций, так как
$$\begin{array}{rl}\phi (u,v)={\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}{\int }^{i(ux+vy)}dF(x,y)=& {\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}{e}^{iux}d{F}_X(x){\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}{e}^{ivy}d{F}_Y(y)=\\ & =\phi (u,0)\phi (0,v)={\phi }_X(u){\phi }_Y(v).\end{array}$$

Обратно, если характеристическая функция равна произведению двух функций, каждая из которых зависит лишь от одной переменной, то эти случайные величины являются статистически независимыми. Это легко обнаруживается

при использовании формул обратного преобразования от характеристических функций к функциям распределения вероятностей.

Если случайные величины статистически независимы, то среднее значение $m_{xy}$ величины $xy$, очевидно, равно произведению $m_x{m}_y$. В таком случае коэффициент корреляции, определяемый формулой $r=(m_{xy}-m_x{m}_y)/{\sigma }_x{\sigma }_y$, оказывается равным нулю. Таким образом, равенство нулю коэффициента корреляции — необходимое условие статистической независимости случайных величин. Но это условие нельзя считать достаточным — коэффициент корреляции может равняться нулю для случайных величин, которые и не являются статистически независимыми. В качестве примера рассмотрим две случайные величины $X$ и $Y$, связанные строгим равенством $Y=X^2$. Чтобы описать эту связь, введем $\delta$-функцию Дирака, такую, что $\delta (z)=0$ всюду, кроме $z=0$, и $\delta (z)=\mathrm{\infty }$ в точке $z=0$, причем
$${\int }_{-a}^{+b}f(z)\delta (z)dz=f(0)$$

где $a$ и $b$ — произвольные положительные числа. Применение $\delta$-функции Дирака трудно строго обосновать с математической точки зрения ${}^{1)}$, но ее практическое использование не приводит к каким-либо ошибкам. Итак, с помощью $\delta$-функции Дирака мы можем записать плотность распределения в виде
$\rho (x,y)=\delta (y-x^2)\rho (x)$, так что ${\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}{\int }_{-\mathrm{\infty }}\rho dxdy=1$,
поскольку
${\rho }_Y^{(X)}(x,y)=\delta (y-x^2)$,
$${\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}\rho (x)\delta (y-x^2)dxdy={\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}\rho (x)dx=1.$$

Предположим, что $\rho (x)$ является четной функцией $x$. Тогда имеем
$$\begin{array}{l}{m}_{xy}=\overline{xy}={\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}xy\rho (x)\delta (y-x^2)dxdy={\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}{x}^3\rho (x)dx=0,\\ m_x=\overline{x}={\iint }_{-\mathrm{\infty }}^{\mathrm{\infty }}x\rho (x)\delta (y-x^2)dxdy={\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}x\rho (x)dx=0,\\ m_y=\overline{y}={\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}y\rho (x)\delta (y-x^2)dxdy={\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}{x}^2\rho (x)dxeq0.\end{array}$$
1)Этот текст писался в то время, когда теория распределений только создавалась. Луи де Бройль, конечно, не мог ее учитывать, но позднее он сделал карандашом пометку: «Л. Шварц». — Ж.Л.

Следовательно, $m_{xy}-m_x{m}_y=0$ и $r=0$. Таким образом, если две случайные величины связаны равенством $Y=X^2$ и $\rho (x)$ является четной функцией $x$, то коэффициент корреляции $r$ равен нулю, несмотря на абсолютно жесткую связь, существующую между случайными величинами $Y$ и $X^{1)}$.
Пример. Распределение Гаусса для случая двух переменных
Мы знаем, что разложение второй характеристической функции $\mathrm{\Phi }(u,v)$ в ряд Маклорена имеет вид
$$\mathrm{\Phi }(u,v)=i(u{m}_{x^{\prime }}+v{m}_y)+\frac{i^2}{2}({\sigma }_X^2{u}^2+2r{\sigma }_X{\sigma }_{Y}uv+{\sigma }_Y^2{v}^2)+\dots ,$$

где $r$ — коэффициент корреляции. Совместим начало координат с центром вероятностного распределения, так что
$$\mathrm{\Phi }(u,v)=-\frac{1}{2}({\sigma }_X^2{u}^2+2r{\sigma }_X{\sigma }_{Y}uv+{\sigma }_Y^2{v}^2)+\dots .$$

Простейший случай — когда все члены, порядок которых больше двух, равны нулю. Тогда функция $\mathrm{\Phi }$ является однородной и будет полиномом второй степени по $u$ и $v$.

По аналогии со случаем одной переменной, когда для распределения Гаусса функция $\mathrm{\Phi }(u)$ имела вид — $\left({\sigma }^2/2\right)u^2$, мы можем сказать, что в рассматриваемом случае мы имеем распределение Гаусса (нормальное распределение) для двух переменных. Таким образом,
$\mathrm{\Phi }(u,v)=-\frac{1}{2}({\sigma }_X^2{u}^2+2r{\sigma }_X{\sigma }_{Y}uv+{\sigma }_Y^2{v}^2)$,
$\phi (u,v)=\exp \{-\frac{1}{2}({\sigma }_X^2{u}^2+2r{\sigma }_X{\sigma }_{Y}uv+{\sigma }_Y^2{v}^2)\}$.
Формула обратного преобразования имеет вид
$4{\pi }^2\rho (x,y)={\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}{\int }^{\mathrm{\infty }}\phi (u,v)\exp [-i(ux+vy)]dydv$
и позволяет найти соответствующую плотность распределения. Путем простых вычислений с учетом равенства
$${\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}{e}^{-z^2}dz=\sqrt{}\pi$$
1) Таким образом, коэффициент корреляции двух случайных величин может равняться нулю, даже если они и не являются независимыми. Напротив, если коэффициент корреляции отличен от нуля, то две случайные величины не могут быть независимыми. — Л.Б.

можно найти выражение для $\rho$ :
$$\rho (x,y)=\frac{1}{2\pi {\sigma }_X{\sigma }_Y(1-r^2)}\exp \{-\frac{1}{2}\frac{{\left(\frac{x}{{\sigma }_X}\right)}^2-2r\frac{x}{{\sigma }_X}\frac{y}{{\sigma }_Y}+{\left(\frac{y}{{\sigma }_Y}\right)}^2}{1-r^2}\}.$$

Отсюда легко получить формулы для условных плотностей распределений:
$${\rho }_Y^{(X)}(x,y)=\frac{\rho (x,y)}{{\rho }_X(x)}=\frac{\rho (x,y)}{{\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}\rho (x,y)dy},{\rho }_X^{(Y)}(x,y)=\dots .$$

Легко получаем
$${\rho }_Y^{(X)}(x,y)=\frac{1}{\sqrt{2\pi }{\sigma }_y\sqrt{1-r^2}}\exp \{-\frac{1}{2}\frac{{(\frac{y}{{\sigma }_Y}-r\frac{x}{{\sigma }_X})}^2}{1-r^2}\}\text{. }$$

Если $r=0$, то ${\rho }_Y^{(X)}(x,y)$ есть плотность распределения Гаусса для одной переменной $y$, а функция $\rho (x,y)$ принимает вид $\rho (x)\rho (y)$ и имеет место статистическая независимость случайных величин.
Условное среднее значение равно
$$\overline{y^{(X)}}={\left(m_1\right)}_Y^{(X)}={\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}y{\rho }_Y^{(X)}(y)dy.$$

Легко получаем
$$\overline{y^{(X)}}=f(x)=r{\sigma }_Y\left(x/{\sigma }_X\right).$$

В этом случае кривая регрессии представляет собой прямую линию. Аналогично
$${\left({\sigma }_Y^{(X)}\right)}^2={\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}{(y-\overline{y^{(X)}})}^2{\rho }_Y^{(X)}(y)dy={\sigma }_Y^2(1-r^2),$$

или ${\sigma }_Y^{(X)}=\sqrt{1-r^2}{\sigma }_Y=g(x)$.
Величина $g(x)$ есть константа, т. е. связь — гомоседастическая. Если $r=\pm 1$, то ${\sigma }_Y^{(X)}={\sigma }_Y$.
Эти результаты\» показывают, что в данном случае равенство нулю коэф-
1) Их можно получить и без вычислений, заметив, что функция $\rho {}_Y^{(X)}(y)$ имеет вид функции распределения Гаусса с дисперсией, равной ${\sigma }_Y\sqrt{1-r^2}$. -Л.Б.

фициента корреляции приводит к статистической независимости случайных величин, но это относится к специфике распределения Гаусса.

Можно рассматривать распределения вероятностей и для большего числа случайных величин, обобщая полученные выше результаты. Здесь мы этого делать не будем.