В этой главе будут выведены необходимые для гл. 3 теоремы разложения для квадратично интегрируемых функций на некоторых классах смежности малых групп. Эти классы смежности определяются подгруппами
\[
\begin{array}{c}
H_{1} \equiv S U(2) \cap S U(1,1)=S U(2) \cap E(2)=E(2) \cap S U(1,1), \\
H_{2} \equiv S U(1,1) \cap S L(2, \mathrm{R}) .
\end{array}
\]

Прежде всего мы решим проблему редукции для сужения представления малой группы $U_{G}^{0}, G \in\{G(\stackrel{p}{p}): \stackrel{\circ}{p} \in \Omega, H \subset G(\stackrel{\circ}{p})\}$ ңа подгруппу $H, H \in\left\{H_{1}, H_{2}\right\}$, где $\rho$-параметр, пробегающий множество $G$ всех классов эквивалентности неприводимых унитарных представлений группы $G$. Так как все обсуждаемые здесь группы – группы типа I (по классификации Макки [10]), то проблема редукции имеет единственное решение, т. е. существует такое унитарное преобразование $\ddot{A}$, которое переводит сужение $U_{G}^{\rho} \mid H$ в прямой интеграл неприводимых унитарных представлений $\chi^{\sigma}$ группы $H$ :
\[
\ddot{A} \mathfrak{F}_{G}^{\rho}=\bigoplus_{\widehat{H}} \int \sqrt{d \tilde{v}_{\rho}(\sigma)} \mathfrak{F}_{G}^{\rho, \sigma}, \quad \ddot{A} U_{G}^{\rho} \mid H \ddot{A}^{-1}=\bigoplus_{\hat{H}} \int d \tilde{v}_{\rho}(\sigma) \chi^{\sigma} .
\]

Здесь $\sigma$ – параметр, пробегающий множество $\hat{H}$ классов эквивалентности неприводимых унитарных представлений группы $H$, $\tilde{v}_{\rho}$ – мера на группе $H$, определяемая этим разложенйем, $\mathfrak{F}_{G}^{\rho, \sigma}$ – компонента пространства представлений $\ddot{A}_{\sigma}^{\circ}$, на которой действует представление $\chi^{\sigma}$. Пусть
\[
\left\{\psi_{\tau \sigma}^{p}: \tau=1,2, \ldots, \operatorname{dim} \mathfrak{F}_{\sigma}^{\rho, \sigma}\right\},\left\langle\psi_{\tau^{\prime} \sigma}^{\rho} \mid \psi_{\tau \sigma}^{\rho}\right\rangle_{\Phi_{G}^{\rho, \sigma}}=\delta_{\tau^{\prime} \tau}
\]
– ортонормированный базис в пространстве $\mathfrak{5}_{\alpha}^{\rho}$. Тогда для $f \in \mathfrak{g}_{G}^{\rho}$ мы имеем разложение
\[
\ddot{A} f=\bigoplus_{\hat{H}} \int \sqrt{d \tilde{v}_{\rho}(\sigma)} \sum_{\tau} \psi_{\tau \sigma}^{\rho} f_{\tau \sigma} .
\]

Матричными элементами представления $U_{G}^{\rho}$ относительно базиса, отвечающего подгруппе $H$, мы называем обобщенные интегральные ядра $U_{O}^{0}(A)_{\tau^{\prime} \sigma^{\prime}, \tau \sigma}$, которые определены формулой
\[
\left(U_{Q}^{\rho}(A) f\right)_{\tau^{\prime} \sigma^{\prime}}=\int_{\widehat{H}} d \tilde{v}_{\rho}(\sigma) \sum_{\tau} U_{G}^{\rho}(A)_{\tau^{\prime} \sigma^{\prime}, \tau \sigma} f_{\tau \sigma^{*}}
\]
(Для компактной группы $H_{1}$ прямые интегралы сводятся к прямым суммам, а матричңые элементы существуют в обычном смысле.) Эти матричные элементы будут вычислены в разд. $2.2-2.5$. В некотором обобщенном смысле они являются полными ортонормированными базисами в гильбертовых пространствах квадратично интегрируемых функций на малых группах. Это показано в разд. 2.6. В разд. 2.7 мы используем эти базисы для обобщщенного фурье-анализа квадратично интегрируемых функций в пространствах классов смежности $G / H$.

Матричные элементы представлений группы $S U(2)$ в базисе, связанном с $H_{1}$, 一 это элементы матрицы представлений группы вращений, хорошо известные в квантовой механике. Матричные элементы представлений группы $S U(1,1)$ в базисе $H_{1}$ были вычислены впервые Баргманом [13]. Решение проблемы редукции для суженңя представлений группы $S U(1,1)$ на подгруппу $H_{2}$ посредством алгебры Ли дано в работе Мукунда [19]. Этот результат подтверждает высказанное Баргманом [13] утверждение относительно кратности спектров генераторов однопараметрических подгрупп группы $S U(1,1)$. В разд. 2.5 мы даем глобальное решение проблемы редукции для сужения $U_{S U(1,1)}^{\rho} \mid H_{2}$ и вычисляем соответствующие обобщенные матричные элементы. Некоторые из них были вычислены ранее Виленкиным [20] и использованы при выводе формул для гипергеометрических функций ${ }_{2} F_{1}$. Формула Планшереля для квадратично интегрируемых функций на группе $S U(2)$ содержится в знаменитой теореме Петера – Вейля для компактных групп Ли. Для некомпактной группы $S U(1,1)$ эта формула была впервые явно доказана в работе Хариш-Чандра [21]. Представления, необходимые для этого разложения, были найдены ранее Баргманом [13]. В разд. 2.6 дано другое доказательство, использующее аналитические свойства матричных элементов, которые представляют особый интерес для $S$-матричной теории элементарных частиц. Этот подход дает возможность одновременно рассматривать представления групп $S U(2)$ и $S U(1,1)$. Использование матричных элементов группы $S U(2)$ для разложения квадратично интегрируемых функций на сфере отмечалось в работе Гельфанда, Минлоса и Шапиро [22]. Что касается установленных в разд. 2.7 теорем разложения для квадратично интегрируемых функций на однородных пространствах $G / H$, то другие литературные источники нам не известны.