В этой главе будут выведены необходимые для гл. 3 теоремы разложения для квадратично интегрируемых функций на некоторых классах смежности малых групп. Эти классы смежности определяются подгруппами
$$\begin{array}{c}{H}_1\equiv SU(2)\cap SU(1,1)=SU(2)\cap E(2)=E(2)\cap SU(1,1),\\ H_2\equiv SU(1,1)\cap SL(2,\mathrm{R}).\end{array}$$

Прежде всего мы решим проблему редукции для сужения представления малой группы $U_G^0,G\in \{G(\stackrel{p}{p}):\stackrel{\circ }{p}\in \mathrm{\Omega },H\subset G(\stackrel{\circ }{p})\}$ ңа подгруппу $H,H\in \{H_1,H_2\}$, где $\rho$-параметр, пробегающий множество $G$ всех классов эквивалентности неприводимых унитарных представлений группы $G$. Так как все обсуждаемые здесь группы — группы типа I (по классификации Макки [10]), то проблема редукции имеет единственное решение, т. е. существует такое унитарное преобразование $\ddot{A}$, которое переводит сужение $U_G^{\rho }\mid H$ в прямой интеграл неприводимых унитарных представлений ${\chi }^{\sigma }$ группы $H$ :
$$\ddot{A}{\mathfrak{F}}_G^{\rho }=\underset{\hat{H}}{⨁}\int \sqrt{d{\tilde{v}}_{\rho }(\sigma )}{\mathfrak{F}}_G^{\rho ,\sigma },\ddot{A}{U}_G^{\rho }\mid H{\ddot{A}}^{-1}=\underset{\hat{H}}{⨁}\int d{\tilde{v}}_{\rho }(\sigma ){\chi }^{\sigma }.$$

Здесь $\sigma$ — параметр, пробегающий множество $\hat{H}$ классов эквивалентности неприводимых унитарных представлений группы $H$, ${\tilde{v}}_{\rho }$ — мера на группе $H$, определяемая этим разложенйем, ${\mathfrak{F}}_G^{\rho ,\sigma }$ — компонента пространства представлений ${\ddot{A}}_{\sigma }^{\circ }$, на которой действует представление ${\chi }^{\sigma }$. Пусть
$$\{{\psi }_{\tau \sigma }^p:\tau =1,2,\dots ,\dim {\mathfrak{F}}_{\sigma }^{\rho ,\sigma }\},{⟨{\psi }_{{\tau }^{\prime }\sigma }^{\rho }\mid {\psi }_{\tau \sigma }^{\rho }⟩}_{{\mathrm{\Phi }}_G^{\rho ,\sigma }}={\delta }_{{\tau }^{\prime }\tau }$$
— ортонормированный базис в пространстве ${\mathfrak{5}}_{\alpha }^{\rho }$. Тогда для $f\in {\mathfrak{g}}_G^{\rho }$ мы имеем разложение
$$\ddot{A}f=\underset{\hat{H}}{⨁}\int \sqrt{d{\tilde{v}}_{\rho }(\sigma )}\sum _{\tau }{\psi }_{\tau \sigma }^{\rho }{f}_{\tau \sigma }.$$

Матричными элементами представления $U_G^{\rho }$ относительно базиса, отвечающего подгруппе $H$, мы называем обобщенные интегральные ядра $U_O^0(A{)}_{{\tau }^{\prime }{\sigma }^{\prime },\tau \sigma }$, которые определены формулой
$${(U_Q^{\rho }(A)f)}_{{\tau }^{\prime }{\sigma }^{\prime }}={\int }_{\hat{H}}d{\tilde{v}}_{\rho }(\sigma )\sum _{\tau }{U}_G^{\rho }(A{)}_{{\tau }^{\prime }{\sigma }^{\prime },\tau \sigma }{f}_{\tau {\sigma }^{\ast }}$$
(Для компактной группы $H_1$ прямые интегралы сводятся к прямым суммам, а матричңые элементы существуют в обычном смысле.) Эти матричные элементы будут вычислены в разд. $2.2-2.5$. В некотором обобщенном смысле они являются полными ортонормированными базисами в гильбертовых пространствах квадратично интегрируемых функций на малых группах. Это показано в разд. 2.6. В разд. 2.7 мы используем эти базисы для обобщщенного фурье-анализа квадратично интегрируемых функций в пространствах классов смежности $G/H$.

Матричные элементы представлений группы $SU(2)$ в базисе, связанном с $H_1$, 一 это элементы матрицы представлений группы вращений, хорошо известные в квантовой механике. Матричные элементы представлений группы $SU(1,1)$ в базисе $H_1$ были вычислены впервые Баргманом [13]. Решение проблемы редукции для суженңя представлений группы $SU(1,1)$ на подгруппу $H_2$ посредством алгебры Ли дано в работе Мукунда [19]. Этот результат подтверждает высказанное Баргманом [13] утверждение относительно кратности спектров генераторов однопараметрических подгрупп группы $SU(1,1)$. В разд. 2.5 мы даем глобальное решение проблемы редукции для сужения $U_{SU(1,1)}^{\rho }\mid H_2$ и вычисляем соответствующие обобщенные матричные элементы. Некоторые из них были вычислены ранее Виленкиным [20] и использованы при выводе формул для гипергеометрических функций ${}_2{F}_1$. Формула Планшереля для квадратично интегрируемых функций на группе $SU(2)$ содержится в знаменитой теореме Петера — Вейля для компактных групп Ли. Для некомпактной группы $SU(1,1)$ эта формула была впервые явно доказана в работе Хариш-Чандра [21]. Представления, необходимые для этого разложения, были найдены ранее Баргманом [13]. В разд. 2.6 дано другое доказательство, использующее аналитические свойства матричных элементов, которые представляют особый интерес для $S$-матричной теории элементарных частиц. Этот подход дает возможность одновременно рассматривать представления групп $SU(2)$ и $SU(1,1)$. Использование матричных элементов группы $SU(2)$ для разложения квадратично интегрируемых функций на сфере отмечалось в работе Гельфанда, Минлоса и Шапиро [22]. Что касается установленных в разд. 2.7 теорем разложения для квадратично интегрируемых функций на однородных пространствах $G/H$, то другие литературные источники нам не известны.