ДОБАВЛЕНИЕ II. ЭЛЕМЕНТЫ ОБЩЕЙ ТЕОРИИ УНИТАРНЫХ ПРЕДСТАВЛЕНИЙ ЛОКАЛЬНО КОМПАКТНЫХ ГРУПП

В классе общих локально компактных групп существенно усложняются задачи теории представлений и, в частности, задача гармонического анализа на группе. Действительно, мы видели в добавлении I на примере полупростых комплексных групп, что неприводимые представления локально компактной группы не обязательно конечномерны. Вместо обобщенной теории рядов Фурье (теории Петера — Вейля) возникает обобщенная теория интегралов Фурье (вообще говоря, не числовых, а операторных). В настоящее время в теории представлений локально компактных групп существенно разработана только теория унитарных представлений (при построении которой важнейшую роль играет основная спектральная теорема функционального анализа). Краткий обзор этой теории является целью настоящего добавления.

§ 1. Коммутативные группы

Рассмотрим вначале аддитивную группу всех действительных чисел. Унитарное представление этой группы есть произвольная однопараметрическая группа унитарных операторов в гильбертовом пространстве Согласно известной теореме Стоуна (см., например, [22]) семейство операторов может быть записано в виде

где А — самосопряженный оператор в пространстве Оператор А называется производящим оператором однопараметрической группы Применение к этому оператору классической спектральной теоремы функционального анализа ([39], [22], [37]) позволяет получить дальнейшую информацию о строении представления Прежде

всего, операторная функция может быть записана в виде интеграла:

где семейство проекционных операторов, называемое разложением единицы и обладающее следующими свойствами: 1) при перестановочно со всяким непрерывным линейным оператором, перестановочным с непрерывно слева по X при любом для всякого

Формула дает наиболее существенную информацию о представлении Очевидно, неприводимо только в том случае, когда спектральная мера сосредоточена в единственной точке и пространство одномерно. В этом случае Формула означает, следовательно, разложение на неприводимые представления.

Из формулы можно получить также другую интерпретацию спектральной теоремы для Предположим вначале, что в пространстве существует вектор циклический относительно производящего оператора А (т. е. такой, что есть замыкание линейной оболочки векторов Положим . Тогда пространство изоморфно гильбертову пространству числовых вектор-функций с квадратом нормы Операторная функция задается при такой реализации формулой

в то время как оператор А сводится к умножению на Действие проектора сводится в этом случае к умножению на характеристическую функцию полуоси В общем случае представление разлагается на циклические (т. е. такие, для которых циклический вектор существует). Формула по-прежнему сохраняет силу, с той разницей, что теперь

является (вообще говоря, бесконечномерной) вектор-функцией от k.

Заметим, что в реализации каждая -функция является, формально говоря, собственным вектором семейства с собственным значением Хотя -функция и не является элементом , такому утверждению можно придать строгий смысл, если воспользоваться аппаратом обобщенных собственных векторов по Гельфанду [17] и Костюченко.

Наконец, перейдем к случаю произвольной коммутативной локально компактной группы G. В этом случае имеет место теорема Наймарка [37], обобщающая формулу Пусть унитарное представление группы G в гильбертовом пространстве — группа всех унитарных характеров группы т. е. одномерных унитарных представлений Тогда согласно теореме Наймарка

где интеграл берется по группе спектральная мера, определенная на борелевских множествах в Подробности см. в [37], стр. 487. Отсюда нетрудно получить также и обобщение формулы Пространство изоморфно реализуется в виде гильбертова пространства вектор-функций квадратично интегрируемых относительно некоторой меры. Представление задается явной формулой

Как и прежде, в частном случае группы эти результаты означают разложение на неприводимые представления. В частности, всякое неприводимое унитарное представление группы G одномерно и задается одним из характеров

Гармонический анализ на коммутативной локально компактной группе G является наиболее развитым в настоящее время обобщением обычного анализа Фурье. (Из гармонического анализа на G вытекает, в частности, теория двойственности Понтрягина, о которой мы упоминали в § 107.) На более подробном обзоре этой теории мы сейчас не имеем возможности останавливаться. Отдельные вопросы рассмотрены в монографиях [18], [35], [37].