Қак уже отмечалось, между классической теорией информации по Шеннону – Винеру и понятием сложность системы существует тесная связь. Действительно, в некоторых ранних работах по исследованию сложности биологических систем сложность определялась как число различимых единиц, составляющих организм. Такой подход явно наводит на мысль о сравнении меры сложности с информационным содержанием строки символов. Однако теория информации не является удовлетворительной основой для определения сложности. Было показано, что система является целостным объектом, а не просто объединением своих частей. Кроме того, системные переменные не действуют по отдельности и только в совокупности с другими порождают сложные явления. Отдельные переменные могут быть не так важны, как их комбинации, соответствующие этим явлениям, а теория информации не может идентифицировать такие комбинации. Подобно всем статическим теориям, она игнорирует тот факт, что относительное расположение элемента в структуре может оказывать сильное влияние на систему. Другими словами, численных значений частот различных элементов в системе не достаточно для объяснения ее поведения, требуется еще информация о способе, которым эти элементы связаны.

Одним из интересных подходов, удовлетворяющих этому требованию, является понятие аналогичные явления. При этом подходе постулируется, что исходные размеры переменные $x_{1}, x_{2}, \ldots, x_{n}$ можно заменить безразмерными переменными $P_{1}, P_{2}, \ldots, P_{k}$, которые представляют собой комбинации $x_{i}$. Количество таких безразмерных переменных определяется согласно теореме, утверждающей, что размерное однородное уравнение
\[
F\left(x_{1}, x_{2}, \ldots, x_{n}\right)=0
\]

может быть выражено с помощью переменных $P$, образуемых из $x_{i}$ так, что
\[
f\left(P_{1}, P_{2}, \ldots, P_{n-r}\right)=0, \quad r \leqslant m,
\]

где $r$-ранг размерной матрицы исходных переменных $n$, а $m$-число основных размерностей физических величин, таких, как масса, длина.

Так как фактически все физические законы размерностно инвариантны, то безразмерные комбинации $P_{i}$ могут интерпретироваться как критерии подобия. Таким образом, появляется возможность значительно сократить число системных переменных, принимаемых во внимание. В то же самое время, обычно присущая теоретико-информационным проблемам нестационарность может быть значительно редуцирована, поскольку любые изменения, ведущие к нестационарности, вероятно, будут значительно меньше на макроскопическом уровне ( $P$-переменные), чем на микроскопическом ( $x$-переменные).

Необходимо поэтому концентрировать внимание на фундаментальных законах, управляющих поведением системы, а не на конкретных моделях, представляющих процесс. Другими словами, следует стремиться описать сложность в терминах инвариантных свойств структуры системы. Для того чтобы иметь возможность распознавать различные множества конфигураций системы, введем размерностно инвариантную дискриминантную функцию
\[
Y=a_{1} P_{1}+\ldots+a_{k} P_{k},
\]

где весовые множители (коэффициенты) определяются так, чтобы максимизировать $t$-статистику или $F$-отношение между различными группами (подсистемами).

Итак, необходимо максимизировать отношение межгрупповой вариации:
\[
\phi\left(a_{1}, \ldots, a_{k}\right)=\frac{n_{1} n_{2}(a, d)^{2}}{n_{1}+n_{2}(a, C a)},
\]

где $d^{\prime}=\left(d_{1}, d_{2}, \ldots, d_{k}\right)$ – вектор средних разностей $k(=n-r)$ размерно инвариантных функций $P_{i}, C$ – внутригрупповая ковариационная матрица, а $n_{1}$ и $n_{2}$ – число наблюдений в двух группах. Пусть $Y_{l k}^{m}$ значение $m$-й размерно инвариантной дискриминантной функции, вычисленное для $k$-го элемента $l$-й группы. Апостериорная вероятность того, что $k$ принадлежит $l$-й группе, при условии, что он действительно в группе $m$ (случай $k_{m}$ ), дается формулой
\[
P_{l m k_{m}}^{m^{\prime}}=\frac{P_{m} \exp \left(Y_{l m k_{m}}^{m^{\prime}}\right)}{\sum_{i=1}^{r} P_{i} \exp \left(Y_{l i k_{m}}^{m^{\prime}}\right)},
\]

где индекс $m^{\prime}$ обозначает, что берется конкретная дискриминантная функция, которая дает максимальную истинную вероятность для элементов группы, $r$-общее число группы, $P_{m}$ – априорная вероятность того, что $k$ лежит в группе $m$.

Теперь можно определить сложность системы через информационное содержание, т. е. как меру средней неопределенности в местоположении элементов. Конкретно определим сложность группы $m$ равенством
\[
H_{m}=\frac{1}{n_{m}} \sum_{k_{m}=1}^{n_{m}} G_{k_{m}},
\]

где
\[
G_{k_{m}}=-\sum_{i=1}^{r} P_{i m k_{m}}^{m^{\prime}} \log _{2} P_{i m k_{m}}^{m^{\prime}},
\]

а $n_{m}$ – число элементов в группе $m$.
Можно также определить меру избыточности $i$-й группы
\[
R_{i}=1-\frac{H_{i}}{\log _{2} r} .
\]