7.7. ВТОРАЯ ЗАДАЧА. ЧИСЛЕННЫЕ ПРИМЕРЫ ПОВЕРХНОСТИ ВТОРОГО ПОРЯДКА, ПОСТРОЕННОЙ ДЛЯ ТРЕХ И ДЛЯ ДВУХ ФАКТОРОВ

В журнале Industrial and Engineering Chemistry, January 1961, 53, p. 55-57, было опубликовано исследование Айя, Голдсмита и Муни (Aia М. A., Goldsmith R. L. andMooney R. W.), выполненное на полупромышленной установке под названием «Предсказание стехио-метрического (Predicting Stoichiometric . В настоящем параграфе эта работа воспроизводится с разрешения Американского химического общества (American Chemical Society). Мы опустили здесь подробности, касающиеся химии процесса, а также произвели некоторые незначительные изменения в авторском анализе.

В исследуемой задаче имелось всего семь кандидатов в предикторы, но четыре из них было решено зафиксировать на время эксперимента на постоянных уровнях. Три оставшиеся для исследования поверхности отклика, вместе с их областями экспериментирования, приведены ниже.

Всего представляло интерес семь откликов. Для каждого из них последовательно использовалась одна и та же идея, а именно, предпринималась попытка построить функцию второго порядка от Мы воспользуемся здесь только первым откликом (который назовем данные для четвертого отклика (обозначим его оставим для упражнения 7.11.

Выбранный план представлял собой «куб плюс звезда плюс семь нулевых точек», т. е. был композиционным планом со звездным плечом обладать свойством «ротатабельности», выбранный план должен был бы иметь значение звездного плеча значит, этот план близок к ротатабельному, но не точно ротатабельный. Авторы пренебрегли этим обстоятельством и фактически использовали в своих вычислениях. По этой причине наши вычисления несколько отличны от авторских.)

Выбранный план требует для каждого фактора пяти уровней. Натуральные значения факторов кодировались с помощью следующих преобразований:

Тогда в соответствии с планом фактические уровни переменных можно выразить следующей таблицей:

Таблица 7.6. (см. скан) Численный пример: матрица X и два отклика

Фактический план в кодированных переменных показан как отмеченная часть матрицы X в табл. 7.6. Относительно кодированных переменных постулируется модель второго порядка, которую можно записать в виде

для отклика и аналогично для

Опыты проводились с рандомизацией во времени, и в каждом из них регистрировались все семь откликов. Вот два из них: выход в процентах от теоретического и насыпная плотность в граммах на кубический дюйм, которые как раз иприведены в табл. 7.6. Соответствующая матрица будет одна и та же для любого отклика; она имеет вид

где в нашем частном случае:

Такой тип разбиения матрицы часто встречается в исследованиях по планированию эксперимента для построения поверхности второго порядка. Для него легко получить обратную матрицу. В общем случае, когда число факторов равно (а не трем, как в рассмотренном примере), используя те же обозначения как обычно, получим матрицу больших размеров и сможем выписать для нее обратную в

следующем виде:

Значения приведены в табл. 7.7 во втором столбце, обозначенном (Значения в третьем столбце относятся к наипростейшей форме, когда а это бывает, если план «ротатабе-лен», т. е. контуры дисперсии имеют сферическую форму. При таких обстоятельствах план был бы ротатабельным в пространстве предикторов (т. е. в пространстве X) и не давал бы никакого предпочтения в точности получаемой информации в зависимости от направления.)

В нашем случае , так что мало, но не равно нулю, как это было бы в случае ротатабельности плана. Следовательно, мы получим:

Таблица 7.7. Формулы для получения элементов матрицы

Заметьте, что в формулах для встречается величина Таким образом, точные значения. Они позволяют в дальнейшем избежать ошибок округления. Заключительное деление на 9614 имеет смысл отложить до тех пор, пока не будут выполнены последовательные перемножения матриц). Теперь нам нужен вектор Ниже приведены такие векторы для откликов

Воспользовавшись обычной формулой для оценок параметров регрессии, мы получим следующее уравнение для первого отклика

Когда реализован план второго порядка и получена матрица такого типа, как на с. 116, таблица дисперсионного анализа выглядит так, как показано в табл. 7.8. В этой таблице приняты следующие обозначения:

для всех скалярных произведений столбцов матрицы X по столбцу наблюдений так что все они оказываются элементами вектора Обычно нам приходится объединять суммы квадратов и чтобы получить (члены второго порядка степенями свободы, однако в таблице они приводятся в отдельности. Тем самым подчеркивается, что только дополнительная сумма

Таблица 7.8. (см. скан) Стандартная таблица дисперсионного анализа для некоторых типов планов второго порядка

квадратов, которая представляет собой обусловлена ортогональностью многих пар столбцов матрицы X, причем это свойство присуще только некоторым частным видам планов. Теперь самым обычным образом мы можем проверить адекватность и оценить вклад членов первого и второго порядка.

Следует еще раз отметить, что многие особые свойства такого оценивания методом наименьших квадратов и дисперсионного анализа приложимы только к планам, матрицы которых имеют специальный вид, такой, что для можно воспользоваться теми формулами, какие были приведены выше. Более того, столбец «Источник» в приведенной выше таблице дисперсионного анализа создает основу для использования таких формул. Сумма квадратов, обусловленная чистой ошибкой, получается как обычно, а все значения для сумм квадратов оценок параметров будут получаться в виде дополнительных сумм квадратов, как описано в § 2.7.

Приведем теперь соответствующую нашему примеру таблицу дисперсионного анализа (см. табл. 7.9). Поскольку

Таблица 7.9. Таблица дисперсионного анализа для полученной модели

нет указаний на неадекватность. Поэтому можно объединить суммы квадратов для неадекватности и для «чистой» ошибки и оценить дисперсию

Деление на полученную дисперсию среднего квадрата для членов первого порядка дает отношение что превосходит ; в то же время для членов второго порядка получается отношение что тоже превосходит Таким образом, в полученной модели нельзя обойтись ни без членов первого, ни без членов второго порядка.

А нужна ли нам переменная X2?

В исходной работе авторы заметили, что все оценки коэффициентов, которые относятся к фактору 2 и его функциям, имеют в сравнении со своими стандартными ошибками малые величины. Отсюда они заключили, что их модель вовсе не должна содержать Когда ситуация вполне прозрачна — все имеющиеся коэффициенты малы по сравнению со своими стандартными ошибками, такое заключение вряд ли может оказаться ошибочным. Правда, в таком случае надо было бы воспользоваться, вообще говоря, главной дополнительной суммой квадратов. Продемонстрируем здесь, как это делается.

Пусть мы хотим проверить нулевую гипотезу против альтернативной гипотезы о том, что по крайней мере один из этих коэффициентов не равен нулю. Из таблицы дисперсионного анализа найдем регрессионную сумму квадратов для полной модели второго порядка с при наличии

Теперь надо сформулировать гипотезу применительно к сокращенной модели

Соответствующую матрицу X можно получить из табл. 7.6 после вычеркивания столбцов Точно так же можно получить и матрицу вычеркивая строки и столбцы, соответствующие фактору Аналогично получается и вектор после вычеркивания тех же строк. В результате получается уравнение:

Далее нам нужна регрессионная сумма квадратов при данном для сокращенной модели. Мы найдем, что она равна (с 5 степенями свободы). Тогда дополнительная сумма квадратов, обусловленная будет равна:

Это приводит к среднему квадрату который можно сравнить с оценкой остаточного среднего квадрата полученной для исходной трехфакторной регрессии. Получается, что нуль-гипотезу о том, что нельзя отвергнуть. Значит, вполне резонно пользоваться сокращенной моделью, которая не включает члены, содержащие Составим теперь таблицу дисперсионного анализа, соответствующую сокращенной модели (см. табл. 7.10). Видно, что неадекватность отсутствует, а в регрессии высокозначимы члены и первого и второго порядка.

Таблица 7.10. Дисперсионный анализ для сокращенной модели второго порядка с факторами

Для изучения построенной поверхности второго порядка мы могли бы провести обычный «канонический анализ», в котором эта поверхность описывается в терминах координат, совпадающих с главными осями поверхности. Такой анализ крайне полезен и позволяет охватить всю ситуацию, даже в случае многих факторов. Но когда

факторов всего два, как здесь, мы можем сразу построить контурные линии для переписав полученное уравнение в таком виде:

Рис. 7.5. Контуры равных значений для модели второго порядка относительно факторов

Если задаться значением то соответствующий ему контур можно вычертить, задаваясь значениями и вычисляя Полученные таким образом контуры показаны на рис. 7.5. Экспериментальные точки отмечены на рисунке кружочками. Правда, повторяющиеся точки никак не выделены, и, чтобы их найти, надо обратиться к табл. 7.11. Контуры показывают, что поверхность имеет вид гребня. Исследование системы этих контуров привело авторов к гипотезе о тех химических реакциях, которые могли бы привести к подобным контурам. (Довольно часто исследователи поверхностей отклика на начальных этапах проводят более основательное теоретическое изучение рассматриваемого объекта.)

Полученные контуры можно было бы еще рассмотреть в связи с остатками, приведенными в табл. 7.11. «Структура» графика остатков, на котором каждый остаток расположен рядом с той точкой

Таблица 7.11. (см. скан) Предсказанные значения и остатка, пблучениые для модели поверхности второго порядка

плана, к которой он относится, показана на рис. 7.6. Из двадцати остатков шесть, наибольших по абсолютной величине, приходятся на точки (три), (по одному).

Таким образом, модель выглядит подогнанной наименее хорошо в первом квадранте плоскости и любые утверждения, которые считаются достоверными для полученной поверхности, в этой области надо брать под сомнение. (Может ли иметь место эффект, который следует из авторских выводов? — это скорее вопрос к инженеру-химику, чем к статистику, и мы не будем его здесь обсуждать.) Сомнения такого рода иногда могут стимулировать дальнейшие действия, связанные с экспериментированием в том районе, где форма полученной поверхности наиболее подозрительна, и с получением на этой основе новой модели в заданной более узкой области факторного пространства.

Теперь мы можем исследовать остатки другими способами, чтобы посмотреть, нет ли каких-нибудь иных аномалий. На рис. 7.7 приведены следующие стандартные графики остатков: (а) общий, (б) в зависимости от предсказанных значений (в), в зависимости от в зависимости от

Общий график не выглядит так, что он отвергает предположение о нормальности, на которое опирается критерий отношения дисперсий в дисперсионном анализе. График остатков в зависимости от на первый взгляд демонстрирует тенденцию к «расширению», но это

(кликните для просмотра скана)

обманчиво, ибо большинство остатков велики и размеры полосы остатков плохо определены на нижнем конце шкалы Аналогичное поведение наблюдается и на графиках зависимостей от и где размеры полосы остатков плохо определены на краях диапазона. Следовательно, ни на одном из этих графиков нет ничего, что давало бы основания говорить об отклонении от нормальности. А значит, и нет оснований считать, что не выполняются основные регрессионные предпосылки. (Заметим, что, поскольку мы не знаем, в каком порядке были реализованы опыты, мы не можем проверить, нет ли временного тренда, влияющего на отклик.)

Если продолжить исследование, то дополнительные усилия могли бы включать попытки переоценить исходные данные в первом квадранте, где получились большие остатки, а также рассмотреть новые факторы, вариация которых, возможно, имела место, но которые до сих пор не рассматривались. Таким образом, быть может, удастся усовершенствовать модель. К тому же вопреки ожиданию область, в которой модель оказалась под вопросом, следовало бы изучить более подробно, чем предполагалось ранее.

Вычисление «чистой» ошибки в случае, когда факторы выпадают

Предыдущий анализ ставит один вопрос, которого мы до сих пор избегали: когда какой-нибудь фактор, вроде выпадает из модели, надо ли нам пересчитывать «чистую» ошибку? В табл. 7.6 параллельными опытами были только опыты 15—20, когда же фактор выпал, т. е. данные стали такими, как в табл. 7.11, то пары точек, а именно (1,3), (2,4), (5,7) и (6,8), превратились в пары параллельных опытов относительно факторов Более того, опыты 11 и 12 превратились в новые центральные точки. Поэтому следовало бы учесть, что новый план надо рассматривать как повторенный дважды полный факторный план 22 (восемь точек: 1—8) плюс двухфакторная звезда (четыре точки: 9, 10, 13, 14) плюс восемь центральных точек (. Если так сделать, то пришлось бы пересмотреть табл. 7.10, чтобы получить новые значения:

Соответствующее -отношение равно: Отсюда следует несколько неожиданный вывод о том, что имеет место неадекватность. В таком пересмотренном анализе получается, что, хотя фактор совершенно не обязателен в модели, его исключение ведет к неадекватности! Между тем ясно, что мало помогает объяснить вариацию в наблюдениях. Фактически величина среднего квадрата «чистой» ошибки обесценивается, когда участвует в модели, и в то же самое время уменьшение числа степеней свободы для «чистой» ошибки снижает чувствительность -критерия к неадекватности.

Какой же анализ верен? Можно было бы защищать обе позиции. В целом, однако, мы предпочитаем пользоваться той «чистой» ошибкой, которую мы вычислили сначала, до всякого отбрасывания факторов. Видимо, повторные опыты в исходных данных и в самом деле параллельны, если можно так выразиться: но нельзя утверждать то же самое относительно тех опытов, которые выглядят как параллельные, когда выпал некоторый фактор. Таким образом, во многих наборах данных может возникнуть противоположная проблема, т. е. будет иногда пропадать «генетическая» неадекватность, поскольку в «новых» параллельных опытах будет проявляться больше вариации, чем ее было в исходных параллельных.

В качестве одного из надежных путей преодоления возникшей трудности можно предложить проводить анализ двумя способами с дальнейшим выяснением, нет ли между результатами согласия. Для многих наборов данных такое согласие будет наблюдаться. Ну а если его нет, то данные должны стать предметом дальнейшего тщательного рассмотрения.

А как же нам все-таки поступить в данном примере? Наша модель, безусловно, должна быть поставлена под сомнение. Хотя члены первого и второго порядка объясняют в общей вариации долю, равную (с учетом коррекции на среднее), для проверки адекватности остается всего лишь пять степеней свободы. (При включении в модель фактора результат увеличивается всего лишь до Иными словами, эта модель объясняет 95 % вариации относительно среднего, даже если, в принципе, неадекватность и возможна. Чтобы выяснить, где же неадекватность могла бы проявиться, можно обратиться к совместному исследованию контурных линий и остатков. Если линии истинной поверхности отклика хорошо проявились в широкой области факторного пространства, то заключения на основе полученной модели могут оказаться в этой области вполне состоятельными. Дальнейшее исследование остатков позволяет также выявить, не нарушаются ли основные предпосылки регрессионного анализа, такие, как нормальность, постоянство дисперсии, независимость наблюдений, и нет ли еще каких-либо путей ревизии нашей модели.

Иногда в практической работе оказывается, что «чистая» ошибка «слишком мала» просто потому, что параллельные опыты не были рандомизированы (или хотя бы распределены) с остальными опытами. Если некоторые параллельные опыты делаются подряд или в течение короткого времени, то отклики проявляют тенденцию больше походить друг на друга, чем при рандомизации. Иначе говоря, при отсутствии рандомизации «чистая» ошибка оказалась бы непредставительной по отношению к разбросу данных, характерному для проводимого эксперимента. Иногда это приводит к ложным сигналам о наличии неадекватности, что нуждается в тщательном исследовании.

Комментарий. Пример, который мы только что обсуждали, в некотором отношении необычен. Когда имеются основания для исключения из модели некоторых членов, в упрощенной модели неадекватность обычно не проявляется, если только в данных нет

каких-то особенностей. Между тем мы могли видеть, что такие особенности не проявились в нарушениях предпосылок метода наименьших квадратов. Их источник остается предметом для размышлений.

В широком смысле этот пример совсем не необычен. Хотя эксперимент и ответил на некоторые вопросы, другие он оставил неразрешенными. Они станут предметом дальнейших обдумываний и дальнейшей работы. В этом смысле такого рода пример типичен для большинства практических исследований.

Вычисление «чистой» ошибки, когда план разбит на блоки

План из табл. 7.6 не был разбит на блоки. Однако часто планы для изучения поверхностей отклика разбиваются на блоки, причем так, чтобы блоки были ортогональны к модели. Опыты, которые были бы параллельными в плане без разбиения на блоки, в таком случае часто разделяются между блоками. Тогда эти опыты перестают быть параллельными, если только они не попадают в один блок, и «чистую» ошибку надо вычислять, исходя из этого. Следовательно, дисперсионный анализ должен содержать некоторую сумму квадратов для блоков. Когда блоки ортогональны к модели, блоковая сумма квадратов получается обычно как степенями свободы из таблицы дисперсионного анализа, где сумма тех наблюдений, которые попали в блок (а всего имеется блоков), общая сумма по всем наблюдениям во всех блоках. Когда же блоки не ортогональны по отношению к модели, используется принцип дополнительной суммы квадратов. (Его, конечно, можно применять во всех случаях, безотносительно к тому, ортогональны блоки или нет. При этом будет получаться тот ответ, который приведен выше для случая ортогональности.)

Упражнения

(см. скан)

(см. скан)

(см. скан)

(см. скан)

(см. скан)

(см. скан)

(см. скан)

(см. скан)

(см. скан)

Ответы к упражнениям

(см. скан)

(см. скан)

(см. скан)

(см. скан)

(см. скан)