Компонент вектора, а внедиагональные элементы - ковариации между компонентами.

Ковариационная матрица случайного вектора является многомерным аналогом дисперсии случайной величины для случайных векторов. Матрица ковариаций двух случайных векторов- многомерный аналог ковариации между двумя случайными величинами.

В случае нормально распределенного случайного вектора, ковариационная матрица вместе с математическим ожиданием этого вектора полностью определяют его распределение (по аналогии с тем, что математическое ожидание и дисперсия нормально распределенной случайной величины полностью определяют её распределение)

Определения

• Пусть texvc не найден; См. math/README - справку по настройке.): \mathbf{X}:\Omega \to \mathbb{R}^n , Невозможно разобрать выражение (Выполняемый файл texvc не найден; См. math/README - справку по настройке.): \mathbf{Y}:\Omega \to \mathbb{R}^m - два случайных вектора размерности Невозможно разобрать выражение (Выполняемый файл texvc не найден; См. math/README - справку по настройке.): n и Невозможно разобрать выражение (Выполняемый файл texvc не найден; См. math/README - справку по настройке.): m соответственно. Пусть также случайные величины Невозможно разобрать выражение (Выполняемый файл texvc не найден; См. math/README - справку по настройке.): X_i,Y_j,\; i=1,\ldots, n,\; j = 1,\ldots, m имеют конечный второй момент , то есть Невозможно разобрать выражение (Выполняемый файл texvc не найден; См. math/README - справку по настройке.): X_i,Y_j \in L^2 . Тогда матрицей ковариации векторов Невозможно разобрать выражение (Выполняемый файл texvc не найден; См. math/README - справку по настройке.): \mathbf{X},\mathbf{Y} называется

Невозможно разобрать выражение (Выполняемый файл texvc не найден; См. math/README - справку по настройке.): \Sigma = \mathrm{cov}(\mathbf{X},\mathbf{Y}) = \mathbb{E}\left[(\mathbf{X} - \mathbb{E}\mathbf{X})(\mathbf{Y} - \mathbb{E}\mathbf{Y})^{\top}\right], Невозможно разобрать выражение (Выполняемый файл texvc не найден; См. math/README - справку по настройке.): \Sigma = (\sigma_{ij}) , Невозможно разобрать выражение (Выполняемый файл texvc не найден; См. math/README - справку по настройке.): \sigma_{ij} = \mathrm{cov}(X_i,Y_j) \equiv \mathbb{E}\left[(X_i - \mathbb{E}X_i) (Y_j - \mathbb{E}Y_j)\right],\; i=1,\ldots, n,\; j = 1,\ldots, m , Невозможно разобрать выражение (Выполняемый файл texvc не найден; См. math/README - справку по настройке.): \mathbb{E} - математическое ожидание .

Свойства матриц ковариации

• Сокращённая формула для вычисления матрицы ковариации:

Невозможно разобрать выражение (Выполняемый файл texvc не найден; См. math/README - справку по настройке.): \mathrm{cov}(\mathbf{X}) = \mathbb{E}\left[\mathbf{X} \mathbf{X}^{\top}\right] - \mathbb{E}[\mathbf{X}] \cdot \mathbb{E}\left[\mathbf{X}^{\top}\right] . Невозможно разобрать выражение (Выполняемый файл texvc не найден; См. math/README - справку по настройке.): \mathrm{cov}(\mathbf{X}) \ge 0 .

• Смена масштаба:

Невозможно разобрать выражение (Выполняемый файл texvc не найден; См. math/README - справку по настройке.): \mathrm{cov}\left(\mathbf{a}^{\top} \mathbf{X}\right) = \mathbf{a}^{\top} \mathrm{cov}(\mathbf{X}) \mathbf{a},\; \forall \mathbf{a} \in \mathbb{R}^n .

• Если случайные векторы Невозможно разобрать выражение (Выполняемый файл texvc и Невозможно разобрать выражение (Выполняемый файл texvc нескоррелированы (Невозможно разобрать выражение (Выполняемый файл texvc ), то

Невозможно разобрать выражение (Выполняемый файл texvc не найден; См. math/README - справку по настройке.): \mathrm{cov}(\mathbf{X} + \mathbf{Y}) = \mathrm{cov}(\mathbf{X}) + \mathrm{cov}(\mathbf{Y}) .

• Матрица ковариации аффинного преобразования :

Невозможно разобрать выражение (Выполняемый файл texvc не найден; См. math/README - справку по настройке.): \mathrm{cov}\left(\mathbf{A} \mathbf{X} + \mathbf{b}\right) = \mathbf{A} \mathrm{cov}(\mathbf{X}) \mathbf{A}^{\top} ,

где Невозможно разобрать выражение (Выполняемый файл texvc не найден; См. math/README - справку по настройке.): \mathbf{A} - произвольная матрица размера Невозможно разобрать выражение (Выполняемый файл texvc не найден; См. math/README - справку по настройке.): n \times n , а Невозможно разобрать выражение (Выполняемый файл texvc не найден; См. math/README - справку по настройке.): \mathbf{b}\in \mathbb{R}^n .

• Перестановка аргументов:

Невозможно разобрать выражение (Выполняемый файл texvc не найден; См. math/README - справку по настройке.): \mathrm{cov}(\mathbf{X},\mathbf{Y}) = \mathrm{cov}(\mathbf{Y},\mathbf{X})^{\top}

• Матрица ковариации аддитивна по каждому аргументу:

Невозможно разобрать выражение (Выполняемый файл texvc не найден; См. math/README - справку по настройке.): \mathrm{cov}(\mathbf{X}_1 + \mathbf{X}_2,\mathbf{Y}) = \mathrm{cov}(\mathbf{X}_1,\mathbf{Y}) + \mathrm{cov}(\mathbf{X}_2,\mathbf{Y}) , Невозможно разобрать выражение (Выполняемый файл texvc не найден; См. math/README - справку по настройке.): \mathrm{cov}(\mathbf{X},\mathbf{Y}_1 + \mathbf{Y}_2) = \mathrm{cov}(\mathbf{X},\mathbf{Y}_1) + \mathrm{cov}(\mathbf{X},\mathbf{Y}_2) .

• Если Невозможно разобрать выражение (Выполняемый файл texvc не найден; См. math/README - справку по настройке.): \mathbf{X} и Невозможно разобрать выражение (Выполняемый файл texvc не найден; См. math/README - справку по настройке.): \mathbf{Y} независимы, то

Невозможно разобрать выражение (Выполняемый файл texvc не найден; См. math/README - справку по настройке.): \mathrm{cov}(\mathbf{X},\mathbf{Y}) = \mathbf{0} .

Условная ковариационная матрица

Ковариационная матрица случайного вектора является характеристикой его распределения. В случае (многомерного) нормального распределения математическое ожидание вектора и его ковариационная матрица полностью определяют его распределение. Характеристиками условного распределения одного случайного вектора при условии заданного значения другого случайного вектора являются соответственно условное математическое ожидание (функция регрессии) и условная ковариационная матрица.

Пусть случайные векторы Невозможно разобрать выражение (Выполняемый файл texvc и Невозможно разобрать выражение (Выполняемый файл texvc имеют совместное нормальное распределение с математическими ожиданиями Невозможно разобрать выражение (Выполняемый файл texvc не найден; См. math/README - справку по настройке.): \mu_X, \mu_Y , ковариационными матрицами Невозможно разобрать выражение (Выполняемый файл texvc не найден; См. math/README - справку по настройке.): V_X, V_Y и матрицей ковариаций Невозможно разобрать выражение (Выполняемый файл texvc не найден; См. math/README - справку по настройке.): C_{XY} . Это означает, что объединенный случайный вектор Невозможно разобрать выражение (Выполняемый файл texvc не найден; См. math/README - справку по настройке.): \boldsymbol Z = \begin{bmatrix} \boldsymbol X \\ \boldsymbol Y \end{bmatrix} подчиняется многомерному нормальному распределению с вектором математического ожидания Невозможно разобрать выражение (Выполняемый файл texvc не найден; См. math/README - справку по настройке.): \boldsymbol \mu_{Z} = \begin{bmatrix} \boldsymbol \mu_X \\ \boldsymbol \mu_Y \end{bmatrix}, и ковариационной матрицей которую можно представить в виде следующей блочной матрицы

Невозможно разобрать выражение (Выполняемый файл texvc не найден; См. math/README - справку по настройке.): \boldsymbol V_Z = \begin{bmatrix} \boldsymbol V_X & \boldsymbol C_{XY} \\ \boldsymbol C_{YX} & \boldsymbol V_{Y} \end{bmatrix} где Невозможно разобрать выражение (Выполняемый файл texvc не найден; См. math/README - справку по настройке.): C_{YX}=C^T_{XY}

Тогда случайный вектор Невозможно разобрать выражение (Выполняемый файл texvc не найден; См. math/README - справку по настройке.): Y при заданном значении случайного вектора Невозможно разобрать выражение (Выполняемый файл texvc не найден; См. math/README - справку по настройке.): X имеет нормальное распределение (условное) со следующим условным математическим ожиданием и условной ковариационной матрицей

Невозможно разобрать выражение (Выполняемый файл texvc не найден; См. math/README - справку по настройке.): E(Y|X=x)=\mu_Y+C_{YX}V^{-1}_X(x-\mu_X), \qquad V(Y|X=x)=V_Y-C_{YX}V^{-1}_XC_{XY}

Первое равенство определяет функцию линейной регрессии (зависимости условного математического ожидания вектора Невозможно разобрать выражение (Выполняемый файл texvc не найден; См. math/README - справку по настройке.): Y от заданного значения x случайного вектора Невозможно разобрать выражение (Выполняемый файл texvc не найден; См. math/README - справку по настройке.): X ), причем матрица Невозможно разобрать выражение (Выполняемый файл texvc не найден; См. math/README - справку по настройке.): C_{XY}V^{-1} - матрица коэффициентов регрессии.

Условная ковариационная матрица представляет собой матрицу ковариаций случайных ошибок линейных регрессий компонентов вектора Невозможно разобрать выражение (Выполняемый файл texvc не найден; См. math/README - справку по настройке.): Y на вектор Невозможно разобрать выражение (Выполняемый файл texvc не найден; См. math/README - справку по настройке.): X .

В случае если Невозможно разобрать выражение (Выполняемый файл texvc не найден; См. math/README - справку по настройке.): Y - обычная случайная величина (однокомпоненнтный вектор), условная ковариационная матрица - это условная дисперсия (по существу - случайной ошибки регрессии Невозможно разобрать выражение (Выполняемый файл texvc не найден; См. math/README - справку по настройке.): Y на вектор Невозможно разобрать выражение (Выполняемый файл texvc не найден; См. math/README - справку по настройке.): X )

Напишите отзыв о статье "Ковариационная матрица"

Примечания

Отрывок, характеризующий Ковариационная матрица

Фиолетовые глаза очень внимательно несколько секунд меня изучали, а потом прозвучал неожиданный ответ:
– Я так и думала – ты ещё спишь... Но я не могу тебя разбудить – тебя разбудят другие. И это будет не сейчас.
– А когда? И кто будут эти – другие?..
– Твои друзья... Но ты не знаешь их сейчас.
– А как же я буду знать, что они друзья, и что это именно они? – озадаченно спросила я.
– Ты вспомнишь, – улыбнулась Вэя.
– Вспомню?! Как же я могу вспомнить то, чего ещё нет?..– ошарашено уставилась на неё я.
– Оно есть, только не здесь.
У неё была очень тёплая улыбка, которая её необыкновенно красила. Казалось, будто майское солнышко выглянуло из-за тучки и осветило всё вокруг.
– А ты здесь совсем одна, на Земле? – никак не могла поверить я.
– Конечно же – нет. Нас много, только разных. И мы живём здесь очень давно, если ты это хотела спросить.
– А что вы здесь делаете? И почему вы сюда пришли? – не могла остановиться я.
– Мы помогаем, когда это нужно. А откуда пришли – я не помню, я там не была. Только смотрела, как ты сейчас... Это мой дом.
Девчушка вдруг стала очень печальной. И мне захотелось хоть как-то ей помочь, но, к моему большому сожалению, пока это было ещё не в моих маленьких силах...
– Тебе очень хочется домой, правда же? – осторожно спросила я.
Вэя кивнула. Вдруг её хрупкая фигурка ярко вспыхнула... и я осталась одна – «звёздная» девочка исчезла. Это было очень и очень нечестно!.. Она не могла так просто взять и уйти!!! Такого никак не должно было произойти!.. Во мне бушевала самая настоящая обида ребёнка, у которого вдруг отняли самую любимую игрушку... Но Вэя не была игрушкой, и, если честно, то я должна была быть ей благодарна уже за то, что она вообще ко мне пришла. Но в моей «исстрадавшейся» душе в тот момент крушил оставшиеся крупицы логики настоящий «эмоциональный шторм», а в голове царил полный сумбур... Поэтому ни о каком «логическом» мышлении в данный момент речи идти не могло, и я, «убитая горем» своей страшной потери, полностью «окунулась» в океан «чёрного отчаяния», думая, что моя «звёздная» гостья больше уже никогда ко мне не вернётся... Мне о скольком ещё хотелось её спросить! А она так неожиданно взяла и исчезла... И тут вдруг мне стало очень стыдно... Если бы все желающие спрашивали её столько же, сколько хотела спросить я, у неё, чего доброго, не оставалось бы время жить!.. Эта мысль как-то сразу меня успокоила. Надо было просто с благодарностью принимать всё то чудесное, что она успела мне показать (даже если я ещё и не всё поняла), а не роптать на судьбу за недостаточность желаемого «готовенького», вместо того, чтобы просто пошевелить своими обленившимися «извилинами» и самой найти ответы на мучившие меня вопросы. Я вспомнила бабушку Стеллы и подумала, что она была абсолютно права, говоря о вреде получения чего-то даром, потому что ничего не может быть хуже, чем привыкший всё время только брать человек. К тому же, сколько бы он ни брал, он никогда не получит радости того, что он сам чего то достиг, и никогда не испытает чувства неповторимого удовлетворения оттого, что сам что-либо создал.
Я ещё долго сидела одна, медленно «пережёвывая» данную мне пищу для размышлений, с благодарностью думая об удивительной фиолетовоглазой «звёздной» девчушке. И улыбалась, зная, что теперь уже точно ни за что не остановлюсь, пока не узнаю, что же это за друзья, которых я не знаю, и от какого такого сна они должны меня разбудить... Тогда я не могла ещё даже представить, что, как бы я не старалась, и как бы упорно не пробовала, это произойдёт только лишь через много, много лет, и меня правда разбудят мои «друзья»... Только это будет совсем не то, о чём я могла когда-либо даже предположить...
Но тогда всё казалось мне по-детски возможным, и я со всем своим не сгорающим пылом и «железным» упорством решила пробовать...
Как бы мне ни хотелось прислушаться к разумному голосу логики, мой непослушный мозг верил, что, несмотря на то, что Вэя видимо совершенно точно знала, о чём говорила, я всё же добьюсь своего, и найду раньше, чем мне было обещано, тех людей (или существ), которые должны были мне помочь избавиться от какой-то там моей непонятной «медвежьей спячки». Сперва я решила опять попробовать выйти за пределы Земли, и посмотреть, кто там ко мне придёт... Ничего глупее, естественно, невозможно было придумать, но так как я упорно верила, что чего-то всё-таки добьюсь – приходилось снова с головой окунаться в новые, возможно даже очень опасные «эксперименты»...
Моя добрая Стелла в то время почему-то «гулять» почти перестала, и, непонятно почему, «хандрила» в своём красочном мире, не желая открыть мне настоящую причину своей грусти. Но мне всё-таки как-то удалось уговорить её на этот раз пойти со мной «прогуляться», заинтересовав опасностью планируемого мною приключения, и ещё тем, что одна я всё же ещё чуточку боялась пробовать такие, «далеко идущие», эксперименты.
Я предупредила бабушку, что иду пробовать что-то «очень серьёзное», на что она лишь спокойно кивнула головой и пожелала удачи (!)... Конечно же, это меня «до косточек» возмутило, но решив не показывать ей своей обиды, и надувшись, как рождественский индюк, я поклялась себе, что, чего бы мне это не стоило, а сегодня что-то да произойдёт!... Ну и конечно же – оно произошло... только не совсем то, чего я ожидала.
Стелла уже ждала меня, готовая на «самые страшные подвиги», и мы, дружно и собранно устремились «за предел»...
На этот раз у меня получилось намного проще, может быть потому, что это был уже не первый раз, а может ещё и потому, что был «открыт» тот же самый фиолетовый кристалл... Меня пулей вынесло за предел ментального уровня Земли, и вот тут-то я поняла, что чуточку перестаралась... Стелла, по общему договору, ждала на «рубеже», чтобы меня подстраховать, если увидит, что что-то пошло не так... Но «не так» пошло уже с самого начала, и там, где я в данный момент находилась, она, к моему великому сожалению, уже не могла меня достать.

Корреляционным моментом случайных величин Х и У называют математическое ожидание произведения этих величин:

Для дискретных величин:

Для непрерывных:

Корреляционный момент характеризует наличие (отсутствие) связи между величинами X и У.

Свойства ковариации

Пусть X,Y - две случайные величины, определённые на одном и том же вероятностном пространстве. Тогда их ковариация определяется следующим образом:

1)ковариация симметрична

cov(X,Y)=cov(Y,X)

2) В силу линейности математического ожидания, ковариация может быть записана как:

3) Ковариация случайной величины с собой равна дисперсии:

4) Если X,Y независимые случайные величины, то

Ковариационная матрица- это матрица, составленная из попарных ковариаций элементов одного или двух случайных векторов.

Ковариационная матрица случайного вектора - квадратная симметрическая матрица, на диагонали которой располагаются дисперсии компонент вектора, а внедиагональные элементы - ковариациями между компонентами.

3.10 Коэффициент корреляции. Свойства. Линейная корреляционная зависимость.

Коэффициент корреляции-это мера линейной зависимости двух случайных величин.

Где K xy обозначает ковариацию, а D- дисперсию.

Свойства:

2) Коэффициент корреляции равен +- 1 тогда и только тогда, когда X и Y линейно зависимы:

3) Если X,Y независимые случайные величины, то q X,Y = 0. Обратное, вообще говоря, неверно.

Корреляционная зависимость между х и у называется линейной, если обе линии регрессии (по у и у по х) являются прямыми.

3.11 Двумерное нормальное распределение. Центр рассеивания. Формула вероятности

попадания в прямоугольник.

Двумерный случайный вектор имеет нормальное распределение, если его плотность равна

Средние значения (математические ожидания) М[x]=a M[Y]=b определяют точку (a,b) , называемую центром совместного распределения вероятностей или центром рассеивания.

Формула вероятности попадания…

3.12 Условное мат. Ожидание. Регрессия. Коэффициент линейной регрессии.

Условное мат.ожидание- это среднее значение случайной величины относительно условного распределения.

Функция g(Х) = α + βХ называется наилучшим приближением Y в смысле метода наименьших квадратов, если математическое ожидание М(Y - g(Х))2 принимает наименьшее возможное значение; функцию g(Х) называют среднеквадратической регрессией Y на Х.

Коэффициенты линейной регрессии показывают скорость изменения зависимой переменной по данному фактору, при фиксированных остальных факторах (в линейной модели эта скорость постоянна):

5.1 Неравенство Чебышёва

Пусть случайная величина

определена на вероятностном пространстве

а её математическое ожидание и дисперсия конечны. Тогда

Где а больше 0.

В частности, случайная величина с конечной дисперсией отклоняется от среднего больше, чем на 2 стандартных отклонения, с вероятностью меньше 25%. Она отклоняется от среднего на 3 стандартных отклонения с вероятностью меньше 11,2%.

Мы рассказали о сути преобразования девиации и его применении к матрице квадратов расстояний. Во второй немного напустили туману на спектры простых геометрических наборов.

В данной статье мы постараемся раскрыть смысл преобразования девиации, для чего обратимся к прикладным задачам, связанным с обработкой и анализом данных. Покажем, как связано преобразование девиации матрицы расстояний со статистикой - с дисперсией , корреляцией и ковариацией .

7. Центрирование и нормирование одномерных координат

Разминку проведем на простом и всем понятном - центрировании и нормировании данных. Пусть у нас есть ряд чисел . Тогда операция центрирования сводится к нахождению среднего (центроида набора)

И построению нового набора как разности между исходными числами и их центроидом (средним):

Центрирование - это первый шаг к собственной системе координат (ССК) исходного набора, поскольку сумма центрированных координат равна 0. Вторым шагом является нормирование суммы квадратов центрированных координат к 1. Для выполнения данной операции нам нужно вычислить эту сумму (точнее среднее):

Теперь мы можем построить ССК исходного набора как совокупность собственного числа S и нормированных чисел (координат):

Квадраты расстояний между точками исходного набора определяются как разности квадратов компонент собственного вектора, умноженные на собственное число. Обратим внимание на то, что собственное число S оказалось равно дисперсии исходного набора (7.3).

Итак, для любого набора чисел можно определить собственную систему координат, то есть выделить значение собственного числа (она же дисперсия) и рассчитать координаты собственного вектора путем центрирования и нормирования исходных чисел. Круто.

Упражнение для тех, кто любит «щупать руками». Построить ССК для набора {1, 2, 3, 4}.

Ответ.

Собственное число (дисперсия): 1.25.
Собственный вектор: {-1.342, -0.447, 0.447, 1.342}.

8. Центрирование и ортонормирование многомерных координат

Что, если вместо набора чисел нам задан набор векторов - пар, троек и прочих размерностей чисел. То есть точка (узел) задается не одной координатой, а несколькими. Как в этом случае построить ССК?

Да, можно построить матрицу квадратов расстояний, потом определить матрицу девиации и рассчитать для нее спектр. Но об этом мы узнали не так давно . Обычно поступали (и поступают) по другому.

Введем обозначение компонент набора. Нам заданы точки (узлы, переменные, векторы, кортежи) и каждая точка характеризуется числовыми компонентами . Обращаем внимание, что второй индекс - это номер компоненты (столбцы матрицы), а первый индекс - номер точки (узла) набора (строки матрицы).

Мы получили матрицу центрированных данных (МЦД) .
Следующим шагом нам как будто бы надо вычислить дисперсию для каждой компоненты и их нормировать. Но мы этого делать не будем. Потому что хотя таким образом мы действительно получим нормированные векторы, но нам-то нужно, чтобы эти векторы были независимыми, то есть ортонормированными . Операция нормирования не поворачивает вектора (а лишь меняет их длину), а нам нужно развернуть векторы перпендикулярно друг другу. Как это сделать?

Правильный (но пока бесполезный) ответ - рассчитать собственные вектора и числа (спектр). Бесполезный потому, что мы не построили матрицу, для которой можно считать спектр. Наша матрица центрированных данных (МЦД) не является квадратной - для нее собственные числа не рассчитаешь. Соответственно, нам надо на основе МЦД построить некую квадратную матрицу. Это можно сделать умножением МЦД на саму себя (возвести в квадрат).

Но тут - внимание! Неквадратную матрицу можно возвести в квадрат двумя способами - умножением исходной на транспонированную . И наоборот - умножением транспонированной на исходную. Размерность и смысл двух полученных матриц - разный.

Умножая МЦД на транспонированную, мы получаем матрицу корреляции:

Из данного определения (есть и другие) следует, что элементы матрицы корреляции являются скалярными произведениями центрированных векторов. Соответственно, элементы главной диагонали отражают квадрат длины данных векторов.
Значения матрицы - не нормированы (обычно их нормируют, но для наших целей этого не нужно). Размерность матрицы корреляции совпадает с количеством исходных точек (векторов).

Теперь переставим перемножаемые в (8.1) матрицы местами и получим матрицу ковариации (опять же опускаем множитель 1/(1-n) , которым обычно нормируют значения ковариации):

Здесь перемножаются компоненты (а не векторы). Соответственно, размерность матрицы ковариации равна количеству исходных компонент. Для пар чисел матрица ковариации имеет размерность 2x2, для троек - 3x3 и т.д.

Почему важна размерность матриц корреляции и ковариации? Фишка в том, что поскольку матрицы корреляции и ковариации происходят из произведения одного и того же вектора, то они имеют один и тот же набор собственных чисел, один и тот же ранг (количество независимых размерностей) матрицы. Как правило, количество векторов (точек) намного превышает количество компонент. Поэтому о ранге матриц судят по размерности матрицы ковариации.

Диагональные элементы ковариации отражают дисперсию компонент. Как мы видели выше, дисперсия и собственные числа тесно связаны. Поэтому можно сказать, что в первом приближении собственные числа матрицы ковариации (а значит, и корреляции) равны диагональным элементам (а если межкомпонентная дисперсия отсутствует, то равны в любом приближении).

Если стоит задача найти просто спектр матриц (собственные числа), то удобнее ее решать для матрицы ковариации, поскольку, как правило, их размерность небольшая. Но если нам необходимо найти еще и собственные вектора (определить собственную систему координат) для исходного набора, то необходимо работать с матрицей корреляции, поскольку именно она отражает перемножение векторов. Возможно, что оптимальным алгоритмом является сочетание диагонализаций двух матриц - сначала нашли собственные числа для ковариации и потом на их основе определили собственные вектора матрицы корреляции.

Ну и раз уж мы так далеко зашли, то упомянем, что пресловутый метод главных компонент как раз и состоит в расчете спектра матрицы ковариации/корреляции для заданного набора векторных данных. Найденные компоненты спектра располагаются вдоль главных осей эллипсоида данных. Из нашего рассмотрения это вытекает потому, что главные оси - это и есть те оси, дисперсия (разброс) данных по которым максимален, а значит, и максимально значение спектра.

Правда, могут быть и отрицательные дисперсии, и тогда аналогия с эллипсоидом (псевдоэллипсоидом?) уже не очевидна.

9. Матрица девиации расстояний - это матрица корреляции векторов

Все это прекрасно, но причем здесь преобразование девиации?

Рассмотрим ситуацию, когда нам известен не набор чисел (векторов), характеризующих некоторые точки (узлы), а набор расстояний между точками (причем между всеми). Достаточно ли данной информации для определения ССК (собственной системы координат) набора?

Ответ мы дали в первой части - да, вполне. Здесь же мы покажем, что построенная по формуле (1.3") матрица девиации квадратов расстояний и определенная нами выше матрица корреляции центрированных векторов (8.1) - это одна и та же матрица .

Как такое получилось? Сами в шоке. Чтобы в этом убедиться, надо подставить выражение для элемента матрицы квадратов расстояний

В формулу преобразования девиации:

Отметим, что среднее значение матрицы квадратов расстояний отражает дисперсию исходного набора (при условии, что расстояния в наборе - это сумма квадратов компонент):

Подставляя (9.1) и (9.3) в (9.2), после несложных сокращений приходим к выражению для матрицы корреляции (8.1):

Итак, мы убедились, что применяя операцию девиации к матрице евклидовых расстояний, мы получаем известную матрицу корреляции. Ранг матрицы корреляции совпадает с рангом матрицы ковариации (количеством компонент евклидового пространства). Именно это обстоятельство позволяет нам строить спектр и собственную систему координат для исходных точек на основе матрицы расстояний.

Для произвольной матрицы расстояний (необязательно евклидовой) потенциальный ранг (количество измерений) на единицу меньше количества исходных векторов. Расчет спектра (собственной системы координат) позволяет определить основные (главные) компоненты, влияющие на расстояния между точками (векторами).

Матрица расстояний между городами, например, заведомо неевклидова, - никаких компонент (характеристик городов) не задано. Преобразование девиации тем не менее позволяет определить спектр такой матрицы и собственные координаты городов.

Но уже не в этой статье. Здесь пока все, спасибо за уделенное время.