Меню Рубрики

Факторный анализ как метод многомерного шкалирования

Встречаются такие ситуации, в которых случайная изменчивость была представлена одной-двумя случайными пе­ременными, признаками.

Например, при исследовании статистической совокупности людей нас интересуют рост и вес. В этой ситуации, сколько бы людей в статистиче­ской совокупности ни было, мы всегда можем построить диаграмму рассея­ния и увидеть всю картину в целом. Однако если признаков три, например, добавляется признак — возраст человека, тогда диаграмма рассеяния долж­на быть построена в трехмерном пространстве. Представить совокупность точек в трехмерном пространстве уже довольно затруднительно.

В реально­сти на практике каждое наблюдение представляется не одним-двумя-тремя числами, а некоторым заметным набором чисел, которые описывают де­сятки признаков. В этой ситуации для построения диаграммы рассеяния потребовалось бы рассматривать многомерные пространства.

Раздел статистики, посвященный исследованиям экспе­риментов с многомерными наблюдениями, называется многомерным стати­стическим анализом.

Измерение сразу нескольких признаков (свойств объекта) в одном экс­перименте в общем более естественно, чем измерение какого-либо одного, двух. Поэтому потенциально многомерный статистический анализ имеет широкое поле для применения.

К многомерному статистическому анализу относят следую­щие разделы:

Факторный анализ

При исследовании сложных объектов и систем (например, в психологии, биологии, социологии и т. д.) величины (факторы), определяющие свойства этих объектов, очень часто невозможно измерить непосредственно, а ино­гда неизвестно даже их число и содержательный смысл. Но для измерения могут быть доступны иные величины, так или иначе зависящие от инте­ресующих факторов. При этом когда влияние неизвестного интересующего нас фактора проявляется в нескольких измеряемых признаках, эти призна­ки могут обнаруживать тесную связь между собой и общее число факторов может быть гораздо меньше, чем число измеряемых переменных.

Для обнаружения факторов, влияющих на измеряемые переменные, ис­пользуются методы факторного анализа.

Примером применения факторного анализа может служить изучение свойств личности на основе психологических тестов. Свойства личности не поддаются прямому измерению, о них можно судить только по поведе­нию человека или характеру ответов на те или иные вопросы. Для объяс­нения результатов опытов их подвергают факторному анализу, который и позволяет выявить те личностные свойства, которые оказывают влияние на поведение испытуемых индивидуумов.

В основе различных моделей факторного анализа лежит следующая ги­потеза: наблюдаемые или измеряемые параметры являются лишь косвенны­ми характеристиками изучаемого объекта или явления, в действительности существуют внутренние (скрытые, латентные, не наблюдаемые непосред­ственно) параметры и свойства, число которых мало и которые определяют значения наблюдаемых параметров. Эти внутренние параметры принято на­зывать факторами.

Задачей факторного анализа является представление наблюдаемых параметров в виде линейных комбинаций факторов и, быть может, некоторых дополнительных, несущественных возмущений.

Первый этап факторного анализа, как правило, – это выбор новых признаков, которые являются линейными комбинациями прежних и «вби­рают» в себя большую часть общей изменчивости наблюдаемых данных, а потому передают большую часть информации, заключенной в первоначаль­ных наблюдениях. Обычно это осуществляется с помощью метода главных компонент,хотя иногда используют и другие приемы (метод максимального правдоподобия).

Метод главных компонент сводится к выбору новой ортогональной си­стемы координат в пространстве наблюдений. В качестве первой главной компоненты избирают направление, вдоль которого массив наблюдений имеет наибольший разброс, выбор каждой последующей главной компонен­ты происходит так, чтобы разброс наблюдений был максимальным и чтобы эта главная компонента была ортогональна другим главным компонентам, выбранным ранее. Однако факторы, полученные методом главных компо­нент, обычно не поддаются достаточно наглядной интерпретации. Поэтому следующий шаг факторного анализа — преобразование, вращение факторов для облегчения интерпретации.

Дискриминантный анализ

Пусть имеется совокупность объектов, разбитая на несколько групп, и для каждого объекта можно определить, к какой группе он относится. Для каждого объекта имеются измерения нескольких количественных характе­ристик. Необходимо найти способ, как на основании этих характеристик можно узнать группу, к которой относится объект. Это позволит указывать группы, к которым относятся новые объекты той же совокупности. Для решения поставленной задачи применяются методы дискриминантного анализа.

Дискриминантный анализ это раздел статистики, содержанием которого является разработка методов решения задач различения (дискриминации) объектов наблюдения по определенным признакам.

Рассмотрим некоторые примеры.

• Дискриминантный анализ оказывается удобным при обработке ре­зультатов тестирования отдельных лиц, когда дело касается приема на ту или иную должность. В этом случае необходимо всех кандида­тов разделить на две группы: «подходит» и «не подходит».

• Использование дискриминантного анализа возможно банковской ад­министрацией для оценки финансового состояния дел клиентов при выдаче им кредита. Банк по ряду признаков классифицирует их на надежных и ненадежных.

• Дискриминантный анализ может быть привлечен в качестве метода разбиения совокупности предприятий на несколько однородных групп по значениям каких-либо показателей производственно-хозяйствен­ной деятельности.

Методы дискриминантного анализа позволяют строить функции изме­ряемых характеристик, значения которых и объясняют разбиение объектов на группы. Желательно, чтобы этих функций (дискриминантных призна­ков) было немного. В этом случае результаты анализа легче содержательно толковать.

Благодаря своей простоте особую роль играет линейный дискриминант­ный анализ, в котором классифицирующие признаки выбираются как ли­нейные функции от первичных признаков.

Кластерный анализ

Методы кластерного анализа позволяют разбить изучаемую совокуп­ность объектов на группы «схожих» объектов, называемых кластерами.

Слово кластер английского происхождения — cluster переводится как кисть, пучок, группа, рой, скопление.

Кластерный анализ решает следующие задачи:

• проводит классификацию объектов с учетом всех тех признаков, которые характеризуют объект. Сама возможность классификации продвигает нас к более углубленному пониманию рассматриваемой совокупности и объектов, входящих в нее;

• ставит задачу проверки наличия априорно заданной структуры или классификации в имеющейся совокупности. Такая проверка дает воз­можность воспользоваться стандартной гипотетико-дедуктивной схе­мой научных исследований.

Большинство методов кластеризации (иерархической группы) являются агломеративными (объединительными) — они начинают с создания эле­ментарных кластеров, каждый из которых состоит ровно из одного исходно­го наблюдения (одной точки), а на каждом последующем шаге происходит объединение двух наиболее близких кластеров в один.

Момент остановки этого процесса может задаваться исследователем (на­пример, указанием требуемого числа кластеров или максимального рассто­яния, при котором достигнуто объединение).

Графическое изображение процесса объединения кластеров может быть получено с помощью дендрограммы — дерева объединения кластеров.

Рассмотрим следующий пример. Проведем классификацию пяти предприятий, каждое из которых характеризуется тремя переменными:

х1– среднегодовая стоимость основных производственных фондов, млрд руб.;

х2– материальные затраты на 1 руб. произведенной продукции, коп.;

х3– объем произведенной продукции, млрд руб.

В таблице приведены соответствующие значения для каждого из предприятий:

Исходные данные
предприятие х1 х2 х3
№ 1 94,0
№ 2 75,2
№ 3 81,0
№ 4 76,9
№ 5 75,9

На рис. 5 приведена искомая дендрограмма, демонстрирующая объединение предприятий-кластеров на базе оценки евклидова расстояния между ними в пространстве переменных х1 , х2 и х3.

Изучение дендрограммы на рис. 5 приводит к следующим выводам. Среди пяти предприятий, если следовать слева направо, можно обнаружить следующие два кластера:

кластер № 1: предприятия: № 5, № 4, № 2;

кластер № 2: предприятия: № 3, № 1.

Рис. 5. Дендрограмма пяти предприятий

Обратными агломеративным методам кластеризации являются дивизивные методы. В этом подходе исходят из того, что вначале все объекты относят к одному кластеру, далее по определенным правилам появляют­ся два и более кластера и т. д. вплоть до количества кластеров, равного количеству объектов.

Результаты кластеризации зависят от выбранного метода, и эта зависи­мость тем сильнее, чем менее явно изучаемая совокупность разделяется на группы объектов. Поэтому к результатам вычислительной кластеризации следует относиться с осторожностью.

Многомерное шкалирование

Во многих областях исследования (например, в психологии, биологии, социологии, лингвистике и т. д.) бывает затруднительно или невозможно проводить непосредственное измерение интересующих исследователя ха­рактеристик объектов из изучаемой совокупности, зато можно экспертным или каким-то другим путем оценить степень сходства или различия между парами объектов. В этом случае для интерпретации получаемых данных применяется метод многомерного шкалирования.

Этот метод позволяет представить совокупность интересующих иссле­дователя объектов в виде некоторого набора точек многомерного простран­ства некоторой небольшой размерности, при этом каждому объекту соот­ветствует одна точка. Координаты точек истолковываются как значения неких характеристик исходных объектов, которые и объясняют их свойства или взаимоотношения.

Например, нас интересуют такие объекты, как города, в которых про­живают люди. Город в целом характеризуется огромным количеством при­знаков. К важнейшим из признаков относятся: географическое положение, климат и политическая принадлежность.

В случае удачного шкалирования исследователь получает возможность представить изучаемую совокупность объектов наглядно.

В методе многомерного шкалирования применяют нехарактерную для статистики в целом терминологию: стимул, шкала, эксперт и др.

Под стимуломпонимается некоторый признак, свойство, характер­ная особенность объекта, стимул непосредственно не измеряется.

Шкала одна из осей теоретического пространства, она харак­теризует численно (метрически) тот или иной признак, свойство, характерную особенность объекта.

Эксперт — субъект, который считается признанным авторитетом в оценке признаков, свойств и характерных особенностей исследуе­мых объектов.

Методы контроля качества

Методы контроля качества предназначены для контроля качества вы­пускаемой продукции с целью выявления нарушений и «узких мест» в ор­ганизации производства и в технологических процессах.

Повсеместное применение научно обоснованных методов контроля ка­чества явилось немаловажным фактором успехов стран-лидеров мировой экономики, в особенности Японии.

В последнее время новые методы более эффективного управления с целью повышения качества получили название «шесть сигм». Они рассмат­риваются как формула успеха большинства транснациональных корпора­ций.

В отличие от большинства описанных выше методов многомерного ана­лиза методы контроля качества не требуют трудоемких вычислений — они исключительно просты и наглядны. Простота, наглядность и эффек­тивность статистических методов контроля качества сделали возможным и оправданным их повсеместное применение в передовых странах, вплоть до мастеров, а иногда и отдельных рабочих.

Не нашли то, что искали? Воспользуйтесь поиском:

Лучшие изречения: Да какие ж вы математики, если запаролиться нормально не можете. 8511 — | 7374 — или читать все.

193.124.117.139 © studopedia.ru Не является автором материалов, которые размещены. Но предоставляет возможность бесплатного использования. Есть нарушение авторского права? Напишите нам | Обратная связь.

Отключите adBlock!
и обновите страницу (F5)

очень нужно

источник

С появлением персональных компьютеров и стремительным ростом как компьютерной, так и программной индустрии в последние десятилетия все чаще и чаще человек начинает использовать новые методики в различных сферах жизни. Так, с появлением статистических пакетов, таких как Statistica, Spss, Stadia, появилась возможность оперативного решения статистических задач в медицине, экономике, зоологии, нефтегазовой отрасли и др. за считанные минуты.

В данной статье речь пойдет о двух статистических методах: многомерном методе шкалирования и кластеризации. В реальности эти методики в основном используются раздельно независимо друг от друга. В данной работе предлагается их использование совместно, так как именно это позволит получить больший эффект от реализации этих методов в исследовании.

Для начала дадим определения этим методам. Кластеризация – это классификация объектов на основе их сходства друг с другом, когда принадлежность обучающих объектов каким-либо классам не задаётся. Многомерное шкалирование – это математический инструмент, который позволяет изобразить сходства и различия объектов в пространственной карте. И тот, и другой метод объединяет графическое представление полученного решения. В этом и состоит привлекательность этих методов. А что будет, если их совместить? Для ответа на этот вопрос потребуется разобрать эти методы более детально.

Алгоритмы кластеризации очень похожи на алгоритмы классификации, но есть и принципиальные различия. Так, например, алгоритмы классификации позволяют отнести в определенный класс каждый объект с заранее известными параметрами, полученными на этапе обучения. В кластеризации разбиваются множества объектов на кластеры, параметры которых заранее неизвестны. В классификации количество классов строго ограничено, а в кластеризации число кластеров может быть как произвольным, так и фиксированным. Таким образом, отличием кластерного анализа от других методов классификации является отсутствие обучающей выборки (классификация без обучения), а его достоинством – возможность производить разбиение объектов не по одному параметру, а по ряду признаков.

Выделяют две группы методов кластерного анализа: иерархические и неиерархические. Различие состоит в выдаваемых на выходе данных. Иерархические алгоритмы (рис. 1) на выходе выдают некую иерархию кластеров, и мы вольны, выбрать любой уровень этой иерархии для того, чтобы интерпретировать результаты алгоритма. Неиерархические – это, фактически, все алгоритмы, которые на выходе иерархию не выдают (или выбор интерпретации происходит не по уровню иерархии).

В свою очередь иерархические методы подразделяются на агломеративные и итеративные дивизимные процедуры.

Агломеративные процедуры начинают свое выполнение с того, что каждый объект заносят в свой собственный кластер и по мере выполнения объединяют кластеры до тех пор, пока в конце не получается один кластер, включающий в себя все объекты набора.

Рис. 1. Иерархическая кластеризация

Итеративные дивизимные процедуры, напротив, сначала относят все объекты в один кластер и затем разделяют этот кластер до тех пор, пока каждый объект не окажется в своем собственном кластере, исходя из задаваемых условий разбиения, которые могут быть изменены пользователем для достижения желаемого качества.

Основными методами иерархического кластерного анализа являются метод ближнего соседа, метод полной связи, метод средней связи и метод Варда.

Неиерархических методов больше, хотя работают они на одних и тех же принципах. По сути, они представляют собой итеративные методы дробления исходной совокупности. В процессе деления формируются новые кластеры, и так до тех пор, пока не будет выполнено правило остановки. Между собой методы различаются выбором начальной точки, правилом формирования новых кластеров и правилом остановки. Чаще всего используется алгоритм К-средних. Он подразумевает, что аналитик заранее фиксирует количество кластеров в результирующем разбиении.

Методы многомерного шкалирования

Для получения качественного результата многомерного шкалирования необходима информация обо всех или почти всех сходствах между различными комбинациями пар объектов и вычислительная техника. На выходе получается изображение точек, на графике близко расположенных относительно друг друга, если объекты похожи и соответственно далеко друг от друга в случае значительных различий между ними. Таким образом, входная информация для задачи многомерного шкалирования – сведения о попарных сходствах или связях анализируемых объектов (индивидуумов, семей, предприятий, отраслей и т.п.), а выходная – приписанные каждому из объектов числовые значения координат в некоторой вспомогательной (найденной в процессе решения) координатной системе.

Многомерное шкалирование по сути является альтернативой факторному и компонентному анализу. В многомерном шкалировании, так же как и в компонентном анализе, основными данными являются меры близости. При условии, что исходные данные были стандартизированы, корреляции являются значениями сходства, и расстояния вычислены с помощью евклидовой метрики по формуле (1), как метод многомерного шкалирования, так и компонентный анализ в результате воспроизведут идентичный график согласно исследованию Chatfield и Collins [3].

Как в кластер-анализе, так и в многомерном шкалировании используются меры близости. Существует большое количество мер близостей (более 25 разновидностей), и выбор той или иной из них обуславливается содержательными соображениями и спецификой имеющихся данных.

Одной из популярных мер близостей является Евклидово расстояние:

. (1)

Другой мерой близости может быть манхэттенское расстояние, или «расстояние городских кварталов» (city-block), которое является просто средним разностей по координатам. В большинстве случаев данная мера расстояния приводит к таким же результатам, как и для обычного расстояния Евклида, однако для нее влияние отдельных больших разностей (выбросов) уменьшается (т.к. они не возводятся в квадрат). Манхеттенское расстояние определяется следующим образом:

Читайте также:  Как сделать анализ анкетирования пример

(2)

Можно определить и другие метрики, но большинство из них являются частными формами специального класса метрических функций расстояния, известных как метрики Минковского, которые можно найти по формуле:

(3)

Теперь для примера совместим результат, полученный на рис. 1, с многомерным методом шкалирования и представим на рис. 2.

Рис. 2. Многомерное шкалирование и кластер-анализ

Представим, что точки A, B, C, D, E, F и G – это предприятия. Ось x интерпретирована как выручка, а ось y ‒ как прибыль. Овалами точки объединены в кластеры. В результате можно сделать вывод о том, что данные поделены на два кластера: первый – это предприятия с большим объемом выручки (A, B, C и D), второй – с меньшим. В дальнейшем кластеры разбиваются на другие кластеры, которые также можно охарактеризовать следующим образом (таблица). Таким образом, с помощью многомерного шкалирования и кластеризации мы расположили в двумерном пространстве компании, разбили их на группы и описали.

источник

Многомерное шкалирование (МНШ) можно рассматривать как альтернативу факторному анализу (см. Факторный анализ). Целью последнего, вообще говоря, является поиск и интерпретация «латентных (т.е. непосредственно не наблюдаемых) переменных», дающих возможность пользователю объяснить сходства между объектами, заданными точками в исходном пространстве признаков. Для определенности и краткости, далее, как правило, будем говорить лишь о сходствах объектов, имея ввиду, что на практике это могут быть различия, расстояния или степени связи между ними. В факторном анализе сходства между объектами (например, переменными) выражаются с помощью матрицы (таблицы) коэффициентов корреляций. В методе МНШ дополнительно к корреляционным матрицам, в качестве исходных данных можно использовать произвольный тип матрицы сходства объектов. Таким образом, на входе всех алгоритмов МНШ используется матрица, элемент которой на пересечении ее i-й строки и j-го столбца, содержит сведения о попарном сходстве анализируемых объектов (объекта [i] и объекта [j]). На выходе алгоритма МНШ получаются числовые значения координат, которые приписываются каждому объекту в некоторой новой системе координат (во «вспомогательных шкалах», связанных с латентными переменными, откуда и название МНШ), причем размерность нового пространства признаков существенно меньше размерности исходного (за это собственно и идет борьба).

Логика многомерного шкалирования

Логику МНШ можно проиллюстрировать на следующем простом примере. Предположим, что имеется матрица попарных расстояний (т.е. сходства некоторых признаков) между крупными американскими городами. Анализируя матрицу, стремятся расположить точки с координатами городов в двумерном пространстве (на плоскости), максимально сохранив реальные расстояния между ними. Полученное размещение точек на плоскости впоследствии можно использовать в качестве приближенной географической карты США.

В общем случае метод МНШ позволяет таким образом расположить «объекты» (города в нашем примере) в пространстве некоторой небольшой размерности (в данном случае она равна двум), чтобы достаточно адекватно воспроизвести наблюдаемые расстояния между ними. В результате можно «измерить» эти расстояния в терминах найденных латентных переменных. Так, в нашем примере можно объяснить расстояния в терминах пары географических координат Север/Юг и Восток/Запад.

Ориентация осей координат. Как и в Факторном анализе, ориентация осей может быть выбрана произвольной. Возвращаясь к нашему примеру, можно поворачивать карту США произвольным образом, но расстояния между городами при этом не изменятся. Таким образом, окончательная ориентация осей на плоскости или в пространстве является, в большей степени результатом содержательного решения в конкретной предметной области (т.е. решением пользователя, который выберет такую ориентацию осей, которую легче всего интерпретировать). В примере можно было бы выбрать ориентацию осей, отличающуюся от пары Север/Юг и Восток/Запад, однако последняя удобнее, как «наиболее осмысленная» и естественная.

Многомерное шкалирование — это не просто определенная процедура, а скорее способ наиболее эффективного размещения объектов, приближенно сохраняющий наблюдаемые между ними расстояния. Другими словами, МНШ размещает объекты в пространстве заданной размерности и проверяет, насколько точно полученная конфигурация сохраняет расстояния между объектами. Говоря более техническим языком, МНШ использует алгоритм минимизации некоторой функции, оценивающей качество получаемых вариантов отображения.

Меры качества отображения: стресс. Мерой, наиболее часто используемой для оценки качества подгонки модели (отображения), измеряемого по степени воспроизведения исходной матрицы сходств, является так называемый стресс. Величина стресса Phi в для текущей конфигурации определяется так:

Phi = [dij — f (ij)] 2

Здесь dij — воспроизведенные расстояния в пространстве заданной размерности, а ij ( дельтаij ) — исходное расстояние. Функция f (ij) обозначает неметрическое монотонное преобразование исходных данных (расстояний). Таким образом, МНШ воспроизводит не количественные меры сходств объектов, а лишь их относительный порядок.

Обычно используется одна из несколько похожих мер сходства. Тем не менее, большинство из них сводится к вычислению суммы квадратов отклонений наблюдаемых расстояний (либо их некоторого монотонного преобразования) от воспроизведенных расстояний. Таким образом, чем меньше значение стресса, тем лучше матрица исходных расстояний согласуется с матрицей результирующих расстояний.

Диаграмма Шепарда. Можно построить для текущей конфигурации точек график зависимости воспроизведенных расстояния от исходных расстояний. Такая диаграмма рассеяния называется диаграммой Шепарда. По оси ординат OY показываются воспроизведенные расстояния (сходства), а по оси OX откладываются истинные сходства (расстояния) между объектами (отсюда обычно получается отрицательный наклон). На этом график также строится график ступенчатой функции. Ее линия представляет так называемые величины D-с крышечкой, то есть, результат монотонного преобразования f() исходных данных. Если бы все воспроизведенные результирующие расстояния легли на эту ступенчатую линию, то ранги наблюдаемых расстояний (сходств) был бы в точности воспроизведен полученным решением (пространственной моделью). Отклонения от этой линии показывают на ухудшение качества согласия (т.е. качества подгонки модели).

Задание размерности пользователем

Если вы уже знакомы с факторным анализом, вы вполне можете пропустить этот раздел. В противном случае вы можете перечитать раздел Факторный анализ. Однако это не является необходимым для понимания идей многомерного шкалирования.

Вообще говоря, чем больше размерность пространства, используемого для воспроизведения расстояний, тем лучше согласие воспроизведенной матрицы с исходной (меньше значение стресса). Если взять размерность пространства равной числу переменных, то возможно абсолютно точное воспроизведение исходной матрицы расстояний. Однако нашей целью является упрощение решаемой задачи, с тем, чтобы объяснить матрицу сходства (расстояний) в терминах лишь нескольких важнейших факторов (латентных переменных или вспомогательных шкал). Возвращаясь к нашему примеру с расстояниями между городами, если получена двумерная карта, намного проще представить себе расположение городов и планировать передвижение между ними, чем если бы имелась только матрица попарных расстояний.

Причины плохого качества отображения. Обсудим, почему уменьшение числа факторов (или вспомогательных шкал) может приводить к ухудшению представления исходной матрицы. Обозначим буквами A, B, C и D, E, F две тройки городов. Соответствующие им точки и попарные расстояния между ними показаны в двух табличках (матрицах).

Первой матрице соответствует случай когда города удалены друг от друга в точности на 90 километров, а второй — когда города D и F удаляются на 180 километров. Можно ли три точки, соответствующие городам (объектам) расположить в одномерном пространстве (на прямой)? Действительно, три точки, соответствующие городам D , E и F могут быть расположены на прямой линии:

D удален на 90 км от города E , и E — на 90 км от F , а город D удален на 90+90=180 км от F . Если попытаться проделать тоже самое с городами A , B и C , то видно, что соответствующие им точки уже нельзя разместить на прямой с сохранением исходной структуры расстояний. Однако эти точки можно расположить на плоскости, например, в виде треугольника:

A B C D E F
A
B
C
0
90
90
0
90
A
90 км 90 км
B 90 км C

Располагая эти три точки так, можно в точности воспроизвести все расстояния между ними. Без лишних деталей, этот пример показывает, как конкретная матрица расстояний (сходств) связана с числом искомых латентных переменных (размерностью результирующего пространства). Конечно, «реальные» данные никогда не являются такими «точными», и содержат случайный шум, т.е. случайную изменчивость, влияющую на различие между воспроизведенной и исходной матрицей.

Критерий «каменистой осыпи». Обычно, для выбора размерности пространства, в котором будет воспроизводится наблюдаемая матрица, используют график зависимости стресса от размерности (график каменистой осыпи). Этот критерий впервые был предложен Кэттелом (Cattell (1966)) в контексте решения задачи снижения размерности в факторном анализе (см. Факторный анализ); Краскал и Виш (Kruskal and Wish (1978; стр. 53-60)) обсуждали применение этого графика в методе МНШ.

Кэттел предложил найти такую абсциссу на графике (в методе ФА, по оси абсцисс идут собственные значения), в которой график стресса начинает визуально сглаживаться в направлении правой, пологой его части, и, таким образом, уменьшение стресса максимально замедляется. Образно говоря, линия на рисунке напоминает скалистый обрыв, а черные точки на графике напоминают камни, которые ранее упали вниз. Таким образом, внизу наблюдается как бы каменистая осыпь из таких точек. Справа от выбранной точки на оси абсцисс, лежит только «факторная осыпь». Согласно этому критерию, на приведенном рисунке, скорее всего, следует выбрать для воспроизведения двумерное пространство.

Интерпретируемость конфигурации. Вторым критерием для решения вопроса о размерности с целью интерпретации является «ясность» полученной конфигурации точек. Иногда, как в нашем примере с городами, результирующие координаты легко интерпретируются. В других случаях, точки на графике могут образовывать ту или иную разновидность «случайного облака», и не существует непосредственного способа для интерпретации латентных переменных. В последнем случае следует постараться немного увеличить число координатных осей и рассмотреть получаемые в результате конфигурации. Чаще всего, получаемые решения проще удается проинтерпретировать. Однако если точки на графике не следуют какому-либо образцу, а также если график стресса не показывает какого-либо явного «изгиба» (и не похож на «край обрыва»), то данные скорее всего являются случайным «шумом».

Интерпретация осей координат

Интерпретация осей обычно представляет собой заключительный этап анализа по методу многомерного шкалирования. Как уже упоминалось ранее, в принципе, ориентация осей в методе МНШ может быть произвольной, и систему координат можно повернуть в любом направлении. Поэтому на первом шаге получают диаграмму рассеяния точек, соответствующих объектам, на различных плоскостях.

Трехмерные решения также можно проинтерпретировать графически.

Однако эта интерпретация является несколько более сложной.
Заметим, что в дополнение к существенным осям координат, также следует искать кластеры точек, а также те или иные конфигурации точек (окружности, многообразия и др.). Более подробное обсуждение интерпретации полученных конфигураций, см. в работах Borg and Lingoes (1987), Borg and Shye (в печати) или Gutman, (1968).

Использование методов множественной регрессии. Аналитическим способом интерпретации осей координат (описанным в работе Kruskal и Wish, 1978) является применение методов множественной регрессии для регрессирования некоторых имеющих смысл переменных на оси координат. Это легко сделать с помощью модуля Множественная регрессия.

«Красота» метода МНШ в том, что вы можете анализировать произвольный тип матрицы расстояний или сходства. Эти сходства могут представлять собой оценки экспертов относительно сходства данных объектов, результаты измерения расстояний в некоторой метрике, процент согласия между судьями по поводу принимаемого решения, количество раз, когда субъект затрудняется различить стимулы и мн.др. Например, методы МНШ весьма популярны в психологическом исследовании восприятия личности. В этом исследовании анализируются сходства между определенными чертами характера с целью выявления основополагающими личностных качеств (см., например, Rosenberg, 1977). Также они популярны в маркетинговых исследованиях, где их используют для выявления числа и сущности латентных переменных (факторов), например, с целью изучения отношения людей к товарам известных торговых марок (подробнее см. Green и Carmone, 1970).

В общем случае, методы МНШ позволяют исследователю задать клиентам в анкете относительно ненавязчивые вопросы («насколько похож товар фирмы A на товар фирмы B») и найти латентные переменные для этих анкет незаметно для респондентов.

Многомерное шкалирование и факторный анализ

Даже несмотря на то, что имеется много сходства в характере исследуемых вопросов, методы МНШ и факторного анализа имеют ряд существенных отличий. Так, факторный анализ требует, чтобы исследуемые данные подчинялись многомерному нормальному распределению, а зависимости были линейными. Методы МНШ не накладывают таких ограничений. Методы МНШ могут быть применимы, пока сохраняет смысл порядок следования рангов сходств. В терминах различий получаемых результатов, факторный анализ стремится извлечь больше факторов (координатных осей или латентных переменных) по сравнению с МНШ; в результате чего МНШ часто приводит к проще интерпретируемым решениям. Однако более существенно то, что методы МНШ можно применять к любым типам расстояний или сходств, тогда как методы ФА требуют, чтобы первоначально была вычислена матрица корреляций. Методы МНШ могут быть основаны на прямом оценивании сходств между стимулами субъектов, тогда как ФА требует, чтобы субъекты были оценены через их стимулы по некоторому списку атрибутов.

Суммируя вышесказанное, можно сказать, что методы МНШ потенциально применимы к более широкому классу исследовательских задач.

Все права на материалы электронного учебника принадлежат компании StatSoft

источник

Психологу в настоящее время доступно то, что ранее считалось прерогативой лишь идеографического подхода. Речь идет о применении математических процедур, с помощью которых могут обрабатываться, например, массивы данных, отражающих не множество индивидов, а одного единственного, и, прежде всего, в аспекте присущих ему семантических пространств.

Семантическое пространство — совокупность определенным образом организованных признаков, описывающих и дифференцирующих объекты (значения) некоторой содержательной области. При этом выделяется некоторое правило группировки отдельных признаков (дескрипторов) в более емкие категории, которые и являются исходным алфавитом этого семантического пространства. В качестве примера наиболее известного и простого варианта семантического пространства можно привести то, которое получается с помощью методики семантического дифференциала Ч. Осгуда.

Математически построение семантического пространства является переходом от базиса большей размерности признаков описания к базису меньшей размерности (категориям). Семантически категории, являясь формой обобщения исходного языка описания, выступают метаязыком описания значений, позволяющим разложить значения в фиксированном алфавите категорий, выносить суждения об их сходстве и различии и т. п. [Петренко В.Ф. Психосемантика сознания. М.: из-во Мос. Ун-та, 1988].

Построение семантического пространства осуществляется в три этапа.

Первый этап связан с выделением семантических связей анализируемых объектов (понятий, символов, изображений и т. д.). В качестве одной из методик выделения семантических связей выступает субъективное шкалирование, когда испытуемые выносят суждение о сходстве каждой пары объектов по некоторой градуальной шкале, содержание которой не задано, но испытуемый сам вводит основания классификации. Результатом первого этапа является построение матрицы сходства (расстояний) анализируемых объектов.

Задачей второго этапа исследования является выделение структуры, лежащей в основе матрицы сходства объектов, и тем самым определение структуры семантического пространства. Этот этап включает математическую обработку исходной матрицы сходства с целью выделения тех универсумов, которые лежат в ее основе. В качестве математического аппарата, как правило, используются разновидности факторного анализа, многомерное шкалирование, кластерный анализ. Например, данные, полученные на основе ассоциативного эксперимента, могут быть обработаны и с помощью многомерного шкалирования, и с помощью факторного и кластерного анализа.

— прямые методы установления семантических связей между объектами (субъективное шкалирование, метод семантического радикала, метод сортировки Миллера),

— опосредованные, где сходство пары объектов устанавливается путем отнесения их к чему-то третьему (сходству профилей оценок — в методе семантического дифференциала; общим контекстам — в методике подстановки и т. д.).

Для прямых методов установления семантических связей более адекватными являются процедуры многомерного шкалирования, кластерного анализа, алгоритмов распознавания образа.

Для методов опосредованного установления сходства значений более адекватными являются процедуры факторного анализа, так как эти методы позволяют представить меры сходства значений в виде матрицы корреляций, полученных через отнесение значений к опосредующему звену.

При этом сама математическая обработка не порождает нового содержания, а позволяет представить исходные данные в компактной, хорошо структурированной форме, удобной для анализа и дальнейшей интерпретации.

Третий этап построения семантического пространства связан с интерпретацией выделенных структур. Интерпретация выделенных факторов (кластеров) осуществляется на основе поиска смысловых инвариантов, объединяющих шкалы, объекты, сгруппированные в данный фактор, или кластер. Для формулировки гипотезы о содержании факторов привлекаются компетентные эксперты (метод независимых судей), для облегчения интерпретации в исходный набор вводятся эталонные объекты, исследуется связь с уже выделенными ранее и интерпретированными факторами и т. д.

Достаточно часто для реконструкции субъективного семантического пространства используется многомерное шкалирование.

Многомерное шкалирование — метод построения конфигурации точек в пространстве небольшой размерности исходя из расстояний между ними [Дэйвисон М. Многомерное шкалирование: Методы наглядного представления данных. М.: Финансы и статистика, 1988].

Основной тип данных в многомерном шкалировании — меры близости между двумя объектами. В соответствии с этим, задача многомерного шкалирования состоит в построении переменных на основе имеющихся расстояний между объектами. В частности, если даны расстояния между понятиями, программа многомерного шкалирования должна восстановить систему координат (с точностью до поворота и единицы длины) и приписать координаты каждому элементу. В психологических исследованиях методом многомерного шкалирования создается зрительный образ «психологического пространства» понятий, объектов наблюдения или свойств. Наиболее часто используют создание двумерного пространства.

Основная идея метода многомерного шкалирования состоит в приписывании каждому объекту значений координат, в результате чего строится матрица евклидовых расстояний между объектами.

Данный метод, также как факторный и кластерный анализ, используется для описания структуры данных. Но он может быть применим в ряде случаев, когда непригодно большинство методов факторизации. В многомерном шкалировании оценки координат являются непрерывными переменными, тогда как в кластерном анализе — дискретными, а связь между данными о близости и расстоянии не может быть представлена линейной или монотонной функцией. Факторный анализ требует, чтобы исследуемые данные подчинялись многомерному нормальному распределению, а зависимости были линейными. Методы многомерного шкалирования не накладывают таких ограничений. Они могут быть применимы, пока сохраняет смысл порядок следования рангов сходств. В терминах различий получаемых результатов, факторный анализ стремится извлечь больше факторов (координатных осей или латентных переменных) по сравнению с многомерное шкалирование; в результате чего многомерное шкалирование часто приводит к проще интерпретируемым решениям. Однако более существенно то, что методы многомерного шкалирования можно применять к любым типам расстояний или сходств, тогда как методы факторного анализа требуют, чтобы первоначально была вычислена матрица корреляций. Методы многомерного шкалирования могут быть основаны на прямом оценивании сходств между стимулами субъектов, тогда как факторного анализа требует, чтобы субъекты были оценены через их стимулы по некоторому списку атрибутов.

В том случае, когда для обработки данных используется многомерное шкалирование, не требуется четкого выявления признаков, по которым происходит сравнение понятий, или объектов. Например, на основе парного сравнения понятий просят определить степень сходства элементов каждой пары. В данном случае признаки не задаются, но вводятся испытуемым, а используемые понятия располагают в зависимости от степени их схожести в двух или трехмерных координатах, т.е. строится карта восприятия. Правда, при таком подходе часто теряется возможность точно установить, какой смысл вкладывается в то или иное понятие, так как нормативные признаки не используются.

Одним из наиболее распространенных методов получения расстояний между понятиями или объектами является метод репертуарных решеток Дж.Келли.

Особенность данного подхода заключается в том, что здесь не ставится цель сравнить оценки и реакции человека с нормированными групповыми данными, но — реконструировать индивидуально определенную систему смысловых расчленений, противопоставлений и обобщений, лежащую в основе субъективных оценок, отношений и предсказаний. Понятие конструкта определяется так: это особое субъективное средство, сконструированное самим человеком, проверенное (валидизированное) на собственном опыте, с помощью которого человек выделяет, оценивает и прогнозирует события, организует свое поведение, «понимает» других людей, реконструирует систему взаимоотношений и строит «образ я». Это одновременно и способ поведения, и параметр отношений и оценок, и когнитивное смысловое расчленение и противопоставление. Конструкт всегда биполярен, имеет два полюса (типа «хороший» — «плохой»). В этом его отличие от концепта: концепт задает номинальную шкалу (класс, понятие), конструкт — как минимум шкалу порядка, а фактически и шкалы более высоких уровней (смысловой градиент). Конструкты организованы в систему, имеющую сложную иерархическую организацию и множество подсистем. В силу общности опыта человека многие конструкты у разных людей схожи. Однако поскольку конструкт не усваивается извне, а строится самим человеком, он индивидуально определен, и есть конструкты, которые существуют в одном экземпляре, лишь у данного конкретного человека.

Дж.Келли разработал репертуарный тест личностных конструктов — первый из методов в ряду репертуарных решеток. В основу этого теста лег фундаментальный постулат его теории, что личностные процессы психологически канализируются теми же способами, которыми человек прогнозирует и оценивает события. Это позволяет исследовать конструкты посредством их проявления на семантическом уровне, распространяя полученные результаты на все личностные процессы.

Метод репертуарных решеток(от англ. method of repertory grid) — психодиагностическая методика анализа личности, разработанная Дж.Келли на основе его теории личностных конструктов. Заключается в том, что испытуемый оценивает набор объектов, в качестве которых фигурируют прежде всего значимые для него люди, с помощью набора конструктов (оценочных шкал). Как правило, и объекты и наборы конструктов продуцируются им самим. Типичной инструкцией является задача два объекта из трех объединить по какому-то свойству, которое отличает их от третьего объекта, после этого надо прописать использованное для категоризации свойство [Франселла Ф., Баннистер Д. Новый метод исследования личности. Руководство по репертуарным личностным методикам. М.: Прогресс, 1987].

На сегодняшний день предложено много различных математических алгоритмов статистического анализа репертуарных решеток (см., например: [Slater P. (Ed.) The Measurement of Intrapersonal Space by Grid Technique. V. I. Explorations of Intrapersonal Space. L. J.Wiley & Sons, 1976, 258 p.; Slater P. (Ed.) The Measurement of Intrapersonal Space by Grid Technique. V. II. Dimensions of Intrapersonal Space. L. J.Wiley & Sons, 1977, 270 p.]):

— параметрический и непараметрический факторные анализы, дающие возможность построения совмещенных отображений конструктов и элементов,

— различные типы кластерного анализа,

— непараметрическое многомерное шкалирование и некоторые другие методы.

источник

Глава 6. Использование методов факторного анализа и многомерного шкалирования для выявления первичных (базисных) способностей

Нагруженность одного теста многими факторами является принципиальной особенностью всех практически применяемых тестов и всех моделей многофакторной теории интеллектуальных способностей. Это, с одной стороны, делает теорию более адекватной практическим задачам и реально существующим ситуациям, но с другой — сильно усложняет задачу интерпретации результатов измерения выраженности интеллектуальных способностей. Ясно, что описанные в предыдущем разделе факторы могут рассматриваться и как первичные, и как производные. Действительно, фактор вербального понимания может быть определен через факторы памяти, ассоциативного мышления, индуктивности; числовой фактор — через факторы памяти, пространственно-схематической ориентации, вербального понимания. Подобная картина имеет место и при рассмотрении других факторов.

Таким образом, выявление первичных (базисных) интеллектуальных способностей представляет собой сложную задачу Причем при решении этой задачи естественно появляется возможность «сжатия» информации. Это делает результат тестирования более обозримым, более удобным для интерпретации.

Одним из наиболее эффективных и применяемых сегодня средств «сжатия» информации является комплекс методов факторного анализа. В основе множества моделей современного факторного анализа лежит одна обшая идея, которая, как показала практика обработки больших массивов эмпирических данных, является действенной в самых различных областях человеческой деятельности — психологии, медицине, экономике, социологии (6: 72-80].

^гу идею составляет предположение о возможности выявления малого числа существенных, базисных параметров на основании анализа большого количества «внешних», «косвенных» измерений. При этом, как правило, оказывается, что многие из измеряемых в эксперименте параметров являются сильно коррелирующими друге другом. С другой стороны, «внутренние», существенные параметры часто являются трудно измеримыми и могут быть вычислены только на основании анализа массивов измеряемых параметров (рис. 5.7).

В процессе психологического тестирования измеряемыми параметрами являются реакции испытуемых. «Внутренние», сущест-

венные параметры, которые выявляются в процессе анализа результатов тестирования, в факторном анализе обозначаются как факторы. В качестве примеров таких факторов могут быть названы уровень математических или художественных способностей, тип темперамента, уровень мотиваций и т.д.

В общем случае удобно представить, что в результате применения некоторого количества различных тестов (п) на некоторой совокупности испытуемых (ЛО мы получаем массив данных, матрицу 2 = (И х п). Пусть строки этой экспериментальной матрицы соответствуют различным наблюдаемым объектам (т.е. испытуемым), а столбцы — параметрам, опи

сываюшим состояние объектов (т.е. реакции испытуемых на тесты), — таблица 5.2. В такой матрице каждый элемент ^указывает значение, которое принимаету-й параметр на i-м объекте, то есть результат, который показывает /-й испытуемый в результате применения у-го теста.

Существенно отметить, что столбцы матрицы, являясь результатами применения тех или других тестов, имеют, вообще говоря, различный смысл. Ввиду этого, как правило, матрицу данных (Z) приводят к стандартизированному виду (матрице X), что связано с переходом к стандартной нормированной шкале измерений.

Отметим также, что возможны две геометрические интерпретации матрицы исходных данных. По одной можно рассматривать yV-мерное пространство, оси которого соответствуют отдельным параметрам или факторам. Каждая строка при этом имеет смысл вектора в пространстве параметров. При этой интерпретации мы имеем возможность сравнивать близость реакций всех испытуемых в пространстве N параметров.

По другой интерпретации можно рассматривать ^-мерное пространство, оси которого соответствуют отдельным объектам (испытуемым). В таком пространстве объектов каждый параметр (т.е. тест) представляется вектором. Это пространство является пространством объектов и удобно в связи с тем, что в нем имеется возможность сравнения близости отдельных тестов в «пространстве испытуемых».

Та б л и и а 5.2. Структура матрицы экспериментальных данных

Важным шагом в моделях и методах факторного анализа является переход от стандартизированной матрицы данных X размерности N хпк квадратной корреляционной матрице размерности

пхп. Элементы матрицы Я представляют собой коэффициенты корреляции г@,к) между соответствующими параметрами (результатами тестирования) х! и х к .

где х 1 х 1 — векторы, обозначающие у» и Л столбцы матрицы X.

Факт близости коэффициента корреляции к 1 говорито малом отличии значений параметров в среднем на различных объектах, что не исключает, конечно, того, что значения параметров на некоторых объектах могут отличаться значительно. Факт близости величины к 0 говорит, в свою очередь, о малой связи параметров и о малой предсказуемости значений одного параметра исходя из величин другого. Вообще, чем меньше величина I г (абсолютное значение коэффициента корреляции), тем меньше связаны параметры х 1 х к (т.е. соответствующие тесты) между собой и, следовательно, тем в меньшей степени можно предсказать по результатам тестирования одним тестом результаты тестирования другим.

В свете сказанного основная идея факторного анализа может быть сформулирована следующим образом. Решение задачи сжатия информации при переходе от большого количества поддающихся измерению параметров к существенно меньшему количеству «скрытых» базисных параметров-факторов сводится к нахождению небольшого количества векторов с N компонентами (где N — число строк матрицы данных). Другими словами, решение задачи означает приписывание кисходной матрице небольшого числа новых столбцов, с помощью которых можно хорошо описать все столбцы исходной матрицы. Входе этой процедуры, естественно, происходит снижение размерности уУ-мерного пространства параметров.

Какова же связь между измеряемыми в эксперименте параметрами и факторами? Другими словами, какова связь между измеряемыми функциями и их»глубинными»аргументами. Вфакторном анализе, как правило, эта связь предполагается линейной:

где х — измеряемые параметры, число которых равной; аХу. — коэффициенты, подлежащие определению и определяющие нагруз-куу-го параметра наЛ-й фактор (факторные нагрузки);/* — общие факторы, определяющие базис и участвующие, таким образом, в представлении всех параметров измерения, причем число факторов т всегда меньше, чем п (т

источник

В дальнейшем развитие методов психосемантики шло по линии разработки удобных пакетов прикладных программ, основанных на методах многомерного шкалирования (МШ), факторного анализа, а также специализированных мето­дов (статистической) обработки репертуарных решеток [Франселла, Баннистер, 1987]. Примерами пакетов такого типа являются системы KELLY [Похилько, Страхов, 1990], MADONNA [Терехина, 1988], MEDIS [Алексеева, Воинов и др., 1989]. С другой стороны, специфика ряда конкретных приложений, прежде все­го в инженерии знаний, требовала также развития иных (не численных) мето­дов обработки психосемантических данных, использующих — в той или иной форме — парадигму логического вывода на знаниях. Ярким примером этого на­правления служит система AQUINAS [Boose et al., 1989; Boose, 1990]. Однако анализ практического применения систем обоих типов к задачам инженерии знаний приводит к выводу о несовершенстве имеющихся методик и необходимости их развития в соответствии с современными требованиями инженерии зна­ний. Наибольшие перспективы в этой области, по-видимому, у методов много-мерного шкалирования).

Многомерное шкалирование (МШ) сегодня — это математический инструментарий, предназначенный для обработки данных о попарных сходствах, связях или отношениях между анализируемыми объектами с целью представления этих объектов в виде точек некоторого координатного пространства. МШ представ­ляет собой один из разделов прикладной статистики, научной дисциплины, разрабатывающей и систематизирующей понятия, приемы, математические методы и модели, предназначенные для сбора, стандартной записи, систематизации и обработки статистических данных с целью их лаконичного представления, ин­терпретации и получения научных и практических выводов. Традиционно МШ используется для решения трех типов задач:

1. Поиск и интерпретация латентных (то есть скрытых, непосредственно не на­блюдаемых) переменных, объясняющих заданную структуру попарных рассто­яний (связей, близостей).

2. Верификация геометрической конфигурации системы анализируемых объек­тов в координатном пространстве латентных переменных.

3. Сжатие исходного массива данных с минимальными потерями в их информа­тивности.

Независимо от задачи МШ всегда используется как инструмент наглядного представления (визуализации) исходных данных. МШ широко применяется в исследованиях по антропологии, педагогике, психологии, экономике, социологии [Дэйвисон, 1988].

В основе данного подхода лежит интерактивная процедура субъективного шка­лирования, когда испытуемому (то есть эксперту) предлагается оценить сходство между различными элементами П с помощью некоторой градуированной шкалы (например, от 0 до 9, или от -2 до +2). После такой процедуры аналитик распола­гает численно представленными стандартизованными данными, поддающимися обработке существующими пакетами прикладных программ, реализующими раз­личные алгоритмы формирования концептов более высокого уровня абстракции и строящими геометрическую интерпретацию семантического пространства в ев­клидовой системе координат.

Основной тип данных в МШ — меры близости между двумя объектами (i, j) -dij. Если мера близости такова, что самые большие значения dij соответствуют парам наиболее похожих объектов, то dij — мера сходства, если, наоборот, наиме­нее похожим, то dij — мера различия.

МШ использует дистанционную модель различия, используя понятие расстоя­ния в геометрии как аналогию сходства и различия понятий (рис. 5.3).

Для того чтобы функция d, определенная на парах объектов (а, b), была евклидо­вым расстоянием, она должна удовлетворять следующим четырем аксиомам:

Тогда, согласно обычной формуле евклидова расстояния, мера различия двух объектов i и j со значениями признака k у объектов i и j соответственно Xik и Xjk:

Рис.5.3. Расстояние в евклидовой метрике

Дистанционная модель была многократно проверена в социологии и психологии [Monahan, Lockhead, 1977; Петренко, 1988, Шмелев, 1983], что дает возможность оценить ее пригодность для использования.

В большинстве работ по МШ используется матричная алгебра. Геометрическая интерпретация позволяет представить абстрактные понятия матричной алгебры в конкретной графической форме. Для облегчения интерпретации решения за­дачи МШ к первоначально оцененной матрице координат стимулов X применя­ется вращение

Среди множества алгоритмов МШ широко используются различные модифика­ции метрических методов Торгерсона [Torgerson, 1958], а также неметрические модели, например Крускала [Kruskal, 1964]

При сравнении методов МШ с другими методами анализа, теоретически приме­нимыми в инженерии знаний (иерархический кластерный анализ [Дюран, Оделл, 1977] или факторный анализ [Иберла, 1980]), МШ выигрывает за счет возможно­сти дать наглядное количественное координатное представление, зачастую более простое и поэтому легче интерпретируемое экспертами.

5.1.3. Использование метафор для выявления «скрытых» структур знаний

Несмотря на кажущуюся близость задач, инженерия знаний и психосемантика существенно отличаются как в теоретических основаниях, на которых они бази­руются, так и в практических методиках. Но главное отличие заключается в том, что инженерия знаний направлена на выявление — в конечном итоге — модели рассуждений [Поспелов, 1989], динамической или операциональной составляю­щей ментального пространства (или функциональной структуры поля знаний Sf), в то время как психосемантика, пытаясь представить ментальное простран­ство в виде евклидова пространства, позволяет делать видимой статическую структуру взаимного «расположения» объектов в памяти, в виде проекций скоплений объектов (концептуальная структура Sk).

Помимо этого следует отметить ряд недостатков методов психосемантики с точ­ки зрения практической инженерии знаний.

1. Поскольку в основе психосемантического эксперимента лежит процедура из­мерения субъективных расстояний между предъявляемыми стимулами, то и результаты обработки такого эксперимента, как правило, используют геомет­рическую интерпретацию — евклидово пространство небольшого числа изме­рений (чаще всего — двумерное). Такое сильное упрощение модели памяти может привести к неадекватным базам знаний.

2. Естественность иерархии как глобальной модели понятийных структур созна­ния служит методологической базой ОСП. Кроме того, и в естественном языке понятия явно тяготеют к различным уровням обобщения. Однако в большин­стве прикладных пакетов не предусмотрено разбиение семантического про­странства на уровни, отражающие различные степени общности понятий, вклю­ченных в экспериментальный план. В результате получаемые кластеры понятий, пространственно изолированные в геометрической модели шкали­рования, носят таксономически неоднородный характер и трудно поддаются интерпретации.

3. Единственные отношения, выявляемые процедурами психосемантики, — это «далеко — близко» по некоторой шкале. Для проектирования и построения баз знаний выявление отношений является на порядок более сложной задачей, чем выявление понятий. Поэтому семантические пространства, полученные в ре­зультате шкалирования и кластеризации, должны быть подвергнуты дальней­шей обработке на предмет определения отношений, особенно функциональ­ных и каузальных.

Нельзя ожидать, что эти противоречия могут быть разрешены быстро и безболез­ненно, в силу того, что математический аппарат, положенный в основу всех паке­тов прикладных программ по психосемантике, имеет определенные границы применимости. Однако одним из возможных путей сближения без нарушения чистоты процедуры видится расширение пространства конкретных объектов-стимулов предметной области за счет добавления некоторых абстрактных объек­тов из мира метафор, которые заставят эксперта-испытуемого выйти за рамки объективности в мир субъективных представлений, которые зачастую в большей степени влияют на его рассуждения и модель принятия решений, чем традицион­ные правильные взгляды.

Ниже описан подход, разработанный совместно с Воиновым А. В. [Voinov, Gavrilova, 1993; Воинов, Гаврилова, 1994] и позволяющий вывести эксперта за гра­ницы традиционной установки и тем самым выявить субъективные, часто скры­ваемые или скрытые структуры его профессионального опыта.

Большинство результатов, полученных в когнитивной психологии, подтвержда­ют, что у человека (в том числе и у эксперта) формальные знания о мире (в част­ности, о той предметной области, где он является экспертом) и его личный пове­денческий опыт не могут существовать изолированно, они образуют целостную, стабильную структуру. В западной литературе за этой структурой закрепилось название «модель (или картина) мира». Принципиальным свойством модели мира является то, что ее структура не дана человеку — ее носителю — в интрос­пекции, она работает на существенно латентном, неосознаваемом уровне, зачас­тую вообще ничем не отмеченном (в символической форме) на поверхности вер­бального сознания.

Изучение модели мира человека является задачей когнитивной психологии, пси­хосемантики и прочих родственных дисциплин. Что же касается эксперта как объекта пристального внимания инженерии знаний, то здесь одна из проблем, в решении которых может помочь психосемантика, связана с необходимостью (и неизбежностью) отделения опыта эксперта от его объективных знаний в про­цессе формализации и структурирования, последних для экспертных систем.

Строго говоря, невозможно указать ту грань, за которой знания (которые можно формализовать и извлечь) переходят в опыт (то есть в то, что остается уникаль­ной, неотчуждаемой собственностью эксперта). Более корректно, по-видимому, говорить о неком континууме, детальность градации которого может зависеть от конкретной задачи.

Например, можно выделить следующие три уровня:

1. Знания, предназначенные для изложения или доказательства (аргументации), например, на междисциплинарном уровне или для популярной лекции (вер­бальные).

2. Знания, которые применяются в реальной практике, — знания еще вербализу­емые, но уже нерефлектируемые.

3. Собственно опыт, то есть знания, лежащие на наиболее глубоком, неосознава­емом уровне, отвечающие за те решения эксперта, которые внешне (в том чис­ле и для него самого) выглядят как мгновенное озарение или «инсайт», интуи­тивный творческий акт (интуитивные).

Классическая методика психосемантического эксперимента также не позволяет выделить из его результатов интуитивный уровень. Это видно из самой тестовой процедуры. Просят ли испытуемого оценить сходство-различие стимулов напря­мую или же предлагается оценить их соответствие некоторым «конструктам» — в любом случае испытуемый вольно или невольно настраивается на необходимость доказательности своего ответа в терминах объективных свойств стимулов.

Большинство методов извлечения знаний ориентировано на верхние — вербаль­ные или вербализируемые — уровни знания. Необходим косвенный метод, ори­ентированный на выявление скрытых предпочтений практического опыта или операциональных составляющих опыта. Таким методом может служить метафо­рический подход. Метафорический подход, впервые описанный с чисто лингвис­тических позиций [Black, 1962; Ricoeur, 1975], а также с позиций практической психологии [Гордон, 1987], был видоизменен для нужд инженерии знаний. На­пример, в экспериментах по объективному сравнению языков программирова­ния между собой были также использованы два метафорических «мира» — мир животных и мир транспорта.

В рамках этого подхода удалось экспериментально доказать следующие тезисы:

• метафора работает как фильтр, выделяющий, посредством подбора адекват­ного объекта сравнения, определенные свойства основного объекта (то есть того, о котором собственно и идет речь). Эти выделяемые свойства имеют су­щественно операциональный характер, проявляющийся на уровне полимор­физма методов, так как метафора по самой своей сути исключает возмож­ность сравнения объектов по их внутренним, объективным свойствам;

• метафора имеет целью скорее не сообщить что-либо о данном объекте (то есть ответить на вопрос «что это?»), а призвать к определенному отношению к нему, указать на некую парадигму, говорящую о том, как следует вести себя по отношению к данному объекту;

• субъективному сдвигу в отношении к основному объекту (например, к языку программирования) сопутствует также и сдвиг в восприятии объекта сравне­ния (например, к конкретному животному) в силу вышеуказанной специфики фильтруемых метафорой свойств. Поэтому объект сравнения выступает в ме­тафоре не по своему прямому назначению, то есть это не просто «лев» как представитель фауны, а воплощение силы, ловкости и могущества;

• в том случае, когда метафора сопоставляет не единичные объекты, а некоторые их множества, в которых объекты связаны осмысленными отношениями, про­странство объектов сравнения должно быть изоморфно пространству основ­ных объектов по системе указанных отношений.

На эти тезисы опирается предлагаемая модификация классической методики со­поставления объектов, применяемой, например, в оценочной решетке Келли [Kelly, 1955]. При проведении эксперимента была использовала система MEDIS [Алексеева, Воинов и др., 1989; Воинов, Гаврилова, 1994]. Эта система позволяет планировать, проводить и обрабатывать данные произвольного психосеманти­ческого эксперимента. Помимо классической парадигмы многомерного шкалиро­вания, система MEDIS включает в себя некоторые возможности теста репертуар­ных решеток. В частности, она позволяет работать со стимулами двух сортов — так называемыми элементами и конструктами (с единственным исключением: конструкты в системе MEDIS — в отличие от классического теста репертуарных решеток — монополярны). Естественно, выбор базового инструментария суще­ственно повлиял на описываемую экспериментальную реализацию методики. В качестве предметной области был выбран мир языков программирования. В про­странство базовых понятий (выступавших в методике в качестве элементов) бы­ло включено несколько более или менее популярных языков программирова­ния, принадлежащих к следующим классам:

• языки искусственного интеллекта;

• традиционные процедурные языки

• так называемые «макроязыки», обычно реализуемые в оболочках операцион­ных систем, текстовых редакторах и т. д.

В качестве метафорических пространств выбраны мир животных и мир транс­порта. Объекты этих миров выступали в методике в качестве (монополярных) конструктов. На первом этапе эксперимента каждый из респондентов выполнял классическое попарное субъективное шкалирование элементов. На вопрос, «Есть ли что-либо общее между данными языками программирования», рес­понденту предлагалось ответить одной из следующих альтернатив.

ДА! Объекты очень близки
Да Между объектами есть что-то общее
. Неопределенный ответ
Нет Объекты различны
НЕТ! Объекты совершенно несовместимы

Данные этого этапа (отдельно для каждого из респондентов) подвергались об­работке методами многомерного шкалирования (см. выше) и представлены на рис. 5.4.

Результатом такой обработки является некоторое евклидово пространство не­большого числа измерений, в котором исходные оценки различий представлены геометрическими расстояниями между точками. Чем лучше эти расстояния соот­ветствуют исходным различиям, тем более адекватным считается результат обра­ботки в целом. При этом буквальное совпадение расстояний и числовых кодов ответов, естественно, не является обязательным (хотя оно и возможно в некото­рых модельных экспериментах). Более важным оказывается ранговое соответ­ствие расстояний исходным оценкам. А именно, в идеальном случае все расстоя­ния между точками, соответствующие (например) ответам «ДА!» в исходных данных, должны быть меньше (хотя бы и на доли процента масштаба шкалы) всех расстояний, соответствующих ответам «Да», и т. д.

В реальном эксперименте идеальное соответствие невозможно в принципе, так как целью обработки является сжатие, сокращение размерности данных, что ог­раничивает число координатных осей результирующего пространства. Тем не менее, алгоритм шкалирования пытается — насколько это возможно — миними­зировать ранговое несоответствие модели исходным данным.

Геометрическую модель шкалирования можно интерпретировать по-разному:

• во-первых, можно выяснить смысл координатных осей результирующего про­странства. Эти оси по сути своей аналогичны факторам в факторном анализе, что позволяет использовать соответствующую парадигму интерпретации, де­тально разработанную в экспериментальной психологии. В данном случае можно считать, что выявленные факторы играют роль базовых категорий, или базовых (латентных) конструктов, с помощью которых респондент (как пра­вило, неосознанно) упорядочивает свою картину мира (точнее, ее проекцию на данную предметную область);

• во-вторых, можно проанализировать компактные группировки стимулов в этом пространстве, отождествив их с некоторыми существенными (хотя и скрытыми от интроспекции) таксономическими единицами, реально при­сутствующими в модели мира эксперта. Существенно, что делается попытка интерпретировать кластеры, полученные по модели шкалирования, а не по исходным числовым кодам различий. Это вытекает из предположения, что информация, не воспроизводимая главными (наиболее нагруженными) фак­торами, является «шумом», сопутствующим любому (а особенно психологи­ческому) эксперименту.

Рисунок 5.4 отражает традиционную классификацию языков программирова­ния и легко поддается вербальной интерпретации. Например, на рисунке гори­зонтальная ось соответствует делению языков программирования на «языки ис­кусственного интеллекта» (левый полюс шкалы) и «традиционные языки программирования» (правый полюс). Вертикальная ось отражает классифика­цию языков программирования в зависимости от уровня — языки высокого уровня (нижний полюс) и языки низкого уровня или системные языки (верхний полюс).

Рис. 5.4.Классификация языков программирования

Основная экспериментальная процедура — попарное сравнение некоторых объек­тов и выражение степени их сходства (несходства) на числовой оси или выделе­ние пар близких объектов из предъявленной триады — сама по себе накладывает большое количество ограничений на выявляемую структуру, в частности:

1. Из-за выбора стимульного материала (выбор объектов остается за инженером по знаниям).

2. Из-за несовершенства шкалы измерений.

3. В связи с рядом допущений математического аппарата. Но главное, что полу­ченная структура знаний чаще всего носит академический характер, то есть отражает объективно существующие, но легко объяснимые, как бы лежащие на поверхности закономерности.

Это связано с психологической установкой самого эксперимента, во время кото­рого эксперта как бы проверяют, экзаменуют и он, естественно, стремится давать правильные ответы.

На следующем этапе эксперимента респонденту предлагалось сопоставить каж­дый из языков программирования с каждым из метафорических персонажей. Как и на первом этапе, пары предъявлялись в равномерно-случайном порядке (аналогичном расписанию кругового турнира в спортивных играх). Инструкция для со­поставления выглядела следующим образом:

Попробуйте оценить выразительную силу данной метафоры: «ЛИСП — это слон» или «C++ — это яхта».

Результирующая таблица числовых кодов оценок (идентичная оценочной решет­ке Келли) была также обработана методами многомерного шкалирования про­граммы МЕДИС. Результаты представлены на рис. 5.5 и 5.6.

Рис. 5.5.Метафорическая классификация языков программирования (мир животных)

Рис. 5.6.Метафорическая классификация языков программирования (мир транспорта)

При интерпретации удалось выявить такие латентные понятия и структуры, как «степень изощренности языка» (шкала X рис. 5.5), «сила» (шкала Y рис. 5.5), «универсальность» (шкала Y рис. 5.6), «скорость» (шкала X рис. 5.6) и др.

Кроме этого, полученные рисунки позволили выявить скрытые предпочтения эк­сперта и существенные характеристики объектов, выступавших в виде стиму­лов — «силу» языка С («слон»); скорость C++ («яхта»); «старомодность» Форт­рана («телега») и пр.

В применении к реальному процессу извлечения знаний это обстоятельство ста­новится принципиальным, так как позволяет на самом деле отделить те знания, благодаря которым эксперт является таковым (уровень В), от общезначимых, ба­нальных (для экспертов в данной предметной области) знаний (уровень А), кото­рые возможно и не стоят того, чтобы ради них создавать собственно экспертную систему.

Однако можно ожидать, что во многих (если не в большинстве) случаях выявлен­ные латентные структуры могут полностью перевернуть представления инжене­ра по знаниям о предметной области и позволить ему существенно углубить базу знаний. Введение мира метафор — это некая игра, а игра раскрепощает сознание эксперта и, как все игровые методики извлечения знаний (п. 4.2), является хоро­шим катализатором трудоемких серий интервью с экспертом, без которых сегод­ня невозможна разработка промышленных интеллектуальных систем.

Дата добавления: 2015-07-02 ; Просмотров: 1443 ; Нарушение авторских прав? ;

Нам важно ваше мнение! Был ли полезен опубликованный материал? Да | Нет

источник