Содержание к диссертации
Введение
1. Факторная модель процесса тестирования способностей и компетенций 21
1.1. Основные подходы к изучению способностей 21
1.2. Факторные модели способностей и компетенций 24
Выводы 37
2. Процедура принятия решений при тестировании способностей и компетенций 39
2.1. Традиционный подход к оценке адекватности факторных моделей 39
2.2. Идентификация свободных параметров факторных моделей 41
2.3. Использование метода Монте-Карло и самоорганизующихся карт Кохонена для оценки адекватности модели 45
2.4. Использование разработанной процедуры для сравнения факторных моделей 52
2.5. Процедура принятия решений при тестировании способностей 63
Выводы 65
3. Метод устранения артефактов, искажающих результаты тестирования 66
3.1. Преимущества использования фильтрации Калмана 66
3.2. Адаптация фильтра Калмана к процессу тестирования 67
3.3. Результаты применения фильтрации Калмана 71
Выводы 72
4. Разработка программных средств для эффективного принятия решений при тестировании способностей и компетенций 73
4.1. Программное обеспечение для сбора данных 73
4.2. Модуль оценки адекватности исследуемых факторных моделей 77
4.3. Программные модули системы поддержки принятия решений при тестировании способностей и компетенций 80
Выводы 99
Заключение 100
Список литературы 102
- Факторные модели способностей и компетенций
- Идентификация свободных параметров факторных моделей
- Адаптация фильтра Калмана к процессу тестирования
- Программные модули системы поддержки принятия решений при тестировании способностей и компетенций
Факторные модели способностей и компетенций
Классическая теория тестирования предполагает, что уровень измеряемого свойства является постоянным. В теории тестов IRT данный параметр трактуется как непрерывная переменная. Начальное значение параметра получается непосредственно из эмпирических данных тестирования. Переменный характер измеряемой величины указывает на возможность последовательного приближения к объективным оценкам параметра с помощью различных итерационных методов. Данные, которые не укладываются в модель – исключаются. Данная теория также не предполагает оценку эмпирической валидности и надежности методики, тест соотносится с определенным свойством, т.е. считается валидным.
Г. Раш предложил модель латентной дистанции, в которой полагается оценивать разность между уровнем способности и трудностью теста. Полученная величина отражает возможность испытуемого выполнить задание. Если разность принимает отрицательное значение и достаточно велика, то данное задание является слишком сложным для испытуемого. Если разность положительная и достаточно велика, то данное задание является неинформативным, так как является слишком легким [91,96,104]. Согласно модели Г. Раша необходимо построить характеристическую функцию испытуемого и задания. Считается, что латентные параметры нормально распределены, следовательно, в качестве характеристической функции можно выбрать логистическую или интегральную.
Однопараметрическая модель предполагает, что у испытуемого с лучшей подготовкой больше шансов ответь верно, чем у более слабого испытуемого. Данная зависимость представляется в виде графика логистической функции на рис. 1, отражающей вероятность решить задание в зависимости от способности тестируемого. Средний уровень способности полагается равным нулю.
Основные допущения IRT состоят в следующем: 1) уровень подготовленность испытуемого и уровень трудности задания являются скрытыми (латентными) параметрами; 2) индикаторные переменные, связанные с латентными параметрами, доступны для наблюдения и измерения, значениям индикаторных переменных отражают значения латентных параметров; 3) измеряемый латентный параметр должен быть одномерным, т.е. тестовая методика должна измерять знания только одной предметной области. Безусловно, возможности IRT значительно снижаются при необходимости создания теста общих способностей.
В рамках классической теории педагогических измерений, оценки уровня трудности заданий зависят от уровня подготовленности группы. Чем лучше подготовлена тестируемая группа, тем выше доля (процент) правильных ответов на задание, тем легче оказывается задание. И, наоборот, в слабой группе испытуемых процент выполнения заданий заметно ниже.
К наиболее значимым преимуществам IRT обычно относят следующие [102,105,106]: - Устойчивость и объективность оценок параметра, характеризующего уровень подготовки испытуемых. Источником этой устойчивости является относительная устойчивость оценок способностей (знаний) испытуемых от трудности заданий теста. - Устойчивость и объективность оценок параметра трудности задания, их независимость от свойств выборки испытуемых, выполняющих тест. - Возможность измерения значений параметров испытуемых и заданий тестов в одной и той же шкале, имеющей свойства интервальной. Это свойство важно потому, что преобразование исходных величин разного происхождения в одну исходную шкалу позволяет соотнести уровень знаний любого испытуемого с мерой трудности каждого из заданий теста.
Предполагается, что наблюдаемые значения являются результатом взаимодействия двух множеств латентных параметров. Первое множество составляют значения латентного параметра, который определяет уровень подготовленности испытуемых ві, где / - номер испытуемого, изменяющийся в интервале от 1 до Q (Q - количество испытуемых). Второе множество составляют значения латентного параметра, характеризующего трудность 7-го задания /3,-. Индекс j меняется в пределах от 1 до М, где М - количество заданий в тесте (см. Рис. 2).
Георг Раш предположил, что уровень подготовленности испытуемого ві и уровень трудности задания /3,- могут быть размещены на одной шкале и измеряются в одних и тех же единицах [88].
Отличительной особенностью модели Г. Раша является использование понятия логита как меры трудности и уровня подготовленности испытуемого. Г. Раш ввел две меры: «логит уровня знаний» и «логит уровня трудности задания». Единая логарифмическая шкала позволяет установить требуемое соответствие между уровнем обученности и трудностью задания и произвести коррекцию результатов тестирования.
Идентификация свободных параметров факторных моделей
Автором был проанализирован массив работ, связанных с исследованиями в области теории о структуре когнитивных способностей.
В начале XX в. первые исследователи в данной области считали, что когнитивные способности некоторым образом связаны со структурой отделов мозга, отражающих развитие способностей. Данный подход положил начало факторно-аналитическим моделям когнитивных способностей.
Ч. Спирмен, впервые пытавшийся проанализировать структуру способностей, обратил внимание, что испытуемые, которые хорошо справляются с одними видами тестов, также успешны и в выполнении других. Статистический анализ показателей когнитивных тестов выявил положительные корреляции между ними, что стало основанием для разработки двухфакторной теории организации способностей. Таким образом, теория Ч. Спирмена предполагает наличие «генерального» фактора способностей G (от general — общий), а также ряда специальных факторов, служащих показателем специфических способностей. Фактор G трактовался как причина вычисленных положительных корреляций, которые тем выше, чем более насыщен данный тест фактором G. Данный фактор объясняется как «общая умственная энергия», а факторы специальных способностей как механизмы, которые используют данную энергию. Специфические факторы имеют ограниченное влияние на индивидуальные различия, так как они проявляются при решении узкого круга задач, следовательно, их не стоит учитывать при разработке тестов когнитивных способностей. Модели, придерживающиеся данного подхода, называются гнездовыми.
Американские исследователи предполагали, что структура способностей описывается множественными групповыми факторами, каждые из которых в различной степени проявляются в тестах. Л.Терстон провел факторизацию 56 тестов когнитивных способностей и выделил 12 факторов, которые позднее были обозначены как «первичные умственные способности», среди них наиболее обоснованными считаются следующие факторы:
Согласно теории Л. Терстона различные специфические способности не являются независимыми, что было доказано с использованием методов факторного анализа. Связь между специфическими способностями Л. Терстон объяснил наличием генерального фактора, оказывающего влияние на специальные способности. Модели, придерживающиеся идеи существования единого генерального фактора способностей, называются иерархическими [77].
В дальнейшем ученые предлагали различные интерпретации генерального фактора, включая свойство внимания (С. Берт), мотивацию, скорость переработки информации центральной нервной системой (Г. Айзенк) и др.
Р. Кеттелл, изучавший когнитивные способности в 30-40-е гг. XX в., обнаружил тесты, в которых определяется большой вклад первичных способностей, положенные за основу для поиска факторов второго порядка. Таким образом, он выделил более абстрактные факторы. После повторного применения факторного анализа, Р. Кеттелл выделил факторы следующего порядка, которые позднее были названы: флюидный и кристаллизованный интеллект. Наиболее сильно флюидный интеллект проявляется в тестах образного мышления, на классификации и аналогии. Кристаллизованный интеллект измеряется тестами на вербальные способности и зависит от полученного опыта в решении задач [1,12].
Рассмотренные выше теории относятся к эксплораторным, то есть, разработанными в ходе анализа полученных данных. Следующие теории относятся к конфирматорным, когда разработанная теория проверяется в ходе исследования.
Дж. Гилфорд отказался от идеи генерального фактора, предположив наличие 150 различных когнитивных способностей. Кубическая модель Дж. Гилфорда предполагает три измерения, которые содержат различные типы независимых когнитивных способностей: - вид умственных операций; - содержание операций; - продукт операций. Согласно данной модели, каждая способность соотносится с ее расположением по трем измерениям. Для идентификации части факторов было разработано 105 тестов, результаты которых оказались зависимы друг от друга не менее чем на 76%. Основная критика данной теории заключается в том, что нельзя рассматривать мыслительные операции отдельно друг от друга в одном организме [4,89].
Помимо исследования структуры когнитивных способностей, ученых волновал вопрос об измерении этих способностей, что привело к созданию различных тестовых методик. Первые подходы экспериментального исследования способностей использовали психометрические тесты. За последние годы появилось множество методик, содержащих группы вопросов, объединенных в субтесты, измеряющие различные виды способностей: вербальные, невербальные, пространственные, числовые и др.
В 1920-х гг. было проведено исследование на близнецах и приемных детях, выявляющее влияния фактора G на наблюдаемые параметры, которое показало, что наибольший вклад в вариативность показателя общего интеллекта вносит генотип. Чем больше общих генов у испытуемых, тем выше корреляции их результатов. Также представляет интерес исследование влияния среды на показатели выполнения тестов. К социальным факторам среды относят все то, что относится к «культурной среде». Одним из социальных факторов является род занятий, т.к. уровень развития способностей может определять профессиональный уровень, который может достичь человек. Но и сама работа может оказывать влияние на способности человека. Семейная среда оказывает одно из решающих воздействий на развитие когнитивных способностей [60,79]. В отечественной психологии вопросы структуры способностей разрабатывали: Ушаков Д.В., Холодная М.А., Шадриков В.Д., Ямпольский Л.Т., Артемьева Т.Н., Крутецкий В.А., Ананьев Б.Г., Ковалев А.Г., Мясищев В.Н., Рубинштейн С.Л., Теплов Б.М., Левитов Н.Д., Акимова М.К., Платонов К.К., Мерлин В.С.
Адаптация фильтра Калмана к процессу тестирования
Целью традиционного подхода к оценке адекватности факторных моделей является нахождение значений параметров модели, которые с допустимыми ошибками объясняют изменчивость наблюдаемых характеристик. В качестве объекта анализа выступают ковариационные или корреляционные матрицы наблюдений. Параметры моделей подбираются так, чтобы получить наилучшее с точки зрения статистического критерия приближение к ковариационным (корреляционным) матрицам наблюдаемых характеристик. Допускаются количественные предположения о значениях факторных нагрузок, а также проверка гипотезы о структуре и свойствах моделей, подбирая их оптимальные варианты.
При использовании традиционного подхода: - ненулевые (свободные) факторные нагрузки и число исследуемых факторов в модели определяются заранее; - допускаются корреляции между ошибками измерений; - факторные нагрузки и ковариации между латентными переменными могут быть свободными параметрами модели или приравниваться заданным константам; - допускается анализ нескольких групп моделей; - можно проверять, насколько согласуются ограничения, налагаемые на параметры модели, с результатами наблюдений. Функция правдоподобия
Доказано, что в случае многомерного нормального распределения наблюдаемых переменных функция правдоподобия, под которой понимается зависящий от свободных параметров логарифм вероятности получить указанную выборочную матрицу, для ковариационной матрицы наблюдаемых параметров А имеет вид: Р = -(N - 1)(\п\С\ +trАС 1)/2, где А - выборочная ковариационная матрица наблюдаемых переменных, С -прогнозируемая ковариационная матрица наблюдаемых переменных, С -определитель матрицы С, tr(AC 1) - след матрицы (AC1), N - объем выборки.
Решая задачу методом максимального правдоподобия, подбираются свободные параметры модели так, чтобы обеспечить экстремальное значение Р.
Значения этого критерия распределены как J2 с числом степеней свободы, равным К-М, где М - число независимых свободных параметров, К - число независимых статистик в ковариационных матрицах. Для определения оценок свободных параметров исследуемых факторных моделей способностей и компетенций методом максимального правдоподобия в качестве минимизируемого критерия использовалась функция F[47].
Однако данный критерий имеет следующие недостатки: - требует предположения о многомерном нормальном распределении наблюдаемых параметров; - чувствительность к объему выборки; - сложность нахождения численного решения при нелинейности системы. Вследствие данных недостатков невозможно использовать метод максимального правдоподобия к идентификации факторной модели процесса тестирования, а также моделей, отражающих структуру способностей и компетенций, имеющих нелинейную структуру.
Идентификация свободных параметров факторных моделей
В случае невозможности использования метода максимального правдоподобия для идентификации свободных параметров модели, предлагается новый критерий оценки адекватности представленных ранее факторных моделей способностей и моделей процесса тестирования, в соответствии с которым следует: - выразить аналитически наблюдаемые дисперсии и ковариации через свободные параметры используемой факторной модели, составив переопределённую систему алгебраических уравнений, которая, в общем случае, является нелинейной; - вычислить псевдорешение полученной системы уравнений с помощью подходящего численного метода; Указанная переопределенная система уравнений может быть представлена в следующем виде: F(x) = b, где F(x) - нелинейный оператор, действующий на вектор х свободных параметров модели, компоненты которого являются аналитическими выражениями прогнозируемых дисперсий и ковариаций наблюдаемых переменных через свободные параметры рассматриваемой факторной модели; b - вектор-столбец, составленный из выборочных оценок дисперсий и ковариаций наблюдаемых переменных.
Для вычисления данного псевдорешения может применяться любой подходящий численный метод нелинейной многомерной локальной оптимизации, в котором критерий минимизации представлен евклидовой нормой невязки. В частности, для этого приемлемы градиентные методы. В проведенном исследовании для идентификации свободных параметров модели использовался метод наименьших квадратов (МНК), как один из наиболее распространенных общих методов статистического оценивания. Основной особенностью МНК является то, что для его использования не требуется знание типа распределения случайной величины. МНК применяется для оценивания динамики неслучайных параметров и функций по результатам измерений, искаженных случайными погрешностями, а также для поиска зависимостей исследуемых показателей от различных измеряемых параметров и факторов [27,33,40].
Программные модули системы поддержки принятия решений при тестировании способностей и компетенций
Система поддержки принятия решений при тестировании интеллекта предполагает использование различных методов, реализация которых выделена в отдельные программные модули. Для адаптации системы к какой-либо тестовой методике необходимо предварительно провести тестирование на выборке испытуемых, идентифицировать факторные модели процесса тестирования с использованием пакета Solver программы MS Excel на полученных наборах данных для каждого из уровней развития способностей для результатов и времени, затраченного на ответы на вопросы тестовой методики. Вычисленные факторные нагрузки в дальнейшем используются в модулях системы, рассмотренных ниже.
Модуль генерации выборки с использованием метода Монте-Карло Для получения обучающей выборки, которая необходима для самоорганизующихся карт Кохонена, разработан модуль генерации нормально распределенной выборки параметров в окрестностях идентифицированной дисперсии фактора C1, пользователь может указать параметры генерации, идентифицированное значение дисперсии фактора, значения вычисленных факторных нагрузок модели, путь для сохранения. Экранная форма генерации значений методом Монте-Карло в системе поддержки принятия решений для тестирования способностей и компетенций
Генерацию выборок методом Монте-Карло необходимо провести для каждого из оцениваемых уровней развития способностей для моделей результатов и времени ответов на каждый из вопросов методики.
Модуль обучения самоорганизующихся карт Кохонена При разработке системы поддержки принятия решений требовалось реализовать модуль обучения самоорганизующихся карт Кохонена для оценки адекватности модели и последующего принятия решения об уровне развития способностей и компетенций испытуемого [30,36,39].
Сети Кохонена предполагают обучение без учителя, имеют два слоя: входной и выходной. Самоорганизующаяся карта учится распознавать кластеры в неразмеченных обучающих данных методом последовательных приближений. В процессе обучения родственные кластеры располагаются поблизости друг от друга в выходном слое, формируя топологическую карту. На каждом шаге обучения выбирается элемент, наиболее близкий к входному наблюдению. Веса данного элемента корректируется так, чтобы быть наиболее похожими на данное входное наблюдение. Алгоритм корректирует не только элемент-победитель, но и его окрестность. В процессе обучения окрестность постепенно сжимается, и вместе с тем уменьшается скорость обучения. Таким образом, на первых эпохах обучения одно наблюдение активирует большие группы элементов, а на последующих алгоритм настраивает веса элементов более точно. В результате итеративной процедуры обучения сеть организуется так, чтобы элементы обучающей выборки, расположенные близко друг от друга, будут располагаться близко и на топологической карте, представляющей двумерную решетку, которую необходимо отобразить в N-мерное пространство входов с сохранением исходной структуры данных. Итерационный алгоритм обучение самоорганизующейся карты состоит из последовательных эпох, на каждой из которых обрабатываются все элементы входных наборов данных и выполняется следующие операции: - определить элемент-победитель, расположенный ближе всего к входному примеру; - скорректировать элемент-победитель таким образом, чтобы он стал более похож на входной пример.
В данном алгоритме также производится корректировка коэффициента скорости обучения, в результате чего центр кластера будет находится в позиции, которая в достаточной степени представляет те наблюдения, на которых данный элемент выигрывал [42,23,74].
Реализованный модуль обучения самоорганизующихся карт Кохонена представлен на экранной форме (рис. 4.4). Пользователю доступен выбор параметров обучения: размер топологической карты, число эпох, начальное значение окрестности выигравшего нейрона, путь к файлу обучающей выборки. Также пользователь указывает число вопросов в субтесте, для которого проводится обучение.
По итогам обучения самоорганизующихся карт Кохонена, программа формирует набор итоговых расстояний от каждого элемента из обучающей выборки и соответствующего элемента-победителя для каждого числа вопросов субтеста и сохраняет их в папку для подходящего уровня способностей. Также программа формирует файлы с итоговыми весовыми коэффициентами, полученными в результате обучения.
Также пользователь имеет возможность в режиме реального время просматривать ход обучения карты для конкретного элемента из обучающей выборки (см. рис. 4.5), а также наблюдать за числом выигрышей элементов топологической карты и их распределением.
Полученные значения в дальнейшем используются в системе поддержки принятия решений для тестирования способностей и компетенций по соответствующей методике [29,83]. Фактически полный процесс адаптации системы для тестовой методики может быть описан следующей последовательностью действий: 4) Заказчик выбирает психологический тест, который планируется использовать при оценке способностей и компетенций. 5) Исследователь реализует требуемую методику и проводит эксперимент на выборке испытуемых. 6) Собранные данные позволяют идентифицировать факторную модель процесса тестирования для каждого из субтестов тестовой методики для различных уровней развития способностей по результатам и времени ответов. 7) Исследователь проводит генерацию выборки и обучение самоорганизующихся карт Кохонена с использованием соответствующих модулей, представленных ранее. 8) После завершения обучения полученные данные переписывается в каталог приложения. После запуска программы анализа все необходимые данные для работы остальных модулей системы будут загружены.
Модуль фильтрации артефактов тестирования с использованием фильтра Калмана
Система поддержки принятия решений реализует фильтрацию влияний факторов внешней среды с использованием фильтра Калмана, адаптированного для решения задачи тестирования способностей и компетенций.
Фильтрация проводится для каждого из оцениваемых уровней развития способностей, используя идентифицированные значения факторных нагрузок модели процесса тестирования, в результате чего формируется вектор , который в дальнейшем подается на вход обученной карты Кохонена.
