Содержание к диссертации
Введение
Глава 1. Теоретические и практические предпосылки подготовки экспертов в системе дополнительного профессионального образования 17
1.1. Сущность и назначение экспертизы в образовании 17
1.2. Основные подходы к обеспечению качества субъекта экспертизы 33
1.3. Функциональная модель процесса подготовки экспертов в системе дополнительного профессионального образования 54
Выводы по первой главе 81
Глава 2. Опытно-экспериментальная проверка функциональной модели подготовки экспертов в системе дополнительного профессионального образования 86
2.1. Организация опытно-экспериментальной проверки 86
2.2. Содержание и результаты опытно-экспериментальной работы 92
Выводы по второй главе 124
Заключение 128
Список литературы 133
Приложения 161
- Сущность и назначение экспертизы в образовании
- Основные подходы к обеспечению качества субъекта экспертизы
- Организация опытно-экспериментальной проверки
Введение к работе
Роль образования на современном этапе развития России определяется задачами ее перехода к демократическому и правовому государству, к рыночной экономике, необходимостью преодоления опасности отставания страны от мировых тенденций экономического и общественного развития. Для достижения поставленных перед образованием целей решается ряд взаимосвязанных задач, к числу которых отнесены:
достижение нового современного качества дошкольного, общего и профессионального образования;
обеспечение государственных гарантий доступности и равных возможностей получения качественного образования;
формирование в системе образования нормативно-правовых и организационно-экономических механизмов привлечения и использования внебюджетных ресурсов;
повышение социального статуса и профессионализма работников образования, усиление их государственной и общественной поддержки;
развитие образования как открытой государственно-общественной системы [82].
В основе выбранного государством подхода к обеспечению устойчивого развития образования лежит отказ от директивного управления, основными инструментами которого в XX веке были тотальная нормативная регламентация образовательной практики, поддержание ее единообразия на всей территории страны, жесткий контроль безусловного исполнения приказов и распоряжений «на местах». Современное законодательство Российской Федерации последовательно определяет и разграничивает компетенции и ответственность федеральных органов государственной власти, органов государственной власти субъектов Российской Федерации, органов местного самоуправления, образовательных учреждений;
устанавливает в качестве одного из основных принципов государственной политики в области образования принцип демократического, государственно-общественного характера управления образованием, самостоятельности (автономности) образовательных учреждений [65].
Повышение самостоятельности субъектов управления системой образования на всех уровнях сопровождается, во-первых, возрастанием количества принимаемых ими ответственных решений, а во-вторых, объективным усложнением ситуаций принятия этих решений, обусловленным общими политическими, социально-экономическими и культурными изменениями в стране и процессами модернизации системы образования в частности.
Это, в свою очередь, обусловливает повышение спроса со стороны субъектов управления образованием как лиц, принимающих решения, на услуги различных интеллектуальных служб (экспертных, аналитических, мониторинговых и пр.), способных содействовать принятию наиболее обоснованных и целесообразных решений, направленных на обеспечение устойчивого функционирования и развития образования.
Анализ теоретических источников и имеющегося практического опыта позволяет сделать вывод о том, что хотя экспертиза, в том числе в образовании, стала объектом специальных научных исследований сравнительно недавно — лишь во второй половине XX века — на сегодняшний день в этой области имеются значительные наработки.
В 60-70-х годах XX века эмпирическое представление об экспертизе и экспертной деятельности, стихийно сложившееся в предшествующий исторический период, было теоретически осмыслено на основе философских представлений о ценностной предметности. Экспертное оценивание представлено как особый метод оценивания качества материальных и иных объектов, основанный на субъективных оценках экспертов в случаях, когда другие, объективные средства оценивания качества этих объектов
отсутствуют (неизвестны) или недоступны (Г. Г. Азгальдов, С. Д. Бешелев, Ф. Г. Гурвич, Л. Г. Евланов и другие).
Разработке экспертной проблематики применительно к сфере образования посвящены работы II. Г. Алексеева, О. С. Анисимова, С. Л. Братченко, Г. Н. Прозументовой, А. И. Субетто, В. С. Черепанова и др. Особое внимание в них уделяется разработке вопросов формирования критериально-оценочных баз оценивания для отдельных классов ситуаций с учетом специфики сферы образования, процедур организации и проведения экспертизы, стратегии и тактики экспертной деятельности.
Начиная с 90-х годов XX века, экспертиза в образовании приобретает все более массовый характер. Вследствие нормативного закрепления обязательности проведения экспертизы при лицензировании и государственной аккредитации образовательных учреждений, аттестации кадров и ряде других распространенных ситуаций принятия ответственных решений, в нее вовлекается все большее число лиц (работников образования, представителей общественности и т.д.).
Соответственно, значительные научные усилия сосредоточиваются на исследовании проблем, связанных с качеством субъекта экспертизы. Выделены основания для классификации субъектов экспертизы, сформированы и обоснованы различные наборы требований, предъявляемых к экспертам, определен порядок измерения качества субъекта экспертизы и (или) отбора экспертов в той или иной конкретной экспертной ситуации (С. Г. Баронене, Н. Г. Калашникова, А. Н. Кузибецкий, Т. Г. Новикова, А. И. Субетто, В. С. Черепанов и др.). Накоплен практический опыт подготовки различных категорий лиц для участия в экспертизе: освоение основных методов получения и математико-статистической обработки экспертных оценок (Д. С. Шмерлинг); подготовка специалистов системы образования к работе в экспертных группах в рамках аттестации руководящих и педагогических работников (Н. И. Буренчева, А. П Долгов,
Л. И. Филатова и др.); подготовка экспертов для работы в комиссиях по аттестации дошкольных образовательных учреждений (И. И. Драниикова, Ы. Г. Калашникова, М. В. Крулехт, И. В. Тельнюк и др.); подготовка учителя к экспертной деятельности (Е. А. Федорова, Р. М. Шерайзина и др.); психолого-педагогическая подготовка специалистов экспертных групп образовательных учреждений (Т. В. Сидорина); спецпрактикум по экспертизе современных образовательных технологий и сред (В. А. Гуружапов). Аналогичные по целевым ориентирам и содержанию образовательные программы реализуются практически во всех учреждениях дополнительного профессионального образования работников образования Российской Федерации.
Однако в большинстве случаев содержание и способы подготовки экспертов в рамках соответствующих образовательных программ ориентированы либо на определенную категорию лиц по профессионально-должностному признаку (учителя, педагоги-психологи и т.д.), либо на освоение конкретной экспертной методики, либо «привязаны» к отдельному объекту экспертизы (программа развития образовательного учреждения, аттестация педагогических работников и т.д.). Подобная ориентация является следствием, с одной стороны, общего стремления к формализации (стереотипизации) экспертной деятельности в целях уменьшения интеллектуальных, временных и иных затрат в условиях массового спроса на экспертизу (А. И. Субетто), а с другой стороны, недостаточной разработанности общих оснований определения целей, содержания и способов подготовки лиц, привлекаемых к экспертизе в образовании. Сложившаяся ситуация усугубляется существованием нескольких теоретических школ (течений), существенно различающихся в своих подходах к пониманию и способам решения проблем экспертизы в образовании (гуманитарная экспертиза, общественная экспертиза и др.). При этом суть и содержание различий между ними предметом специального
изучения еще не становились, что обусловливает возникновение дополнительных затруднений, как на этапе подготовки экспертов, так и в процессе практической экспертизы, когда в ней принимают участие представители разных экспертных школ.
Таким образом, анализ состояния подготовки и повышения квалификации работников образования в области экспертизы позволил зафиксировать следующие противоречия:
между признанием уникальности каждой конкретной ситуации (объекта) экспертизы, обусловливающим недопустимость стандартизации экспертной деятельности, и отмеченным выше общим стремлением к ее формализации (стереотипизации) в массовой практике;
между потребностью в концептуальном, научно-методическом обеспечении процесса подготовки лиц, принимающих непосредственное участие в организации и проведении экспертизы в образовании, и недостаточной разработанностью этой проблемы в педагогической науке;
между необходимостью обеспечения предметно-процессуальной целостности подготовки экспертов и существенно различающимися теоретическими и практическими подходами как к экспертизе в образовании, так и к способам организации и осуществления подготовки экспертов.
Необходимость разрешения названных противоречий определила проблему настоящего исследования: каковы организационно-педагогические условия подготовки экспертов, соответствующей потребностям современной образовательной и управленческой практики.
Цель исследования заключалась в выявлении и опытно-экспериментальной проверке организационно-педагогических условий подготовки экспертов из числа работников образования и (или) других категорий лиц к выполнению работ, связанных с организацией и проведением экспертиз в образовании.
С учетом поставленной цели в качестве объекта исследования был определен процесс подготовки экспертов в образовательном учреждении дополнительного профессионального образования, а в качестве предмета -организационно-педагогические условия подготовки экспертов.
Гипотеза исследования состояла в предположении, что процесс подготовки экспертов в образовательном учреждении дополнительного профессионального образования будет результативным, если этот процесс осуществляется на основе функциональной модели, предусматривающей следующие организационно-педагогические условия:
раскрытие и (само)анализ содержания и источников личного профессионального и жизненного опыта обучающихся на основе деятелыюстного подхода к обучению;
ориентацию на освоение не стандартизованных методик, а способов разработки и практического применения индивидуальных экспертных средств, адекватных объекту экспертизы (конкретной экспертной ситуации);
возможность выбора обучающимися организационных форм, методов обучения с учетом своих образовательных запросов и достигнутого уровня индивидуального развития;
обогащение рефлексивно-критического и конструктивно-преобразовательного отношения к своей учебной, профессиональной и собственно экспертной деятельности.
Проблема, цель и выдвинутая гипотеза исследования предопределили необходимость постановки и решения следующих задач:
Выявить и обосновать сущность и назначение экспертизы в образовании.
Определить специфику различных подходов к обеспечению качества экспертизы в образовании и обобщить практический опыт
соответствующей подготовки организаторов и исполнителей экспертизы (экспертов).
Разработать и экспериментально проверить функциональную модель процесса подготовки экспертов в образовательном учреждении дополнительного профессионального образования, рассматриваемую в качестве организационно-педагогической основы для проектирования и реализации дополнительных профессиональных образовательных программ в области экспертизы в образовании.
Выработать и внедрить в практику научно обоснованные рекомендации по организации подготовки экспертов, организации и проведению экспертизы различных объектов в сфере образования.
Теоретико-методологическую основу исследования составили работы в области методологии деятельности (Н. Г. Алексеев, А. М. Новиков, Г. X. Валеев и другие), психологической теории деятельности (Л. С. Выготский, А. Н. Леонтьев, П. Я. Гальперин и др.); коммуникации и понимания (Л. Н. Алексеева, Б. 3. Вульфов, В. В. Знаков и другие); идеи гуманизации, личностной ориентированности образования, его диалогической природы (Е. В. Бондаревская, В. В. Гузеев, В. В. Сериков и другие).
Исследование опиралось на теорию учебной деятельности (Д. Б. Эльконин, В. В. Давыдов, В. В. Рубцов и другие); рефлексивного мышления и методов интенсивного обучения (А. А. Вербицкий, СЮ. Степанов, И. Н. Семенов и другие); моделирования, проектирования и оптимизации образовательных систем (Ю. К. Бабанский, И. Д. Чечель, П. Г. Щедровицкий и другие), развития систем повышения квалификации (С. Г. Вершловский, В. Г. Воронцова, Э. М. Никитин, А. П. Ситник и другие).
В ходе исследования были использованы законодательные и иные нормативные акты федеральных государственных органов власти по вопросам образования, организационно-распорядительные документы
федеральных государственных органов управления образованием, государственных органов управления образованием субъектов Российской Федерации, инструктивно-методические материалы, касающиеся вопросов организации и проведения экспертизы в системе образования.
Для решения поставленных задач и проверки исходных предположений был использован комплекс взаимодополняющих методов исследования:
анализ философской, педагогической, психологической и методической литературы в области экспертизы в образовании и повышения квалификации работников образования в данной области;
сравнительно-дидактический анализ учебных планов и программ повышения квалификации управленческих и педагогических кадров в области экспертной деятельности; наблюдение за реальной деятельностью экспертов и слушателей системы повышения квалификации работников образования; опрос (анкетирование) руководящих и педагогических работников;
функциональное моделирование образовательного процесса в образовательном учреждении дополнительного профессионального образования; проектирование дополнительных профессиональных образовательных программ; экспертные оценки хода и результатов проектировочных работ;
педагогический эксперимент в сочетании с экспертным анализом продуктов деятельности обучающихся и методами математико-статистической обработки эмпирических данных; рефлексивный анализ результатов наблюдений и педагогического эксперимента.
Решение задач исследования осуществлено в несколько этапов.
На первом этапе (1999-2002 гг.) исследование было направлено на выявление современного состояния исследуемой проблемы в теории и практике, определены проблема, объект, предмет и гипотеза исследования; разработана функциональная модель подготовки экспертов в
образовательном учреждении дополнительного профессионального образования, определены требования к соответствующим дополнительным профессиональным образовательным программам.
На втором этапе исследования (2002-2006 гг.) на основе разработанной функциональной модели разработан и реализован ряд дополнительных профессиональных образовательных программ в области экспертизы в образовании, создано и апробировано соответствующее методическое обеспечение; выявлена результативность реализованных образовательных программ и объективность сформулированных в гипотезе положений.
На третьем этапе (2006-2009 гг.) проведен анализ и систематизация данных, полученных в ходе опытно-экспериментальной проверки, сформулированы основные выводы и рекомендации, осуществлено их внедрение в образовательную и управленческую практику; осуществлено литературное оформление диссертации.
Основу источниковой базы исследования составили нормативные,
организационно-распорядительные и информационно-методические
документы органов управления образованием федерального и регионального уровней, научные, производственные и учебные издания по проблематике исследования, публикации в научно-педагогической периодической печати, включая веб-публикации, за последние 15 лет. В исследовании массовых представлений об эксперте в образовании приняли участие более 200 руководящих и педагогических работников г.г. Барнаула, Новокузнецка, Новосибирска, Бийска, Рубцовска, а также 17 сельских районов Алтайского края. В качестве опытно-экспериментальной базы исследования выступали Алтайский краевой институт повышения квалификации работников образования (Барнаул), включая его Бийский филиал, 26 муниципальных методических служб городов и районов Алтайского края, 14 федеральных и краевых экспериментальных площадок на базе образовательных учреждений различных типов и видов, в том числе на территории Республики Алтай.
Участие автора в получении научных результатов состоит в теоретической разработке основных положений и идей диссертации, проведении педагогического эксперимента по апробации функциональной модели процесса подготовки экспертов в системе дополнительного профессионального образования, анализе полученных данных и разработке предложений и научных рекомендаций по обеспечению качественного проведения педагогических, психолого-педагогических и иных экспертиз в сфере образования. Изложенные в диссертации результаты получены автором самостоятельно.
На защиту выносятся следующие положения:
1. Экспертиза в образовании представляет собой вид
информационного обеспечения процесса принятия органами управления
образованием целесообразных и обоснованных решений в сфере своей
компетенции в условиях информационной неопределенности (т.е. ввиду
недостаточности и (или) противоречивости информации об объекте
управления, его внешней среде и т.д.).
При этом экспертиза не сводится к использованию лишь определенной технологии (метода экспертных оценок как такового), но, напротив, может осуществляться всеми доступными средствами, включая стандартизованные измерительные, аналитические и иные методики, релевантные целям экспертизы (концепту экспертной задачи в ситуации принятия органом управления конкретного решения).
2. Наиболее существенные различия между существующими
теоретическими школами (течениями) в решении организационных,
содержательных и иных проблем экспертизы в образовании, в том числе
проблемы качества субъекта экспертизы, обусловлены их различиями в
решении основных гносеологических вопросов о природе истины и путях ее
достижения.
Преобладающей тенденцией в развитии научных взглядов на способы обеспечения качества субъекта экспертизы в образовании является эволюция от идеи отбора наиболее компетентных экспертов из множества кандидатов в эксперты, господствовавшей в середине XX века, к идее специальной подготовки необходимого числа экспертов посредством соответствующих образовательных программ дополнительного профессионального образования.
Функциональная модель, представляющая процесс подготовки экспертов как систему, состоящую из четырех взаимосвязанных функциональных компонентов (организация совместной деятельности; целеполагание; формирование и освоение учебного содержания; анализ и оценка результатов) на основе принципов обучения взрослых, определяет достаточную совокупность организационно-педагогических условий для проектирования и реализации дополнительных профессиональных образовательных программ в области экспертизы в образовании.
Ключевым концептом, определяющим специфичность содержания данной функциональной модели, является личный профессиональный и жизненный опыт участников образовательного процесса, актуализируемый и преобразуемый в процессе подготовки экспертов.
Научная новизна исследования заключается в:
выделении совокупности оснований для морфологического анализа теоретических подходов к экспертизе в образовании, включающей признание объективной или субъективной природы истины, целесообразности рационального или иррационального (интуитивного) познания действительности, определенное решение вопроса о предметно-профессиональной компетентности экспертов и их необходимой численности для получения качественного продукта экспертизы;
разработке функциональной модели процесса подготовки экспертов в системе дополнительного профессионального образования,
основанного на личном профессиональном и жизненном опыте участников образовательного процесса;
в определении показателей результативности процесса
подготовки экспертов, отражающих качество организации и выполнения
экспертных работ и способствующих разрешению противоречия между
признанием уникальности каждой конкретной экспертной ситуации и
стремлением к стереотипизации экспертной деятельности в массовой
образовательной и управленческой практике.
Теоретическая значимость исследования определяется тем, что в результате его:
уточнено понятие «экспертиза в образовании», определены существенные отличия экспертизы от научного исследования, консультирования, педагогического и организационного проектирования, инспектирования в образовании в зависимости от места данной деятельности целей, способов и времени ее осуществления по отношению к процессу принятия решений по управлению функционированием и (или) развитием объекта управления,
систематизированы существующие подходы к организации и проведению экспертизы в образовании;
осуществлено функциональное моделирование процесса повышения квалификации в области экспертизы как системы, состоящей из четырех основных функциональных компонентов (организация совместной деятельности; целеполагание; формирование и освоение учебного содержания; анализ и оценка результатов), исследованы отношения между ними; показаны возможности использованной методологии функционального моделирования IDEF0 для целей оптимизации образовательного процесса в системе дополнительного профессионального образования.
Практическая значимость исследования заключается в том, что полученные в ходе исследования результаты и выводы доведены до конкретных методических рекомендаций, которые могут быть использованы для проектирования вариативных образовательных программ повышения квалификации работников образования в области экспертизы и последующей реализации этих программ; повышении качества вновь принимаемых управленческих решений в сфере образования за счет совершенствования организационно-содержательного и кадрового обеспечения соответствующих экспертных работ.
Достоверность результатов исследования и обоснованность сделанных выводов исходными методологическими позициями; сочетанием теоретических и эмпирических методов исследования, адекватных предмету, цели и задачам исследования; репрезентативностью собранных эмпирических и теоретических данных.
Основные положения и результаты исследования были представлены и получили одобрение на международных и всероссийских (Онгудай, Республика Алтай, 2007; Челябинск, 2008; Новосибирск, 2008; Барнаул, 2009); межрегиональных (Чита, 2006; Иркутск, 2007; Горно-Алтайск, 2008); региональных (Барнаул, 2001, 2003, 2006, 2007, 2008) научно-практических конференциях.
На основе результатов исследования разработаны, приняты и введены в действие на региональном уровне (уровне субъекта Российской Федерации) десять нормативных правовых актов, определяющих порядок организации и проведения экспертизы в различных управленческих ситуациях, в том числе связанных с реализацией приоритетного национального проекта «Образование» (2006-2008 гг.) и регионального комплексного проекта модернизации образования в Алтайском крае (2007-2009 гг.). Начиная с 2004 года, в практике подготовки экспертов государственных комиссий по лицензированию и государственной аккредитации образовательных
учреждений Алтайского края используется практическое руководство (методические рекомендации), разработанное в ходе исследования. Осуществлено организационно-методического обеспечение экспертизы в рамках конкурсов общеобразовательных учреждений, внедряющих инновационные образовательные программы, и лучших учителей Алтайского края, а также конкурсного отбора кандидатов на премии для поддержки талантливой молодежи.
Апробированные в ходе исследования образовательные программы повышения квалификации работников образования в области лицензионной экспертизы (государственной аккредитации общеобразовательных учреждений), проведения региональных конкурсов внедрены в образовательный процесс КГОУ ДПО «Алтайский краевой институт повышения квалификации работников образования» (АКИПКРО).
Сущность и назначение экспертизы в образовании
Возникновение института экспертов как такового следует отнести к весьма отдаленным временам в истории человечества. Когда общеизвестные, доступные широкому кругу людей алгоритмы познания, оценки или принятия решений в той или иной неординарной ситуации не срабатывали или попросту отсутствовали, довольно часто обращались за советом, помощью или подсказкой к умудренным жизненным и (или) профессиональным опытом, уважаемым людям (лат. expertus — опытный). Одной из первых известных институциональных форм экспертизы можно считать советы старейшин рода (племени), возникшие уже в доисторические времена и существующие по сей день.
Появление самих терминов «эксперт» и «экспертиза» относится ко второй половине XIX века. Согласно Толковому словарю живого великорусского языка В.И.Даля (1882) «экспертом» называют знатока, сведущего и опытного в каком-либо деле человека. Примечательно, что по В. И. Далю эксперт - не просто знаток, а присяжный знаток, понятой [54].
Термин «экспертиза» обнаруживается в Энциклопедическом словаре Ф.А.Брокгауза и И.А.Ефрона (1890-1907) и обозначает истолкование и установление таких фактов и обстоятельств, для удостоверения которых необходимы специальные познания в какой-нибудь науке, искусстве, ремесле или промысле. Экспертами, или сведущими людьми, называют лиц, обладающих соответствующими познаниями и приглашаемых в суд или в другое учреждение для подачи своих мнений [104].
Аналогичная семантика слов «эксперт» и «экспертиза» отражена и в Толковом словаре русского языка Д. И. Ушакова, изданном в 1935-1940 гг. и считающимся — в плане корректности дефиниций — лучшим толковым словарем при работе с русскоязычными текстами XIX и первой половины XX века [205].
Современное общепринятое определение экспертизы трактует ее как исследование вообще каких-либо вопросов, решение которых требует специальных познаний в области науки, техники, искусства и т.п. [19], то есть экспертиза рассматривается не только в рамках уголовного или иного судопроизводства, а в гораздо более широком контексте. Примечательно, что указание на необходимость соответствующих, специальных познаний для проведения экспертизы, присутствующее в большинстве изданных на сегодняшний день словарей и энциклопедий, сопровождается, как правило, более или менее полной классификацией экспертиз по предметно-профессиональному признаку (экспертиза судебно-медицинская, архитектурно-строительная, бухгалтерская и т.д.).
Начало специальных научных исследований в области экспертизы относят к 60-ым годам XX века [62]. Одним из первых было оформлено представление об экспертизе как оценивании качества материальных и идеальных объектов, которое мы соотносим с квалиметрическим подходом (Г. Г. Азгальдов, С. Д. Бешелев, Ф. Г. Гурвич, Л. Г. Евланов и др.). Философско-методологической основой этого и некоторых других подходов к экспертизе является определенное решение одного из важнейших гносеологических вопросов - вопроса о природе истины.
Квалиметрический подход основывается на признании существования объективной, не зависящей от сознания человека истины и ее единственности {истинностный монизм). Человек располагает в принципе возможностью достижения истины, но может претендовать на обладание лишь относительной истиной, в той или иной степени близкой к объективной (абсолютной) истине. Из такого понимания вытекает ряд принципиальных следствий, принимаемых квалиметристами в качестве основных постулатов:
экспертиза представляет собой механизм формирования оценочных суждений о каком-либо объекте в условиях информационной неопределенности, т.е. отсутствия общепризнанных эталонов для оценки данного объекта, недостаточности или противоречивости информации о нем и т.д.;
индивидуальная оценка любого эксперта имеет субъективный, в значительной мере интуитивный характер, поэтому максимально возможное приближение к объективной истине может быть достигнуто лишь за счет привлечения нескольких экспертов и последующего сведения их индивидуальных оценок в общую итоговую оценку на основе математических (вероятностно-статистических) методов;
непосредственное общение экспертов в ходе оценивания, как правило, исключается — во избежание трудно предсказуемого и практически неконтролируемого влияния экспертов друг на друга (стихийное возникновение групповой иерархии, огрупплеиие мышления и др.), чреватого очевидными негативными последствиями;
необходимое качество результатов экспертизы достигается, с одной стороны, за счет отбора на роль экспертов наиболее компетентных в соответствующей предметной области специалистов, а с другой стороны, четкой регламентацией процедурных моментов экспертизы.
Основные подходы к обеспечению качества субъекта экспертизы
Хотя к числу субъектов экспертизы правомерно отнести не только ее непосредственных исполнителей (т.е. экспертов), но и организаторов и заказчиков экспертизы, наибольшее освещение в научной и иной литературе на сегодняшний день получил вопрос о качестве именно исполнителей экспертизы.
В рамках квалиметрического подхода этот вопрос рассматривается в контексте принятия решения о выборе конкретных экспертов из множества возможных кандидатов (А. И. Субетто, В. С. Черепанов и др.). Предмет оценивания при этом формируется путем определения показателей качества субъекта экспертизы с последующим их структурированием (например, по содержательно-иерархическому признаку) и комплексированием. Применительно к отдельному эксперту это означает выделение определенных требований к личностным, профессиональным и иным качествам, наиболее значимым в плане экспертизы. На сегодняшний день существует достаточно значительное количество различных вариантов перечней таких требований.
Так, по мнению С. Д. Бешелева и Ф. Г. Гурвича, идеальный эксперт должен отличаться: креативностью — способностью решать творческие задачи, метод решения которых полностью или частично неизвестен, эвристичностъю - способностью видеть или создавать неочевидные проблемы, развитой интуицией — способностью делать заключение об исследуемом объекте без осознания пути мысли к этому заключению, предикаторностью - способностью предсказывать или предчувствовать будущие состояния объекта, независимостью - способностью противопоставлять предубеждениям и мнениям других людей, в том числе больших групп людей, свое собственное, всесторонностью - способностью видеть проблему с разных точек зрения [17].
В перечне, составленном Л. Г. Евлановым, более значительное место занимают социально-психологические (личностные) качества: положительное отношение к экспертизе, конформизм-нонконформизм3, коллективизм и самокритичность в сочетании предметной компетентностью, креативностью и конструктивностью мышления [62J. Все это, как признает сам Л. Г. Евланов, трудно согласуется в одном человеке. Поэтому на практике он предлагает опираться на один показатель: достоверность су.ждений по результатам прошлых экспертиз, определяемую как отношение числа случаев, когда эксперт дал решение, приемлемость которого подтвердилась практически, к общему числу случаев его участия в экспертизах. В этом его поддерживает и В. Н. Спицнадель [195].
По В. С. Черепанову, качество отдельного эксперта определяется: а) его компетентностью, б) заинтересованностью, в) деловитостью и г) объективностью. Компетентность эксперта, в свою очередь, складывается из профессиональной (предметной) компетентности и квалиметрической (экспертной) компетентности, которая предполагает знакомство эксперта с методологией экспертного решения исследуемой задачи.
Результат оценки качества эксперта предстает в виде его индивидуального коэффициента компетентности. Компетентными для конкретной ситуации оценивания и, следовательно, подлежащими включению в состав экспертной группы признаются те кандидаты, коэффициент компетентности которых превосходит некоторое заранее установленное пороговое, допустимое значение [221].
Очевидно, что при такой отчетливо меритократической ориентации в части обеспечения качества субъекта экспертизы вопрос о необходимости специальной подготовки экспертов, прошедших достаточно жесткий отбор, не стоит. Более или менее актуальной при этом остается лишь проблема преодоления экспертного субъективизма, т.е. чрезмерных субъективных влияний отдельных экспертов на конечный результат, вследствие, например, неосознанных нарушений ими установленных процедур или индивидуальных различий в используемом понятийно-терминологическом аппарате (Г. Г. Азгальдов, А. И. Субетто, В. С. Черепанов и др.).
Решение этой проблемы видится в проведении перед началом экспертизы общего инструктажа, призванного, с одной стороны, проинформировать экспертов об особенностях конкретной экспертной ситуации, а с другой, преодолеть возможные негативные когнитивные и оценочные стереотипы (тенденции) экспертов. В ходе такого инструктажа разъясняются цели и назначение конкретной экспертизы, принятые в ней термины и определения (дефиниции), процедура проведения экспертизы. Экспертов информируют о наиболее распространенных ошибках, мерах по их преодолению, которые будут приняты, о рекомендуемых методах обработки данных и т.д. [221].
Иллюстрацией содержания такого инструктажа могут служить «Методические рекомендации для эксперта аттестационной комиссии по анализу содержания и качества подготовки по направлению (специальности) высшего учебного заведения», подготовленные Государственной инспекцией по аттестации учебных заведений России и Исследовательским центром проблем качества подготовки специалистов Московского института стали и сплавов (технологического университета). В указанных рекомендациях даны рабочие определения основных понятий в контексте аттестационной экспертизы вуза, определены цели и задачи экспертизы, указаны источники (виды) данных об объект экспертизе, которыми обязан воспользоваться эксперт, перечислены критерии (показатели) экспертной оценки. Для обеспечения сведения частных оценок экспертов в общую, итоговую оценку установлены вид и размерность единой оценочной шкалы, указаны контрольные значения основных показателей [110].
Организация опытно-экспериментальной проверки
Эксперимент по опытной проверке совокупности организационно-педагогических условий результативности процесса подготовки экспертов, сформулированных в основной гипотезе и теоретически исследованных на основе представленной выше функциональной модели, проведен в несколько этапов. На подготовительном этапе эксперимента в соответствии с общими целями и задачами исследования была сформулирована рабочая гипотеза, представляющая собой операционализированный вариант основной гипотезы. Соответственно, был определен состав независимых и зависимых переменных, подлежащих измерению (оцениванию) в целях достоверного подтверждения или опровержения рабочей гипотезы.
В качестве независимой переменной определена реализация дополнительной профессиональной образовательной программы подготовки экспертов в организационно-педагогических условиях, соответствующих разработанной функциональной модели. Несмотря на то, что данная переменная имеет сложный состав в рамках данного эксперимента декомпозировать ее на составляющие было признано нецелесообразным.
Зависимой переменной согласно основной гипотезе является результативность подготовки экспертов в образовательном учреждении дополнительного профессионального образования. Она была представлена в двух показателях, отражающих индивидуальную и общую результативность. Показатель, отражающий индивидуальную результативность обучения, сформирован на основе идеологии компетентностного подхода и выражает способность обучающегося разработать на основе освоенного культурного опыта и реализовать программу экспертизы, адекватную конкретной управленческой ситуации (ситуации принятия решения) и особенностям объекта управления, в отношении которого должно быть принято решение. В качестве отчужденной (т.е. поддающейся внешнему оцениванию) формы проявления этой общей компетентности рассматривается продукт реальной экспертизы, организованной и (или) непосредственно выполненной обучающимся — подготовленное им итоговое экспертное заключение.
Содержание экспертного заключения является одним из наиболее надежных индикаторов указанной компетентности, позволяя определить:
четко ли уяснил эксперт цель экспертизы; вопросы, на которые должны быть даны ответы; существо решения, которое может быть принято по результатам экспертизы, и его возможные последствия;
адекватны ли действия, предпринятые экспертом (выбранные им методики, техники и т.д.) цели экспертизы и особенностям объекта экспертизы;
обоснованы ли действия эксперта с точки зрения соответствующей науки и (или) имеющегося культурного опыта организации и проведения экспертизы;
полно ли обследован объект экспертизы в соответствии с поставленными целями (задачами, вопросами);
последовательны (согласованы) ли действия эксперта, наличествует ли логико-содержательная связь между выявленными в ходе экспертизы фактами (собранными данными) и итоговыми выводами (оценками, предложениями и т.п.);
доступно ли для понимания другими лицами содержание экспертного заключения, в т.ч. ответы, данные экспертом на поставленные перед ним вопросы; являются ли эти ответы достаточно определенными (однозначно понимаемыми).
Приведенные оценочные позиции, с одной стороны, охватывают как этап организации (планирования, формирования программы), так и этап непосредственно выполнения экспертизы; с другой стороны, в них находят реальное отражение когнитивная, деятелыюстно-поведенческая и мотивационно-цепностная составляющие экспертной компетентности в том их содержании, которое было определено выше. Учитывая то обстоятельство, что данная компетентность проявляется в умении действовать адекватно конкретной ситуации, то для ее более достоверной фиксации каждому обучающемуся предлагалось организовать и (или) провести не менее двух экспертиз, существенно различающихся по характеру объекта экспертизы и (или) ситуации принятия решения, облсуживаемого данной экспертизой.
Показатель, отражающий общую результативность процесса подготовки экспертов и непосредственного учитываемый при решении вопроса о принятии или отклонении выдвинутой гипотезы, формируется на основе данных об индивидуальной результативности и отражает долю (удельный вес) экспертных заключений, в которых присутствуют все выделенные выше признаки качественного выполнения экспертизы, в общем количестве экспертных заключений (в процентах).
Общий план проведения эксперимента был основан на создании экспериментальной и контрольной групп с однократным измерением зависимой переменной, осуществляемым после экспериментального воздействия. Данный план не предусматривал предварительного (входного) измерения зависимой переменной, назначение и смысл которого в классическом эксперименте состоят в том, чтобы удостовериться в «равенстве» экспериментальной и контрольной групп (отсутствии изначального смещения между ними). В рамках данного эксперимента выполнение этого требования обеспечивалось за счет применения рандомизации при формировании обеих групп.
