«Оценочные исследования в социологии: история, методология и перспективы применения в сфере образования» Абрамова Надежда Владиславовна

Содержание к диссертации

Введение

Глава 1. История развития оценочных исследований в социологии 17

1.1.История оценочных исследований: идеология, цели, контекст 18

1.2. История оценочных исследований: становление основных методологических подходов 36

1.3. Исследования образования в России как область применения методологии оценочных исследований 75

Глава 2. Социология образования взрослых как содержательная область применения оценочных исследований 88

2.1.Социологические интерпретации концепций «непрерывного/ пожизненного обучения взрослых» 88

2.2. «Концептуальная сфера» непрерывного образования взрослых: обучающееся общество, обучающаяся организация, человеческий капитал, социальный капитал 102

Глава 3. Методологическое кейс–стади опросного инструментария оценочного исследования (на примере Президентской программы подготовки управленческих кадров 127

3.1.Историческая справка о программе подготовки управленческих кадров 132

3.2. Вторичный методический анализ опросного инструментария: исследование структуры «Анкеты специалиста» и анализ отчётов экспертов 141

3.3.Построение концептуальной модели воздействия программы 149

Заключение 178

Список литературы

• История оценочных исследований: становление основных методологических подходов
• Исследования образования в России как область применения методологии оценочных исследований
• «Концептуальная сфера» непрерывного образования взрослых: обучающееся общество, обучающаяся организация, человеческий капитал, социальный капитал
• Вторичный методический анализ опросного инструментария: исследование структуры «Анкеты специалиста» и анализ отчётов экспертов

Введение к работе

Актуальность темы диссертационного исследования

В последние годы оценочные исследования стали важным элементом социальной
политики и исследовательской практики в России. В частности, это связано с внедрением
новых принципов управления социальной политикой и проведением масштабных реформ
в образовании и других сферах. Принятие или непринятие предлагаемых перемен
определяется в значительной мере тем, как оцениваются нововведения населением и с
какими фундаментальными ценностными и институциональными основаниями связаны
те или иные оценки этих изменений. Образование, наряду со здравоохранением, является
базовой социальной сферой, и потому оценка положения дел здесь особенно важна с
точки зрения результативности проводимых преобразований. Именно поэтому в западных
странах, и в первую очередь в США, первые оценочные исследования стали проводиться
параллельно с началом масштабных социальных реформ в сфере образования и

здравоохранения.

Под оценочным исследованием мы, вслед за американским социологом К. Вейзом, понимаем «систематическое оценивание процесса или результатов программы социальной политики, которые сравниваются по набору явных и скрытых параметров, с целью улучшения всего направления социальной политики или отдельной программы»¹.

В последние десятилетия практика организации оценочных исследований получила широкое распространение в России, и на этом фоне стало актуальным проведение критического анализа и систематизации подходов к методологии оценочных исследований, выявление основных проблем, трудностей и перспектив, что позволило бы повысить эффективность реализации социальных программ.

Оценочные исследования обычно являются необходимым элементом программ реформирования сферы образования и ориентированы на решение практических задач социально-экономического характера и развития человеческого капитала. Оценочные исследования призваны определить результативность этих образовательных программ как элемента социальной политики.

Оценочные исследования имеют ряд методологических особенностей, которые недостаточно изучены и в неполной мере учитываются в текущей практике социологических исследований. К таким особенностям можно отнести следующие: учт в оценке результатов социальных программ целей и интересов не только инициирующих эти программы организаций и акторов (правительственных и неправительственных), но и целей и интересов потенциальных реципиентов (например, молодых менеджеров), а также косвенных бенефициаров (например, родителей и нанимателей). Кроме того, для

¹ Weiss C.H. Evaluation. Methods for studying programs and policies. New Jersey: Prentice Hall. 1998. P. 4.

методологии оценочных исследований характерна ориентация на практическую эффективность при минимизации прямых и косвенных издержек. Тем не менее, несмотря на наличие ряда работ, посвященных анализу отдельных методологических проблем оценивания, до настоящего времени не было предпринято комплексного анализа методологии оценочных исследований и не были предложены основанные на этом анализе пути решения наиболее актуальных задач повышения надежности и валидности получаемых в подобных исследованиях результатов.

Нарастающий интерес политиков к оценочным исследованиям в России приводит к
необходимости совершенствования методологической базы в этой области. Несмотря на
имеющийся опыт подобных работ, в настоящее время Россия находится на начальном
этапе развития оценочных исследований и существует небольшое количество
эмпирических исследований по данному направлению. Исходя из этого, представляется
актуальным проанализировать имеющиеся методологические проблемы оценочных

исследований с учтом опыта российских исследований и с привлечением зарубежного опыта в этой области.

Отдельно следует отметить значительный опыт проведения оценочных исследований, накопленных американскими и европейскими авторами. В России эта теоретико-методологическая база используется недостаточно активно и в контексте нашей работы целесообразно провести теоретико-методологический анализ западного опыта.

Степень научной разработанности проблемы

В качестве отдельного направления процесс формирования практики оценочных исследований начался в середине 1960-х гг. вместе с появлением широкомасштабных программ социальной поддержки малообеспеченных слов общества в большинстве развитых стран.

Работы, представляющие ценность в контексте данного исследования, условно можно разделить на два направления: теоретико-методологические (где проводится анализ и предлагается решение ряда методологических задач, стоящих перед оценочными исследованиями) и эмпирические (в них описаны и приведены результаты исследований). Первое направление рассматривает методологические вопросы оценочных исследований. К таким работам относятся исследования Х. Воллмана², Д. Кэмпбелла³, Х-Т. Чена и П. Росси⁴, Г. Гордона и И. Морза⁵, К. Вейза⁶, Д. Грина⁷, а в России – Д. Б. Цыганкова⁸,

² Wollmann H. Evaluation in Public Sector Reform. Northampton: Edgar Elgar. 2003. P. 1-11.

³ Кэмпбелл Д. Модели экспериментов в социальной психологии и прикладных исследованиях. М.: Прогресс,
1980.

⁴ Chen H.-T., Rossi P.H. Evaluating with sense: The theory driven approach // Evaluation Review. 1983. №7.P. 283.

⁵ Gordon G., Morse E.V. Evaluation Research // Annual Review of Sociology. 1975. V.1.. P. 352-354.

⁶ Weis C.H. Evaluation. New Jersey, Prentice Hall, 1998.

А. Н. Беляева⁹. Ко второму направлению относятся работы: М. Руф, Л. Конделла¹⁰, Д. Вейкерта¹¹, С. Шелли¹², С. Барнетт¹³, Г. Богатз¹⁴. Немецкий исследователь Х. Воллман выделил три этапа развития практики оценочных исследований: первый – 1960-е – 1970-е гг. (акцент на планировании государственных программ), второй – середина 1970-х – 1980-е гг. (контроль расходов), третий – конец 1980-х – 1990-е гг. («новое общественное управление»)¹⁵, однако более узкая задача историко-социологической реконструкции и периодизации процесса становления методологии прикладных оценочных исследований пока остатся нерешенной.

Работы Д. Т. Кэмпбелла и Д. Стэнли¹⁶ сформировали новое направление методов проведения оценки – рандомизированный полевой эксперимент, который широко применялся с 1965 по 1980 гг. и самые известные из них: «эксперимент с негативным подоходным налогом» и программа «Хед Старт», реализуемая в США.

Помимо отчетов и статей о результатах успешно проведенных оценочных исследований¹⁷, появлялись и критические статьи, авторы которых анализировали возникающие ошибки и проблемы. Как было показано в ряде работ (К. Конрад¹⁸, К. Вейз¹⁹ и др.), доминирование экспериментального направления в ходе проведения оценочных исследований нередко отвлекает внимание от более важной задачи в исследованиях социальных программ- развития теоретических моделей социального воздействия, реализуемого оцениваемой программой.

⁷ Greene J.C. Towards a Conceptual Framework for Mixed-method Evaluation Designs. Educational Evaluation and
Policy Analysis, 1989.11, P.255-274.

⁸ Коллоквиум «Оценивание программ и политик: методология и применение»: сборник материалов, Вып. V
// под ред. Д.Б. Цыганкова. – М., 2010. – 237 с.; Цыганков Д.Б. Интеграция оценки в государственное
управление Российской Федерации // Оценка программ: методология и практика / под ред. А.И. Кузьмина.–
М.: Изд-во «Престо-РК», 2009. С.170-192.

⁹ Беляев А., Цыганков Д. Оценивая эффективность реформы: новые технологии оптимизации
государственной и отраслевой политики // Вестник актуальных прогнозов. 2004. №11.

¹⁰ Ruth M., Condell L., Ganson H. The Impact of Head Start on Children, Families and Communities: Final Report
of the Head Start Evaluation, Synthesis, and Utilization Project. Washington D.C.: CSR INC.1985.

¹¹ Weikert D.P. Relationship of Curriculum, Teaching, and Learning in Preschool Education // Stanley J.C.
Preschool programs for the disadvantaged. Baltimore, Maryland: Johns Hopkins,1972

¹² Shelley S., Fairchild M., Groginsky S. Early Childhood Care and Education: An Investment that Works.
Washington D.C.: National Conference of State Legislatures, February.1995.

¹³ Barnett S.W. Benefits of Compensatory Preschool Education // The Journal of Human Resources. 1992. V.27.
P. 293.

¹⁴ Bogatz G.A.,Ball S. The Second Year of Sesame Street: An evaluation. Princeton, New Jersey: Educational
Testing Service, 1971.

¹⁵ Вольманн Х. Оценивание реформ государственного управления: «третья волна» // Социологические
исследования. 2010. № 10. С. 93-99.

¹⁶ Campbell D. T., Stanley J.C. Experimental and Quasi-experimental Designs for Research.1966. Chicago: Rand
McNally&Co.

¹⁷ Кэмпбелл Д. Модели экспериментов в социальной психологии и прикладных исследованиях .М.:
Прогресс, 1980. С. 346.

¹⁸ Conrad K.J, Conrad K.M. Reassesesing Validity Threats in Experiments: Focus on Construct Validity/ Critically
Evaluating the Role of Experiments in Program Evaluation. New Directions for Program Evaluation Series, San
Francisco: Jossey–Bass.1994

¹⁹ Weis C.H. Evaluation. New Jersey, Prentice Hall, 1998.

В руководствах по проведению оценочных исследований (Л. Моррис²⁰) довольно поверхностно говорится о теории, лежащей в основе рассматриваемых программ. Д. Уолли²¹ в частности отмечает, что исследователи сконцентрированы на вопросах, позволяющих разрешить применение экспериментальных или квазиэкспериментальных методов оценки.

Печальными последствиями недостаточного внимания к теории и проблемам теоретической валидности методического инструментария оценочных исследований является то, что результаты последних часто обеспечивают узкое и иногда искажнное понимание результатов социальных программ. Так, Х.-Т. Чен и П. Росси считают, что пренебрежение существующими теоретическими знаниями привело к низкой эффективности программ оценки²². Они предлагают концепцию «теоретически направленного» подхода, в рамках которого выделили три вида целей, характерных для оценочных исследований: 1) определнные политиками и правдоподобные, 2) определнные политиками и неправдоподобные, 3) теоретически-ориентированные цели. Ещ одним способом решения ряда методологических проблем оценочных исследований, который до настоящего времени не применялся именно для повышения валидности методического инструментария, используемого в оценивании образовательных программ, является метод концептуальных карт У.Трочима²³.

К сходному выводу приходят Г. Гордон и И.Морз: специалисты в области прикладных социальных исследований и оценивания социальных программ недостаточно используют теоретические модели при проведении исследований²⁴.

В России оценочные исследования стали активно использоваться сравнительно недавно. Большой вклад в их становление внесли работы Д. Б. Цыганкова, А. Н. Беляева²⁵ и др. Различные формы оценки результатов программ существовали в России и ранее, но они не рассматривались как относящиеся к традиции оценочных исследований. Только в 2004 г. был создан Институт оценки программ и политик с целью продвижения в России передовых подходов в оценочных исследованиях. Однако до сих пор ни в российской, ни в европейской и американской социологии не была проведена историко-социологическая

²⁰ Morris L. L., Fitz-Gibbon C.T., Henerson M.E. Program Evaluation Kit. Beverly Hills, CA: Sage.1978.

²¹ Wholey J. S., Nay J.N., Schmidt R.E. Evaluation:Where is it Really Needed? Evaluation Magazine 1975,2, 2:P.
89-93.

²² Chen H.–T., Rossi P.H. Evaluating with Sense: The Theory Driven Approach // Evaluation Review.1983.
№7.P.283.

²³ Trochim W. Concept Mapping: Soft Science or Hard Art? // Evaluation and Program Planning. 1989.V.12.P.87–
110.

²⁴ Gordon G., Morse E. Evaluation Research // Annual Review of Sociology. V.1. 1975. P.352-354.

²⁵ Беляев А., Цыганков Д. Оценивая эффективность реформы: новые технологии оптимизации
государственной и отраслевой политики // Вестник актуальных прогнозов. 2004. №11.

реконструкция контекста возникновения и основных стадий развития методологии оценочных исследований.

Также до настоящего времени не появилось достаточного числа работ, посвящнных дальнейшей разработке идей теоретико-ориентированного подхода к оценочным исследованиям применительно к отдельным типам социальных программ, реализуемых в областях образования, пенитенциарной политики и т.д. Данные обстоятельства теоретического и методического свойства определяют цели и задачи нашего диссертационного исследования.

Настоящее исследование представляет собой попытку проведения историко-социологической реконструкции и теоретико-методологического анализа существующих подходов к оценочным исследованиям в социологии, которые позволили бы выявить основные методологические проблемы и очертить возможности для их решения.

Объектом исследования являются история и современная практика оценочных исследований в социологии образовательных программ.

Предмет исследования – теоретико-методологические основания оценочных исследований в социологии.

Цель и задачи исследования. Целью является проведение историко-социологической реконструкции и теоретико-методологического анализа существующих подходов к оценочным исследованиям в социологии, а также оценка применимости метода концептуального картографирования для повышения качества данных, получаемых в оценочных исследованиях в сфере образования.

Достижение поставленной цели осуществляется на основе решения следующих исследовательских задач:

1. Обоснование целесообразности рассмотрения оценочных исследований в качестве отдельного направления методологии прикладных социальных исследований.

2. Осуществление историко-социологической реконструкции основных этапов становления оценочных исследований в социологии и проведение теоретико-методологического анализа сложившейся практики оценочных исследований.

3. Выделение основных методологических проблем, стоящих перед оценочными исследованиями в сфере образования.

4. Проведение концептуального анализа теоретических работ в сфере непрерывного образования взрослых с целью построения теоретико-методологической модели для анализа конкретного оценочного исследования.

5. Обоснование применимости и практическая апробация метода концептуальных карт для повышения валидности инструментария оценочных исследований в сфере образования.

6. Оценка возможностей и ограничений метода концептуальных карт применительно к задаче разработки и повышения валидности инструментария исследования в области социологии профессионального образования, нацеленного на оценку эффективности «Президентской программы подготовки управленческих кадров».

Теоретико-методологическая база исследования

Теоретико-методологической основой диссертации выступают: «вспомогательная теория измерения» Х. Блейлока²⁶, метод концептуальных карт У.Трочима, работы посвящнные концепции «непрерывного профессионального образования взрослых».

Необходимость «вспомогательных теорий измерения», согласно Х. Блейлоку, связана с тем, что в социологическом измерении конструкты выражаются на двух разных языках – теоретическом и операциональном.

Вспомогательные теории измерения служат эксплицитной формулировкой перехода от теоретических концептов к переменным, доступных наблюдению и измерению. Построение моделей, адекватных конкретному случаю, описывающих взаимоотношения между латентными переменными и их множественными индикаторами, называют процессом концептуализации. В соответствии с данной концепцией смысл диагностической процедуры состоит в том, что вспомогательная теория измерения строится на предварительном этапе. На ее базе осуществляется изучение и оценка взаимосвязи «конструкта» и его эмпирических индикаторов. В этом случае диагностика предполагает концептуализацию устойчивых комплексов или групп переменных²⁷.

Важным шагом в развитии методологии оценочных исследований стал метод построения концептуального картографирования У. Трочима. Он является детально разработанной техникой создания вспомогательной теории измерения, то есть для построения модели отношения индикаторов к теоретическим конструктам²⁸.

Эмпирической базой исследования стали материалы «Президентской программы подготовки управленческих кадров», которая действует с 1997 г. Данная программа предоставляет возможность управленцам среднего и высшего управленческого звена

²⁶ Девятко И.Ф. Диагностическая процедура в социологии. Очерк истории и теории. М.:Наука.1993. С.102

²⁷ Девятко И.Ф. Диагностическая процедура в социологии. Очерк истории и теории. М.:Наука.1993. С.102.

²⁸ Trochim W. Concept Mapping: Soft Science or Hard Art? // Evaluation and Program Planning.1989. V.12.P. 87-
110.

российских предприятий получить дополнительное образование в сфере маркетинга, менеджмента или финансового менеджмента. Программа действует на всей территории Российской Федерации. Участники данной программы проходят обучение более чем в 80 российских вузах. Через шесть месяцев после завершения обучения проводится опрос участников о полученных результатах.

Эмпирической основой исследования послужили:

1. опросный инструментарий участников программы (1997, 1998, 2003 г.);

2. нормативные документы, посвященные деятельности Президентской программы;

3. информация по программе на сайте выпускников «Президентской программы подготовки управленческих кадров»;

4. экспертные отчеты по проведению оценочных исследований (за 1998, 1999 г.)

5. исследование во время летней школы «Пересмотр традиционных подходов к исследованию социальной политики» («Revision of traditional approaches to social policy research»).

Для решения задач, поставленных в исследовании, использовались, во-первых,
общенаучные методы познания — критический анализ и теоретическое обобщение
социологической литературы по данной проблематике. Во-вторых, методом

эмпирического исследования стал вторичный социологический анализ опросного инструментария и отчтов. Под вторичным анализом понимается «анализ существующего массива данных, который представляет интерпретации, выводы или знания, дополнительные или отличные от представленных в первом отчете по исследованию в целом и по его основным результатам»²⁹. Вторичный анализ применялся для аналитической реконструкции теоретической модели оценочного исследования в образовании, а именно — оценки эффективности «Президентской программы по подготовке управленческих кадров».

С целью повышения валидности инструментария оценочного исследования эффективности данной программы нами была проведена апробация методики построения концептуальных карт. Концептуальная карта – это графическое представление совокупного мнения экспертов, отражающее основные идеи, выработанные ими в ходе обсуждения основных конструктов, определяющих исследуемую проблемную область и включающее в себя связи между ключевыми конструктами исследования. Концептуальная

²⁹ Hakim C. Secondary Analysis in Social Research. A Guide to Data sources and Methods with Examples. L.:George Allen&Unwin. 1982.P.1.

карта визуально отражает набор смысловых единиц, объединнных в конструкты, с целью более точной оценки и повышения теоретической (конструктивной) валидности используемого инструментария и отслеживания результатов оценивания социальных программ.

К участию в экспертной сессии было привлечено 30 экспертов на этапе «мозгового штурма» и затем 20 экспертов на этапе сортировки. Основная часть участников имела преподавательский стаж и большой опыт в проведении социологических исследований в сфере социальной политики, несколько участников обладали также опытом проведения оценочных исследований.

Исследование было проведено в июне 2010 г., во время летней школы «Пересмотр традиционных подходов к исследованию социальной политики» («Revision of traditional approaches to social policy research»).

Научная новизна исследования заключается в следующем:

1. Показано, что оценочные исследования в социологии характеризуются специфическим исследовательским контекстом, целями и методическими подходами и являются отдельным направлением методологии прикладных социальных исследований.

2. По итогам проведнного историко-социологического и теоретико-методологического анализа имеющейся практики оценочных исследований выделено два этапа в развитии этого исследовательского направления: 1960-е-1980-е гг. - период становления и институционализации оценочных исследований, 1980-е-1990-е гг. -разработка подходов к повышению валидности методов оценивания.

3. В результате теоретико-методологического анализа сложившейся традиции оценочных исследований выявлены и критически проанализированы наиболее часто встречающиеся проблемы исследовательских проектов: отсутствие теоретической модели исследования и связи между теорией и практикой, размытое определение целей программ.

4. Построена теоретическая модель «непрерывного профессионального образования взрослых», в которую включены индикаторы, учитывающие мнения и интересы участников образовательной программы.

5. Была впервые продемонстрирована возможность использования метода концептуальных карт в целях практической реализации теоретически-ориентированного подхода, предложенного П. Росси и Х. Ченом.

6. Для решения задачи повышения теоретической валидности эмпирических индикаторов, используемых в сфере исследований образования взрослых, в рамках

вторичного анализа инструментария оценки конкретной образовательной программы впервые применн метод концептуальных карт, общие основы которого были разработаны У.Трочимом. В результате применения метода концептуальных карт проведена доработка инструментария – включены новые вопросы, уточнены существующие, изменена структура анкеты.

Положения, выносимые на защиту:

7. Оценочные исследования – это отдельное направление методологии прикладных социальных исследований, обладающее собственной теоретико-методологической спецификой, историей развития и особенностями практического применения. Становление оценочных исследований в социологии произошло сравнительно недавно, начиная с середины 1960-х гг., в контексте возникновения идеологии «государства всеобщего благосостояния»; ключевая методологическая особенность оценочных исследований заключается в значительно более широком, в сравнении с другими областями социологической методологии, использовании экспериментальных и квазиэкспериментальных планов; при построении инструментария оценочных исследований в равной мере учитываются интересы и реципиентов и бенефициаров.

8. Комплексная реконструкция истории развития оценочных исследований с исторической (как динамического процесса изменения идеологии, представления объекта, целей), а также с методологической (становление методических подходов, разработка специфических инструментальных средств оценивания социальных программ) точек зрения позволяет выделить два этапа в развитии методологии оценочных исследований: первый (1960-е – 1980-е гг.) соответствует периоду становления и институционализации оценочных исследований, второй (середина 1980-х – 1990-е гг.) – периоду интенсивной разработки подходов к повышению валидности методов оценивания.

9. Пренебрежение существующими содержательными теоретическими представлениями, описывающими отдельные институциональные области оценивания и соответствующие социальные проблемы, привело к низкой валидности методического инструментария. В связи с этим была обоснована необходимость дальнейшего применения теоретически-ориентированного подхода к разработке методов и техник оценивания, в частности, при помощи предложенных в работах Х. Блейлока «вспомогательных теорий измерения». В качестве инструмента для реализации теоретически-ориентированного подхода может служить метод концептуальных карт, предложенный У.Трочимом.

4. В построенной для изучения методического инструментария конкретного
оценочного исследования в области социологии образования теоретико-методологической
модели «непрерывного профессионального образования взрослых» выделяется ряд
особенностей: форма обучения, возраст учащихся, совершенствование знаний и
непрерывность процесса обучения. Модель была построена для методического
инструментария, нацеленного на оценку эффективности «Президентской программы
подготовки управленческих кадров».

5. Отсутствие эксплицитной модели измерения эффектов «Президентской программы подготовки управленческих кадров», как показано в диссертации, делало затруднительной оценку конструктной валидности использованного ранее методического инструментария. Предложенная в работе модификация метода концептуальных карт позволила повысить валидность методического инструментария данного оценочного исследования в области образования за счет разработки «вспомогательной теории измерения», отражающей не только существующие в социологии образования теоретические взгляды, но и ожидания экспертов и потенциальных бенефициаров оцениваемой образовательной программы.

6. Сопоставление построенной концептуальной карты ожидаемых эффектов «Президентской программы подготовки управленческих кадров» и теоретической модели «непрерывного профессионального образования взрослых» демонстрирует эффективность метода концептуальных карт для построения «вспомогательной теории измерения» при разработке и совершенствовании инструментария оценочных исследований.

Теоретическая и практическая значимость работы

Полученные в исследовании результаты могут быть использованы для разработки методологических рекомендаций по проведению оценочных исследований в сфере образования взрослых.

Данная работа вносит вклад в историко-социологический анализ процесса становления оценочных исследований в социологии.

Представленный в работе теоретический и практический материал может использоваться при подготовке лекционных и прикладных учебных курсов по методологии оценочных исследований в социологии.

Апробация работы

Основные положения диссертации были апробированы в научных публикациях и представлены в докладах на следующих конференциях: 2-я Всероссийская научно-12

практическая конференция «Модернизация системы профессионального образования на основе регулируемого эволюционирования» (доклад на тему «Социологические методы оценочных исследований в сфере образования: американский опыт и российские перспективы», Челябинск, 2003); V Всероссийская научно-практическая конференция «Интеграция методической (научно-методической) работы и системы повышения квалификации кадров (доклад на тему «Методологическая организация оценочного исследования в социологии образования: концепция У. Трочима» Челябинск, 2004); международная научно-практическая конференция молодых обществоведов 2003 и 2004 гг. «Векторы развития современной России» (доклад на тему «Оценочные исследования как методика оценки социальных программ», МВСЭШН, 2004); 7-я Международная научно-методическая конференция «Непрерывное образование в России: пространство развития» (доклад на тему: «Теоретические аспекты современных социальных концепций непрерывного образования», Саратов, 2006); IV конференция «Современные проблемы формирования методного арсенала социолога» (доклад на тему «Построение концептуальных карт как метод повышения валидности результатов оценочного исследования», 2010).

Структура диссертации. Диссертация состоит из введения, трех глав, заключения, списка литературы и приложений. Общий объем работы составляет 201 страница.

История оценочных исследований: становление основных методологических подходов

Характеристика первого «этапа» в развитии методологии оценочных исследований о (1960-е – 1980-е гг.)

В первом параграфе мы дали описание трёх этапов развития оценочных исследований по Х. Воллману, а также представили историю и перспективы с политико-исторической позиции (как динамический процесс изменения идеологии, представления объекта, целей). В данном параграфе будет проведена классификация истории с методологической позиции. При проведении анализа развития методологии оценочных исследований за основу была взята классификация Х. Воллмана, но стало очевидно, что следует объединить первые два этапа (1960- 1970 гг. и 1970 1980-е гг.), так как в эти два периода наблюдались схожие тенденции в развитии методологии – проходил период институциализации оценочных исследований. В результате нами выделено два этапа становления методологии оценочных исследований, которые будут описаны далее: первый этап –1960–е– 1980–е гг. (институциализация оценочных исследований и акцент на экспериментах), второй этап – 1980– 1990-е годы (совершенствование методологии и разработка метода концептуальных карт).

На этом этапе нами выделены следующие характерные процессы: 1) резкий рост количества публикаций по оценочным исследованиям, 2) создание специальных журналов по оценочным исследованиям, 3) начало применения экспериментального подхода к оценочным исследованиям, 4) анализ принятых подходов в методологии оценочных исследований и выявление проблем. Мы подробно остановимся на всех перечисленных процессах в следующем абзаце.

1. На первом этапе происходило становление данной области социологических исследований. В начале 1970–х гг. появились различные публикации по оценочным исследованиям, включающие статьи (К. Вейз72), книги (Ф. Каро73, П. Росси и В. Уильямс74), работы по критике господствующих методологических подходов (И. Бернштейн и Х. Фримен75), обсуждение структурных и организационных ограничений, которые препятствуют успешному проведению исследований (Х. Рикен и Р. Борух76, Д. Уолли77).

2. В этот период начинают публиковаться специализированные журналы, которые посвященны оценочным исследованиям, такие как Studies- in Educational Evaluation (1975), Evaluation-Review (1977), American-Journal of Evaluation (1980), Educational-Evaluation and Policy Analysis (1979). Всплеск публикаций, национальные и международные конференции, появление профессиональной ассоциации – все это доказательства институционализации области оценочных исследований78.

3. В это же время была предпринята попытка применения полевого эксперимента в оценочных исследованиях. Экспериментальный метод пришёл в социальные науки из естественных. Видом эксперимента популярным в точных науках был и остаётся лабораторный эксперимент, который распространен и в науках о человеческом поведении. В социальных науках применяют полевые эксперименты, проводимые в естественных условиях и применяемые для оценки эффективности программ. Социологи высоко оценивают значение эксперимента. Так, П. Лазарсфельд говорит: «Идея контролируемого эксперимента имеет значение, далеко выходящее за пределы тех эмпирических результатов, к которым он может привести. Это действительно главный путь всякого систематического размышления о проблеме социальной причинности»79.

4. Появились работы исследователей (Х.Т. Чена и П. Росси80, Г. Гордона и И. Морза81) по анализу методологии оценочных иcследований и в этих работах были выявлены следующие проблемы: 1) низкая валидность результатов оценочных исследований, 2) специфика определения цели, 3) низкая значимость результатов, 4) возможность альтернативных воздействий, 5) разработка программы оценочного исследования.

Публикация Дональда Т. Кэмпбелла82 и Дж. Стэнли задали новое направление в оценивании – это рандомизированный эксперимент и квазиэксперимент, который широко применялись в описываемый период (с 1965 по 1980 г.). Можно смело утверждать, что применение экспериментальных методов является одной из особенностей развития методологии оценочных исследований.

Экспериментом называется часть исследования, в которой осуществляется манипулирование переменными и наблюдаются эффекты, производимые этим воздействием на другие переменные83. Экспериментальные подходы, основанные на рандомизации, считаются надежной и обоснованной методикой оценочных исследований. Принцип рандомизации был предложен английским статистиком Р. Фишером84. Помимо изучаемого воздействия существует много факторов, коррелирующих с результатами, но не вызванных воздействием. Для обеспечения методологической строгости оценка воздействия должна охватывать так называемую «гипотетическую альтернативную ситуацию или сценарий», то есть, что было бы, если бы воздействие не проводилось. Чтобы получить представление о гипотетическом альтернативном сценарии, необходимо отделить эффект воздействия от других факторов, что представляет собой довольно сложную задачу. Для этого используются контрольные группы, то есть те, кто не участвует в программе.

«Рандомизация – это стратегия случайного распределения субъектов по различным условиям эксперимента и экспериментальным группам»85. Но даже использование рандомизации не позволяет приблизиться к уровню контроля над переменными и изоляции основного эффекта, как в лабораторном эксперименте, и, следовательно, избежать угрозы валидности. Существуют четыре типа валидности статистического вывода: внутренняя и внешняя валидность, валидность статистического вывода и конструктная валидность.

Исследования образования в России как область применения методологии оценочных исследований

Согласно результатам качественных исследований, в условиях Никарагуа велика вероятность того, что заявленной цели (увеличить объем финансирования школ из местных источников) будет сложно достичь, особенно в бедных общинах, и потому ее целесообразно пересмотреть. Количественное исследование подтверждает полученные данные о том, что в реформируемых школах увеличился уровень самоуправления, особенно в вопросах методического и кадрового обеспечения. Степень достигнутой автономии зависит от уровня бедности общины и от продолжительности участия школы в реформах.

Теперь обратимся к программе по изучению результатов обучения в начальных школах Филиппин. В данном исследовании использовалась экспериментальная стратегия и был проведён анализ «затраты-выгоды». В Филиппинах есть ряд социальных особенностей: почти четвертая часть детей в стране бросает школу, не закончив шестого класса. Те же, кто продолжает учиться, усваивают менее половины преподаваемого материала. В исследовании использовались только количественные методы, и не были применены качественно-антропологические методы, что является существенным недостатком. Для решения этих проблем в 1990–1992 гг. правительством проводилась Программа предупреждения отсева учащихся (ППО). В рамках этой программы было проведено четыре эксперимента: предоставление дифференцированных учебных материалов (ДУМ), предоставление школьных обедов (ШО), а также сочетание каждой из этих мер с созданием партнерских отношений между учителями и родителями (ПУР)138.

Интересным компонентом исследования был анализ «затраты– выгоды». Его итоги показывают, что получение существенных результатов недостаточно. В частности, простой расчет прямой и косвенной (альтернативной) стоимости программы позволяет заключить, что вариант

ДУМ одновременно является действенным и оправданным с точки зрения затрат. На основе проведенного анализа литературы и ряда оценочных программ (PISA, PIRLS, школьной реформы в Никарагуа, и реформы обучения в начальных школах в Филиппинах), мы увидели ряд особенностей развития на втором этапе. На первом этапе развития оценочных исследований был поставлен вопрос о необходимости построения теоретической модели программы, но в работах не говорилось о том, каким образом следует строить эту «вспомогательную теорию измерения». На втором этапе на примере анализа международной программы PISA мы увидели необходимость в построении «вспомогательной теории измерения» для повышения конструктной валидности программы. Для этого при проведении анализа второго этапа бы применен метод построения концептуальных карт. Этот метод может быть использован для построения «вспомогательной теории измерения».

Прежде чем перейти к методу построения концептуальных карт остановимся на других методических подходах, которые были предложены для построения «вспомогательной модели измерения». Так, немецкими исследователями были протестированы две технологии: технология выявления экспертной методология помощи в принятии многокритериальных решений (the multiple criteria decision aid metodology) и результаты эксплуатации пакета оценочных исследований для компьютерных систем140. Но данная работа показала, что компьютерные программы экспертного оценивания также не застрахованы от ошибок и требуют дальнейшей доработки. Норвежские учёные разработали стратегию «трейлинговых исследований» (trailing research)141. В этой модели сочетаются формирующая и суммирующая оценка. Формирующая оценка проводится в процессе проведения социальной программы и направлена на её совершенствование. Суммирующая оценка направлена на измерение результата программы как социального эффекта (output) и проводится после завершения программы. В процессе проведения «трейлингового исследования» большую роль играет процесс обучения участников, но речь идёт только о заказчиках, что является существенным ограничением, так как не учитываются представления и ожидания других участников. Данная методика также подверглась критике и требует дальнейшей доработки, что признают и сами авторы соответствующего исследования. Мы рассмотрели две методики, которые направлены на попытку построить «вспомогательную модель измерения», но остановились на методе построения концептуальных карт, как наиболее разработанном на данный момент.

Для построения модели отношения индикаторов к теоретическим конструктам У. Трочим разработал метод концептуальных карт143. Подробное описание этого метода будет приведено в третьей главе. Этот метод используется им и его последователями для формулировки проблемы оценочного исследования. Метод концептуальных карт – это методика, которая может быть полезна как отдельному исследователю, так и группе исследователей для представления своих идей по отдельной теме в графическом виде. Метод построения концептуальных карт применяется в различных направлениях: для оценки медицинского обслуживания в

Австралии144, для формирования политики по популяризации физической активности в США145, при исследовании депрессии среди студентов колледжей146, при исследовании организационной культуры147, при исследовании политики здравоохранения в Африке148. Имеется несколько типов методик, которые можно назвать «концепцией картографирования»: это «интеллектуальное картографирование», «концепция сети». Метод, предложенный У. Трочимом, предполагает несколько шагов. Во-первых, это, главным образом, групповой процесс, и поэтому он применим в тех случаях, когда в разработке участвует группа экспертов. Во-вторых, используется структурирование – объединение нескольких индикаторов в группу. В-третьих, центром методики является несколько многомерных статистических методов.

«Концептуальная сфера» непрерывного образования взрослых: обучающееся общество, обучающаяся организация, человеческий капитал, социальный капитал

На подготовительном этапе исследования была реконструирована дескриптивная история ПП как объекта исходного оценочного исследования. Проведение кейс-стади организации и проекта было важным для решения исследовательских целей и задач. Мы использовали данный вариант метода для определения основных акторов, целей и опросного инструмента социальной программы непрерывного образования взрослых. Государственные социальные программы – это многогранные процессы, включающие множество акторов, и важно понять их роли и интересы в данном процессе. К примеру, если обратиться к исследованиям «историй жизни» организаций266, К. Литлер изучал взаимоотношения в британских компаниях в 1930-е г. «Интервьюирование профсоюзных активистов, участвовавших в событиях того времени, было дополнено материалами архивов этих компаний и газетными сообщениями, касавшимися трудовых конфликтов, которые там происходили»267. История ПП реконструирована на основе анализа документов (нормативных документов, интервью, публикаций в СМИ). В процессе реконструкции выделены декларируемые цели данной программы, определены основные акторы, описан инструментарий, реконструирована имеющаяся теоретическая модель. Затем были выявлены достоинства и недостатки имеющейся теоретической модели, или отсутствие таковой.

Итак, приступим к истории ПП. Для начала выделим цели создания данной программы на основе имеющихся документальных источников. «Президентская Программа подготовки управленческих кадров – это социальная программа, направленная на переподготовку в России и за рубежом руководителей высшего и среднего управленческого звена для создания федерального резерва «критической массы» высококвалифицированных, компетентных управленцев и формирования управленческого потенциала, способного обеспечить развитие предприятий всех отраслей экономики страны». Такое определение приводится в Указе Президента «О подготовке управленческих кадров для организаций народного хозяйства Российской Федерации» от 23 июля 1997 г. Следовательно, основная цель программы– обучение и повышение компетенций руководителей высшего и среднего управленческого звена. Основной актор – это руководители высшего и среднего управленческого звена, далее для обозначения этой группы будем использовать термин «Специалисты».

Поскольку декларируемой целью данной программы является повышение компетентности управленцев, то возникает задача создания концепции компетенции менеджеров, то есть перевод понятия компетенции на уровень индикаторов. Прежде чем перейти к дальнейшему анализу документов, построим концепцию понятия «компетенции менеджера».

Вначале очертим круг определений интересующего нас понятия. Так, С. М. Вишнякова дает следующее определение: «соответствие знаний, умений и опыта лиц определенного социального статуса реальному уровню сложности выполняемых ими задач и решаемых проблем». Для конструирования концепции проведём анализ определений компетенции менеджера из нескольких источников: из документа Инициативной Хартии менеджмента Великобритании (MCI 2), из «Национальных стандартов менеджмента и лидерства» и концепции американского учёного Г. Шродера (см. Приложение 1 Таблица 1). Понятие компетентности является многомерным, и потребовало бы целого блока индикаторов для его измерения. Возникновение интереса к компетентности помогло создать специфический язык, при помощи которого можно анализировать и развивать управление человеческими ресурсами. Компетентностный подход во главу угла ставит не наличие определенных научных знаний, а способности человека осуществлять конкретную производственную деятельность в рамках принятых стандартов. Решение этой задачи реализуется с помощью объединения производственной деятельности с образовательной, то есть применения полученных знаний на практике269.

У рассмотренных трёх стандартов компетенции менеджеров есть свои плюсы и минусы. Третья модель представляется нам наиболее сложной при выделении измеряемых показателей, поэтому мы будем сопоставлять две первые модели, у которых имеется множество пересекающихся переменных. С нашей точки зрения наиболее адекватна первая модель, поскольку она содержит больше измеряемых характеристик. Для дальнейшего анализа выделим сокращенную модель (см. Рисунок 2): 1) инициировать и проводить улучшение услуг и товаров, 2) контролировать и совершенствовать услуги, 3) контролировать использование ресурсов, 4) нанимать и отбирать кадры, 5) собирать и оценивать информацию, 6) налаживать, поддерживать и укреплять эффективные рабочие связи. Остальные стандарты исключены из дальнейшего исследования, они являются трудноизмеримыми (например, обеспечивать оптимальное распределение ресурсов, так как сложно построить индикатор и критерии оптимальности будут различными).

Можно сделать выводы, что для выделения индикаторов понятия компетентности менеджера мы оставили только измеряемые и избавились от декларируемых. Мы можем предположить, что эти индикаторы должны быть включены в существующую анкету.

Вторичный методический анализ опросного инструментария: исследование структуры «Анкеты специалиста» и анализ отчётов экспертов

Обратимся к следующему кластеру «Диверсификация мобильности», имеющему отношение к изменениям в жизни специалиста. На первом месте по важности стоит утверждение «повышение жизненных стандартов». Скорее всего, здесь идёт речь о повышении уровня жизни, то есть об уровне материального благополучия, характеризующимся объёмом реальных доходов и соответствующим объёмом потребления. В анкете не найдено вопросов, которые были бы посвящены этому аспекту.

Следующее по важности утверждение «возможность создания собственного бизнеса». Данное утверждение найдено в вопросе 49_8. Эта точка ближе всего расположена на карте к кластеру «достижение в профессиональной сфере» и также к точке «избыточная квалификация». Отсюда напрашивается вывод, что человек имеющий достижения в профессиональной сфере зачастую перерастает рамки собственного предприятия, поэтому обладает избыточной квалификацией, так что создание собственного бизнеса – это следующий этап профессионального развития для данного человека. Третье утверждение – «командная работа» отражено в вопросе 46_3. Следующее утверждение «Переход на работу в государственные структуры» нашёл отражение в вопросе 49_7. Утверждение «избыточная квалификация» найдено в вопросе 53_2. Последнее утверждение «зависть как конкуренция внутри сообщества», то есть наличие некого соревновательного духа внутри сообщества. В анкету такого рода вопросы не включены (табл. 11).

Кластер «Диверсификация мобильности» достаточно хорошо представлен в анкете и требуются лишь небольшие дополнения.

Кластер «Политические и экономические факторы» (см. Таблицу 12) имеет не очень высокую важность для конечного результата программы. Первое утверждение «реализация социальной политики в действии» достаточно трудно операционализировать, поскольку программа является социальной. Второе утверждение «повышение престижа России в мире» косвенным образом отражено в вопросе 35_1 «установление партнёрских связей», и затем уже появление материалов о партнёрстве в СМИ. Третье утверждение «Общественная дискуссия о последствиях проекта» в анкету не включено. Последующие четыре утверждения также не найдены в анкете (табл. 12).

Первые три утверждения очень близки по смыслу: «использование связей», «социальные связи», «установление личных контактов». В анкете есть только один вопрос, который отражает эти утверждения– 39_3. Следующее утверждение «Нравится процесс обучения» в анкете отсутствует. Все последующие утверждения также не включены в анкету (см.таблицу 13). Данный кластер полностью отсутствует в анкете.

Для наглядности сведём информация о наполненности кластеров в существующей анкете специалиста(см. Таблицу 14). Большая часть кластеров нашла отражение в анкете. Можно сделать вывод, что разработчики анкеты обратили внимание на взаимоотношения специалиста и предприятия и совершенно не учли влияние на образовательные структуры и государство. В существующей анкете отсутствует эксплицитная теоретическая модель, и она обладает низкой содержательной валидностью.

На основе анализа данной таблицы можно заключить, что в кластерную карту включены только 3 блока из 9 существующих. То есть только 13 вопросов дают информацию о построенной нами кластерной карте. Все остальные вопросы не связаны с кластерной картой.

В результате проведённого анализа можно сделать вывод, что из анкеты важно удалить первые четыре раздела и разделы 7 и 9, что позволит сократить анкету. Кроме того анкету необходимо переструктурировать в соответствии с кластерной картой. А именно, первым целесообразно поставить блок «Реализация полученных навыков» и в этот раздел включить три кластера (так как они рядом расположены на КК): первый– «Совершенствование собственных качеств», второй – «Мобильность внутри компании» и третий «Диверсификация мобильности». Вторым блоком поставить кластер «Коммуникации и сети». Третьим блоком – кластер «Преимущества для организации». Четвёртым блоком поставить кластер «Преимущества для образовательной структуры». Пятым блоком – «Политические и экономические факторы». И последним блоком можно поставить «Альтернативные личные выгоды». Теперь обозначим возможный порядок вопросов внутри каждого блока. В первом блоке в подразделе «Совершенствование собственных качеств» можно задать сначала вопросы об аналитическом мышлении, навыках по поиску новой информации и гибкости, так как эти три точки расположены близко друг к другу. Затем идёт вопрос о коммуникативных навыках и профессиональной реализации. Потом можно добавить вопрос о получении новых знаний и отдельно вопрос о языковой компетентности.

В первом блоке в подразделе «Мобильность внутри компании» первым вопросом можно поставить увеличение социального капитала, затем вопросы о повышении зарплаты, карьерном росте, структурировании знаний, возможность стажировки, сертификате о подготовке. Затем вопрос о преодолении психологических барьеров и повышении социального статуса. Последним вопросом предлагаем поставить– смену места работы.

В результате проведённого анализа можно сделать вывод, что метод КК может быть применён для повышения валидности методического инструментария. После проведения вторичного анализа анкет и анализа отчётов, можно говорить о хаотических изменениях в опросном инструменте, которые были направлены на повышение теоретической валидности опросного инструментария. После проведённого вторичного анализа анкет и отчётов экспертов можно заключить, что ситуативные методические новации, не дали возможности для комплексного анализа различных аспектов эффективности программы (в том числе с точки зрения различных групп акторов). Нами использована методика КК, которая позволила повысить теоретическую валидность оценочного инструментария. Мы убедились, что метод КК перспективен для повышения валидности оценочных исследований образования на примере оценочного исследования ПП. Ранее метод КК не применялся в задачах, связанных с образовательными программами.

Предложена концептуальная модель пошагового воздействия. В результате применения КК было получено 8 кластеров: совершенствование собственных качеств (3,58), коммуникации и сети (3,39), преимущества для организации (3,20), мобильность внутри компании (3,19), преимущества для образовательных структур (2,91), диверсификация мобильности (2,79), политические и экономические факторы (2,73), альтернативные и личные выгоды (2,43).