Содержание к диссертации
Введение
Глава 1. Теоретико-методологические аспекты психологического анализа экспертных оценок 24-55
1.1 Психологическая сущность, виды экспертных оценок и особенность их применения при проведении акмеологи-ческих экспертиз . 24-43
1.2 Особенности профессиональной деятельности экспертов и методы их изучения . 43-55
Глава 2. Экспериментально-психологический анализ психологических факторов, влияющих на точность экспертных оценок 56-100
2.1 Анализ имеющихся экспериментально-психодиагностических данных о влиянии психологического фактора на точность экспертных оценок 56-66
2.2. Психодиагностические отличия экспертов, придерживающихся различных стилей деятельности при экспертных оценках и особенности их использования в деятельности руководителя 66-81
2.3 Экспериментальное исследование психологических эффектов, возникающих в процессе экспертных оценок и их учет руководителем при организации акмеологической экспертизы 82-100
Глава 3. Пути повышения точности экспертных оценок в процессе акмеологических экспертиз 101-137
3.1 Внутренние психологические резервы совершенствования профессиональной деятельности экспертов 101-119
3.2 Совершенствование руководства и научного обеспечения профессиональной деятельности экспертов 120-137
Заключение 138-145
Литература 146-162
Приложения 163-174
- Психологическая сущность, виды экспертных оценок и особенность их применения при проведении акмеологи-ческих экспертиз
- Особенности профессиональной деятельности экспертов и методы их изучения
- Анализ имеющихся экспериментально-психодиагностических данных о влиянии психологического фактора на точность экспертных оценок
- Внутренние психологические резервы совершенствования профессиональной деятельности экспертов
Введение к работе
Актуальность исследования.
В условиях структурной перестройки промышленности, всей экономики, в условиях преодоления экономического кризиса, непростой социально-политической обстановки в стране резко возросла ответственность руководящих кадров разных уровней за принятие обоснованных, взвешенных решений.
Если учесть, что в условиях системного кризиса все чаще возникают нестандартные ситуации, что нередко опыта по преодолению аналогичных ситуаций руководители не имеют, то становится понятным, что рост профессионализма руководителей связан с успешностью преодоления этих ситуаций. В ситуациях профессиональной некомпетентности или недостаточной профессиональной компетентности руководитель в большинстве случаев опирается на опыт окружающих людей, то есть вольно или невольно, сознательно или бессознательно использует экспертные оценки.
В настоящее время в стране наблюдается системный кризис, что ставит вопрос о необходимости интегральных, комплексных экспертных оценок самых различных отраслей науки и практики. Интеграция различных научных знаний в современной науке происходит, в том числе, и под эгидой акмеологии. Такая интеграция может быть проведена в рамках собственно акмеологической процедуры - акмеологической экспертизы.
Экспертные оценки проводится людьми, экспертами, профессионалами в своей области. От работы экспертов зависит эффективность принятия решения руководителем. В современных условиях, когда резко возросло количество проблемных ситуаций в управлении, когда процесс управления все чаще сталкивается с ситуациями со многими неизвестными, руководители, не использующие опыт экспертов все чаще терпят фиаско, рыночные отношения
сметают таких руководителей с своих постом. Поэтому вольно или невольно все большая часть руководителей использует мнение экспертов при принятии решений, все чаще мнение экспертов выступает фактором роста профессионализма руководителей.
Поэтому исследование психологических особенностей экспертных оценок, их влияние на процесс совершенствования профессионализма руководящих кадров, на повышение точности, корректности, объективности, действенности принимаемых решений, является практически важной, актуальной проблемой.
Эта проблема важна и с теоретической точки зрения. В настоящее время метод экспертных оценок неплохо исследован в отечественной науке. Однако психологические аспекты проблемы активизации деятельности экспертов исследованы в отечественной психологии явно недостаточно. Не исследован и процесс использования экспертных оценок в интересах совершенствования профессионализма руководящих кадров. В то же время психологический фактор является одним из важнейших, влияющих на точность экспертных оценок, . а, следовательно, и на взвешенность управленческих решений, принятых на основе мнения экспертов.
В теоретическом плане тема исследования затрагивает развитие методической системы современной психологии, ее интеграцию в управленческую деятельность руководящи кадров. Иван Петрович Павлов отмечал:" Метод - самая первая, основная вещь. От метода, от способа действия зависит вся серьезность исследования. Все дело в хорошем методе. При хорошем методе и не очень талантливый человек может сделать много. А при плохом методе и гениальный человек будет работать впустую и не получит ценных, точных данных" (Павлов И. П., Поли.собр.соч., Т.5, с. 26).
Метод экспертных оценок пронизывает всю методическую систему психологи как науки. Именно эксперты определяют какие методы и как применять, как интерпретировать результаты примене ния различных методов, как интегрировать знания, полученные различными путями, в единую систему. Экспертные оценки обычно предворяют и завершают исследование. Кроме того, в самих экспертных оценках сконцентрировались многие проблемы психологии как науки, в частности в них отражаются социально-психологические особенности, закономерности формирования групп и их оценочной деятельности. По сути большая часть проблем социальной психологии концентрируется на столь конкретном участке.
Таким образом, проблема экспертных оценок является комплексной в самой психологии.
Наряду с этим, постановка вопроса об использовании экспертных оценок в интересах управленческих решений руководящих кадров комплексирует эту проблему с такими отраслями психологии как психология руководства, акмеология и др.
Проблема совершенствования профессионализма руководящих кадров многоаспектна. Один из этих аспектов заключается в том, что профессионал самосовершенствуется сам, с активной помощью наиболее компетентных специалистов - экспертов. И этот резерв совершенствования профессионализма руководящих кадров должен быть осмыслен с научно-психологической точки зрения, в рамках акмеологии.
Проблема активного использования экспертных оценок в интересах принятия управленческих решений, в интересах роста профессионализма руководящих кадров это не только научная, но и социальная проблема, связанная с максимально продуктивным использованием профессионального потенциала общества. Профессионализм в условиях современного общества носит не только, а порой и не столько индивидуальный характер. Научно обоснованное использование мнения экспертов повышает профессиональный потенциал общества, способствует актуализации социального, человеческого фактора в интересах общественного прогресса.
Таким образом, тема исследования актуальна как в практическом, социальном, так и в теоретическом аспектах. Основные понятия.
Экспертиза ( от франц. expertise, от лат. expertus - опытный) - это исследование специалистами (экспертами) каких-либо вопросов, решение которых требует специальных познаний (см.: Советский энциклопедический словарь. М.: 1989, с. 1559).
Экспертная оценка - количественные и (или) порядковые оценки процессов и явлений, которые не поддаются непосредственному измерению.
Научно-организационная и методическая система экспертных оценок какого-либо явления, процесса выступает как научная экспертиза.
В настоящее время говорят о различных разновидностях экспертиз (военно-врачебная, врачебно-трудовая, криминалистическая, судебная, судебно-психиатрическая и т.д.). В настоящее время развитие акмеологии подошло к такому уровню, что можно говорить и об акмеологической экспертизе.
Акмеологическая экспертиза - комплексная оценка учреждения, его работников с целью оценки уровня их профессионального совершенства и поиска резервов для совершенствования профессиональной деятельности, достижения "акме" как его отдельными сотрудниками, так и учреждением в целом.
Решение проблемы акмеологической экспертизы имеет многие составляющие. Одна из них - использование психологических резервов в проведении экспертных оценок акмеологами.
Состояние изученности проблемы.
Проблема метода экспертных оценок достаточно глубоко исследована в современной науке. И в настоящее время существует не только обширная литература по методам экспертных оценок, но и литература, в которой делается обзор сделанного в этой об ласти. Такой обзор представлен в трудах Г.Г.Азгальдова (Аз-гальдов Г.Г. Теория и практика оценки качества товаров (основы квалиметрии). М.: 1982), Э.П.Райхмана (Азгальдов Г.Г., Райхман Э.П. О квалиметрии. - М.: 1973), Д.С.Шмерлинга и др. (Шмерлинг Д.С. и др. Экспертные оценки. Методы и применение (обзор) // Статистические методы анализа экспертных оценок. - М.: 1977.), В.В.Черепанова (Черепанов B.C. Экспертные оценки в педагогических исследованиях. - М.: Педагогика, 1989) и др.
Можно констатировать, что в настоящее время достаточно подробно обоснованы статистико-математические основы этого метода (см.: Бешелев С.Д., ГурвичФ.Г. Математико-статистические методы экспертных оценок. - М.: 1980 и др.), его роль и место в педагогической экспертизе (Люблинская А.А., 1934; Малькова З.А., 1962 и др.; Киселев И. Я. ,1968; Н.Н. Китаєва 1975; Евланов Л.Г., Кутузов В.А., 1978) и др. Фундаментальное исследование в этой области провел B.C. Черепанов (см. Черепанов B.C. Экспертные оценки в педагогических исследованиях. - М.: Педагогика, 1989 и др. ).
Метод экспертных оценок достаточно неплохо разработан применительно к его использованию и в других видах экспертизы - экономической (Азгальдов Г.Г., Райхман Э.П., 1973); - управленческой (Евланов Л.Г., Кутузов В.А., 1978); - технической (Экспертные оценки и их применение в энергетике/ Под ред. Р.М.Хвастунова. - М.: 1981); - производственной (Френкель А. А., 1977) и др.
Однако данных о роли и месте психологического фактора в процессе экспертных оценок, его роль в процессе формирования профессионализма руководящих кадров весьма немного, чаще они присутствуют в зарубежных исследованиях. На общем фоне проблематики методов экспертной оценки они не так основательны. Это обусловлено в значительной степени тем, что метод экспертных
оценок более разрабатывался на примере оценки товаров, машин и других неодушевленных явлений. При этом исследователи метода отмечали, что цикл экспертных оценок при привлечении экспертов должен производиться без контакта последних между собой, без обмена мнениями по поводу той или иной оценки. Что уводило исследователей от социально-психологической проблематики, от проблемы использования экспертных оценок в интересах формирования профессионализма руководителя. Ведь если руководитель не знает мнение экспертов (почему они дали такое, а не иное заключение), то бессмысленно ставить вопрос, что мнение экспертов повлияло на его профессиональные знания.
Это с одной стороны.
С другой стороны, логика развития методов исследования такова, что психологические эффекты начинают изучаться после исследования и внедрения технологических основ того или иного метода, после проявления на практике в результате многолетних исследований психологических эффектов. Эта логика была характерна для анализа эксперимента как метода психологического исследования. На настоящем этапе развития знаний о методе экспертных исследований наступил период осознания проявления в процессе реализации этого метода психологических, социально-психологических факторов, явлений.
Хотя в зарубежной психологи период исследований психологических явлений, эффектов при реализации метода экспертных оценок, их использование в интересах повышения точности, взвешенности управленческих решений, профессионализма руководителей уже наступил. Кроме того, за рубежом наметилась тенденция в настоящее время больше исследовать не метод экспертов сам по себе, а экспертные системы, представляющие собой разновидность искусственного интеллекта.
В связи с этим фундаментальным является исследование Р.Бен фера, Е.Брента, Л.Фурби (R.A.Benfer, Е.Е. Brent, L.Furbee, 1991). В своей книге они представили подробную модель разработки экспертных систем. Данная модель предполагает приобретение, хранение, представление знаний, а также предположение об ограниченности этих знаний при диагностике, прогнозировании человеческого поведения. Авторы предлагают и анализируют различные компьютерные программы, которые помогают производить экспертные оценки в тех или иных областях человеческих знаний. Авторы считают, что процедуры валидализации, известные в социальных науках, в психологии, могут улучшить и методическую систему экспертных оценок. Интересным является анализ авторами индуктивного и дедуктивного подхода при создании базы знаний и правил их обработки, использования, стратегии мыслительной деятельности экспертов и др.
Г. Струбе, Д.Джанецкий, М.Кнауфф (G.Strube, D.Janetzko, M.Knauff, 1996) исследовали структуру обобщенного экспертного знания. В этом исследовании также наметился переход от анализа знаний отдельных экспертов к анализу их обобщенного мнения, которое пронизано психологическими закономерностями, эффектами. И хотя эти эффекты исследуются на примере разработки системы в области художественного оформления, тем не менее предложенные ими методы сбора и отладки многоуровневого знания экспертов поучительны. Эксперты могут работать в различных сферах своей компетентности, в целом покрывая необходимое для практики поле проблем. При этом создается многоуровневая экспертная система. Авторами предложена техника сбора знаний экспертов.
В исследуемой проблеме немало сделали Хейес-Рот, Уотермана и Лената (R.F.Heyes, D.Waterman and D.Lenat, Eds. Building expert systems. Reading, MA: Addison-Wesley, 1983); Д.Мемми, A. Нгуен-Хуаном (D.Memmi, X.A. Nguyen, 1988); Ван Дам К. (К.Van
Dam, 1991); Дж. Норкини, Дж. Сии, Л.Кроссо (J.Norcini, J, Shea, L.Grosso, 1991); Д.Шварц Дж. Гудман (D.J.Schwartz, J.Goodman, 1992); А.Сароуэйн (A.Saroyan, 1993); М.Коппен (M.Koppen, 1993); Тер Лаак (Тег Laak J. 1994); С.Чао, Г.Сальвенди (C.J.Chao, G.Salvendy, 1995); В.Моустакис, М.Лето, Г. Сальвенди (V.Moustakls; М.Lento; G.Salvendy, 1996).
Таким образом, психологические аспекты метода экспертных оценок более исследованы в зарубежной психологии, однако эти исследования сложно "прямо", непосредственно применить, переломить под углом потребностей совершенствования профессионализма, здесь нужны свои исследования.
Цель исследования - выявить психологические резервы совершенствования экспертных оценок при проведении акмеологичес-ких экспертиз.
Объект исследования - системы экспертных оценок.
Предмет исследования - процесс совершенствования экспертных оценок в системе акмеологической экспертизы.
Границы исследования.
Понятие "экспертные оценки" несколько шире понятия "метод экспертных оценок". Метод экспертных оценок, как и все его разновидности, предполагает относительно однородную и относительно завершенную систему приемов, способов осуществления оценок определенного типа.
Экспертные же оценки могут применяться и эпизодически, без системы относительно однородных способов, приемов их осуществления. Экспертные оценки могут даваться и в рамках других методов исследования - анализа результатов деятельности, психобиографического метода, наблюдения, тестирования и др.
Однако в основе исследования лежал анализ все-таки методов экспертных оценок, и речь идет не только об индивидуальной экспертизе, но и о коллективной.
Использование руководителем экспертных оценок методом "черного ящика", как это порой делается в традиционно применяемых в настоящее время методах экспертной оценки, может быть плодотворным и продуктивным для принятия управленческих решений. Однако возможности такого способа экспертных оценок ограниченно с точки зрения роста профессионализма как руководителя, так, порой, и самих экспертов: общение их между собой нередко блокировано.
В данном исследовании речь более идет о коллективной экспертизе, в результате которой возможен рост профессионализма как руководителя, так и самих экспертов.
При проведении коллективной экспертизы можно выделить следующих участников: организаторы экспертизы, эксперты, технический персонал. Организатором коллективной экспертизы чаще выступают руководитель, экспертами - высококвалифицированные специалисты в своей области, нередко с выраженным "акме". Во всяком случае любой руководитель должен стремиться, чтобы привлекаемые им эксперты обладали таким "акме".
В результате экспертных оценок может получаться как точечный итог - основание для определенного решения, так и система (порой весьма противоречивая) данных, служащая основанием для нелинейного, многоуровневого решения. Из этой системы знаний со временем может вырасти экспертная система.
В предмет исследования не входит анализ психологических особенностей, закономерностей создания экспертных систем. Он ограничивается анализом психологических аспектов совершенствования экспертных оценок в интересах принятия руководителем продуктивных управленческих решений и совершенствования профессионализма. При этом речь идет как об индивидуальном, так и о коллективном профессионализме. Этот процесс весьма психологичен.
Поэтому анализ психологических резервов для совершенствования работы экспертов представляется важным и актуальным. В диссертации исследовались психологические явления, возникающие при организации работы и при работе экспертов и соответствующие резервы их совершенствования, под углом роста профессионализма как руководителя, так и самих экспертов.
В процессе исследования в меньшей степени внимание уделялось предмету экспертных оценок в процессе проведения акмеоло-гической экспертизы - структуре и сущности акмеологических явлений, профессионализму личности и коллективу, специфике "ак-ме" и др. Это обусловлено тем, что исследование проведено в русле достижений акмеологии, в рамках которой уже определены структура и сущность профессионализма, акмеологических явлений, которые оцениваются экспертами при проведении акмеологических экспертиз (А. А. Деркач, В.Г.Зазыкин, А.К.Маркова и др.).
Гипотеза исследования.
Если эксперты являются личностями, которые обладают лич-ностно-профессиональными, психологическими особенностями, в том числе и теми (социально-психологическими, когнитивными, мотивационными и др.), которые влияют на точность экспертных оценок, и если взаимоотношения в группе экспертов и между экспертами и руководителем представляют собой сложную систему, которая в своем развитии должна подчиняться уже известным в науке особенностям, закономерностям развития группы, коллектива, то можно предположить, что такая организация экспертных оценок и деятельности экспертов, когда они связаны между собой общей деятельностью, когда актуализируются социально-психологических факторы в их деятельности, будет способствовать более успешной их работе, более активному их профессиональному самосовершенствованию.
Кроме данной, основной гипотезы были сформулированы и
субгипотезы.
Если социально-психологические, психологические особенности экспертов влияют на экспертные оценки, то характерологические различия экспертов должны оказывать влияние на стиль, стратегии экспертных оценок, на особенности их профессионального самосовершенствования.
Если в деятельности экспертов есть много моментов аналогичных экспериментальной деятельности, то психологические явления, возникающие в эксперименте, могут иметь много аналогичного с психологическими явлениями, возникающими в процессе экспертных оценок. Это можно использовать в интересах повышения продуктивности экспертных оценок.
Если группа экспертов в своем развитии подчиняется закономерностям, особенностям развития и функционирования любой группы людей, то психологические эффекты, вскрытые на других группах, могут иметь место и при организации деятельности экспертов в период их -использования для обоснования того или иного управленческого решения. Их можно подтвердить в процессе экспериментальных исследований.
Данные гипотезы подтверждены полученными данными.
Задачи исследования:
1. Классифицировать методы экспертных оценок и обосновать специфику их применения при: принятии управленческих решений руководителем; использовании в интересах профессионального роста коллектива.
2. Экспериментально-психодиагностически исследовать психологические явления, возникающие при проведении экспертных оценок.
3. Обосновать основные пути использования психологических резервов совершенствования деятельности экспертов в интересах акмеологической экспертизы, принятия того или иного управлен ческого решения, роста профессионализма кадров.
Методологические и теоретические основы исследования.
Методологическую основу исследования составила теория познания, в особенности теория о методах, принципах научного исследования. Именно данная теория, классифицируя все методы на методы эмпирического и теоретического исследования, дает возможность выделять в методе экспертных оценок как эмпирическую основу, так и его теоретические компоненты: анализ, синтез, дедукция, индукция, сравнения, аналогии широко используются при реализации данного метода. Кроме того, когда собраны эмпирические данные и они обработаны, то теоретические выводы из этих данных также делают в конечном счете эксперты. Экспертные оценки могут касаться как эмпирического уровня познания, так и теоретического.
Современная теория личности, стратометрическая теория (А.В.Петровского), социально-психологическая теория непосредственно предопределяли направление данного исследования.
Анализ деятельности экспертов проведен с позиции теории совместной деятельности (Абульханова-Славская К.А., Аллахвер-дова О.В., Бобнева М.И., Жизневский Б.П., Журавлев А.Л., Журв-лев Е.В., Захаров В.П., Иванов М.А., Калин В.К., Кашницкий В.И., Коломинский Я.Л., Сапоровский В.С., Сушков И.Р., Танаев В. П., Терехин В. А., Ханин Ю. Л., Хщенко В. А., Чернышев А. С, Шихирев П.Н., Шорохова Е.В., Ярошевский М.Г. и др.). В данной теории совместная деятельность рассматривается как объект социально-психологического исследования. В ней выделяются признаки совместной деятельности; ее структура; роль взаимодействия, в частности взаимодействия экспертов, при совместной деятельности; динамические особенности совместной деятельности и его коллективного субъекта, в данном случае - бригады экспертов. В теории совместной деятельности рассматривается станов ление социально-психологической структуры деятельности; распределение функций совместной деятельности; психотехнический и системный подходы; модели процессов распределения функций у людей и организаций; факторы, которые препятствуют, или способствуют эффективности совместной деятельности. Данная теория выделяет и предполагает отдельный анализ субъекта коллективной деятельности; мотивационные компоненты совместной деятельности; роль личности руководителя в организации совместной деятельности; механизмы саморегуляции и регуляции этой деятельности; пути и условия ее интенсификации. Теория совместной деятельности, разработанная отечественными учеными легла в основу проведенного исследования.
Методологические функции в данном исследовании и выполняла теория экспертных систем. Теория экспертных систем является развитием искусственного интеллекта. Экспертные системы, которые в настоящее время создаются в науке, уже обладают признаками искусственного интеллекта. Данная теория описывает как выявлять знания у экспертов, как создавать базы знаний и правил их использования и др. По сути дела данная теория предопределяет идеал к которому должны стремиться исследователи и пользователи метода экспертных оценок.
Объединяющей, интегрирующей теорией в данном исследовании выступала акмеология - наука о вершинах профессионального мастерства. Эксперты в большинстве своем являются или должны являться специалистами высочайшего уровня, обладающими высоким уровнем развития профессионализма в своей области - "акме". Используя особенности формирования продуктивных экспертных оценок, руководитель постепенно совершенствует с их помощью свой профессионализм, также двигается в сторону овладения "акме". При этом проявляются все известные акмеологические закономерности, особенности. Поэтому опора на работы К.А.Абульха
новой, С. А. Анисимова, 0. С. Анисимова, В.Г.Асеева, О.И.Жданова, А. А. Бодалева, А. А. Деркача, В. Г. Зазыкина, Е.А.Климова, Р.Л.Кри-чевского, Н.В.Кузьминой, Л.Г.Лаптева, А.К.Марковой, В.Г.Михайловского, Э. А.Манушина, В. В. Петрусинского, В. А.Пономаренко, И.Н.Семенова, А.П.Ситникова, Е.А.Яблоковой и др. носила методологический характер.
Особую значимость в исследовании играли работы А.А.Деркача и В.Г.Зазыкина (1998 и др.). В их исследованиях по сути дела приводятся технологии акмеологических экспертиз, хотя сам термин "акмеологическая экспертиза" не используется.
Акмеологичность данного исследования многоаспектна.
Во-первых, для экспертных оценок наиболее часто используются профессионалы высокого уровня, с выраженным "акме". Поэтому это исследование касается особенностей деятельности лиц с высоко выраженным профессионализмом.
Во-вторых, это исследование носит комплексно-акмеологи-ческий характер, так как проводится на границе различных научных дисциплин, отраслей современной психологии (акмеологии, социальной психологии, психологии личности, дифференциальной психологии, психологии управления и др.). Акмеология выступила в данном исследовании той вершиной, в которой как бы аккумулируются возможности этих отраслей психологии.
В-третьих, данное исследование нацелено на формирование профессионализма как руководителей, так и самих экспертов-профессионалов высокого уровня. Профессиональное саморазвитие протекает в процессе общения специалистов, их совместной работы, но этот процесс может быть значительно активизирован, если использовать в его интересах выявленные в исследовании психологические резервы.
В-четвертых, в исследовании вводится понятие "акмеологическая экспертиза". Акмеологическая экспертиза является прак тической технологией активизации резервов профессионального роста учреждения, организации и личностно-профессионального потенциала каждой личности. Экспертные оценки в исследовании рассматриваются более в рамках акмеологического подхода.
МетоЗика исследования.
Методика исследования включала в себя как методы эмпирического, так и теоретического анализа. Среди эмпирических методов широко использовались метод экспертных оценок (экспертов оценивали эксперты), тестирование (применены тест ММРІ, Кэт-телла, интеллектуальный тест Амтхауэра, семантический дифференциал и др.), применялось наблюдение, естественный эксперимент, личностно-ситуационный анализ, беседа, анализ результатов деятельности, анализ документов и др.
На этапе теоретического анализа использовались математические модели, отражающие процесс группового взаимодействия, а также такие методы теоретического исследования как анализ, синтез, аналогия и др.
Основные научные результаты, полученные лично соискателем, и их научная новизна:
1.В результате проведенной многокритериальной классификации экспертных оценок выделены: методы групповых и индивидуальных экспертных оценок; методы экспертной оценки педагогических, психологических, социальных, экономических и др. явлений; методы экспертной оценки личности, группы людей, организаций, технологических процессов, предметов, явлений и др.; морфологический экспертный метод, метод рейтинга, проективного оценивания, парного сравнения, ролевого списка и др.; методы экспертной оценки качественно разнородных явлений и качественно однородных явлений; экспертные оценки, даваемые по заданному алгоритму, по заданной методике с использованием репродуктивных знаний, умений и экспертные оценки творческого типа и
др.
Обоснована роль и значимость метода экспертных оценок в подготовке, проведении и использовании результатов тестирования.
Обоснована концепция многослойности экспертных оценок. Суть этой концепции заключается в выделении промежуточных и конечных экспертных оценок при принятии управленческих решений.
Промежуточная оценка выражается в определении состояния оцениваемого объекта по промежуточным критериям, которые могут находиться не в линейной зависимости с основным. При этом одни эксперты разрабатывают и предлагают критерии для оценок, а другие по этим критериям оценивают акмеологические явления. Первый и второй слой экспертов чаще всего разделены временем и местом оценивания.
2. В результате проведенного экспериментально-психодиагностического анализа личности и деятельности экспертов выявлено, что эксперты в зависимости от своих личностных и иных особенностей придерживаются относительно противоположных стилей деятельности: ориентации на мнение других и ориентации на соответствие оцениваемого явления выдвинутым критериям. Установлено, что черты личности экспертов, диагностированные с помощью тестовых методик, влияют на характер деятельности эксперта и его оценки.
Выявлено, что ситуация экспертных оценок оказывает большее влияние на мнение, оценки эмоционализированных экспертов, которые близки к художественному, эмоциональному типу личности. У экспертов с художественным, эмоциональным типом личности оценка больше зависит от ситуации, контекста оценивания, она более подвижна, изменчива. На данный тип экспертов оказывает существенное влияние окружение, работники управленческих
структур, эмоциональная, социально-психологическая атмосфера при проведении экспертизы.
Выявлены психологические признаки латентной конфликтности экспертов. Выявлен эффект чрезмерной технологической сработанности экспертов и его психологические признаки. Суть этого эффекта заключается в том, что технология проведения экспертных оценок становится настолько отработанной, ясной, что многие ее моменты, компоненты делаются как бы автоматически, без всестороннего анализа условий, особенностей данной конкретной ситуации.
3. Обоснованы пути использования психологических резервов обеспечения точности экспертных оценок, а также методы решения этих проблем (использование методики семантического дифференциала, методической системы взаимных оценок и др.).
Выявлен эффект сокращения конфликтных ситуаций между экспертами на почве психологической несовместимости и роста обоснованности, аргументированности экспертных оценок при введении методики взаимных оценок.
Практическая значимость исследования. Результаты исследования дают возможность:
1. Повысить эффективность управленческих решений при подготовке и проведении акмеологических экспертиз.
2. Повысить результативность психологических исследований с применением методов тестирования.
3. Повысить точность маркетинговых и иных прикладных исследований, связанных с использованием экспертов.
Апробация и внедрение результатов исследования.
Основные результаты исследования внедрены в практической работе автора в составе группы специалистов Акмеологического института, привлекаемых для проведения акмеологических экспертиз как в государственных, так и в коммерческих учреждениях.
Надежность и достоверность исследования обеспечивалась проверенными методологическими, теоретическими позициями, использованием методов психодиагностики, естественного эксперимента, наблюдения, экспертных оценок и других методов, дающих возможность комплексного исследования проблемы. Надежность исследования обеспечивалась и личным опытом работы автора при проведении экспертных оценок, наличием профессиональных контактов с руководителями различных уровней, которые также использовали метод экспертных оценок в интересах своего профессионального совершенствования.
Всего протестировано 94 эксперта из 24 экспертных группы. 17 экспертных групп протестировано полностью, 7 - частично. Кроме этого 120 экспертов протестировано, изучено за рамками акмеологических экспертиз, в которых участвовала автор.
Проанализированы 23 случая психологической несовместимости или неполной психологической совместимости между экспертами.
Проведено 12 естественных экспериментов, 7 из которых приводятся в диссертации.
Положения, выносимые на защиту:
1. Экспертные оценки весьма разнообразны и разнокачест-венны. Они применяются как на эмпирическом этапе исследования, так и при теоретических обобщениях. Они могут быть как относительно однородны и выделяться в особый, экспертный, метод исследования, так и вплетаться в другие методы исследования, завершать их, как например при интерпретации результатов тестирования. Метод экспертных оценок является ведущим при принятии сложных, комплексных решений в проблемных ситуациях развития. Он достаточно продуктивен на всех этапах управленческой работы и развития профессионализма руководителя.
2. Выявленный эффект двухполюсной ориентацией экспертов при оценивании. Один полюс этой ориентации направлен на суть
изучаемой проблемы, степень соответствия изучаемого явления выдвинутым критериям; иной полюс - это мнение других экспертов. Эксперты бессознательно придерживаются или стратегии поиска истины, или стратегии поиска консенсуса с другими лицами. В связи с этим можно выделить три группы экспертов: - с ведущей ориентирующей на поиск истины, - с ведущей ориентацией на сохранение своего статуса, на достижение единства во взглядах, консенсуса с другими, - промежуточная группа, которая стремится придерживаться и той и иной стратегии в зависимости от ситуации.
Эти группы экспертов отличаются своими личностными особенностями.
Первая группа экспертов характеризуется достаточно высоким уровнем предметных знаний, высоким значением IQ, наличием самостоятельных научных работ, публикаций, отсутствием продолжительного опыта руководством крупными коллективами.
Вторая группа экспертов характеризуется достаточно высоким уровнем общительности, наличием опыта руководства людьми, несколько сниженными по отношению к представителям первой группы интеллектуальными способностями, нередко приподнятыми значениями по шкале истероидности (Ну), психастении (Pt), фе-минизированности (Fe) теста MMPI, что может быть проинтерпре-тированно как наличие некоторых акцентуаций в личности. По-видимому, наличие этих акцентуаций предопределяет то, что данные лица статистически чаще используют защитные реакции, которые порой "уводят" группу экспертов от поиска истины, но позволяют сохранить достаточно высокий личностный статус в этой группе лиц, в системе взаимоотношений с другими.
Третья группа экспертов характеризуется достаточно сбалансированным типом личности, наличием в ней относительно противоположных черт. Для таких лиц характерны в среднем промежу точные значения между первой и второй группой по интеллектуальным тестам. Нередко у них наблюдаются сочетание таких качеств, которые как бы взаимно уравновешивают друг друга. Так, относительно высокие значения по шкале паранойяльности у них сочетаются с наличием приподнятых значений по шкале Fe и Ну методики MMPI. Для данной группы экспертов чаще свойственен опыт руководства коллективами, нередко немалыми.
3. Основными путями использования психологических резервов совершенствования деятельности экспертов при подготовке управленческих решений руководителем, при профессиональном самосовершенствовании являются: оптимальный подбор и обучение экспертов; определение индивидуальных путей, способов, методов повышения эффективности экспертных оценок в конкретных ситуациях, условиях; оптимизация профессионального общения экспертов и их взаимооценок; организационное обеспечение решения социально-психологических проблем повышения действенности работы экспертов; совершенствование процессе интерпретации экспертных оценок с учетом влияния психологического фактора; обоснованное и своевременное обновление состава экспертов; совершенствование руководства экспертами; создание экспертных систем для проведения экспертных оценок акмеологического типа.
Психологическая сущность, виды экспертных оценок и особенность их применения при проведении акмеологи-ческих экспертиз
Метод экспертных оценок называется по-разному: оценивание, метод компетентных судей, метод дельфийских оракулов и др. За такой разновидностью названий кроется разноликость метода экспертных оценок. Он исключительно широко распространен в современной науке, особенно в психологии.
Метод экспертных оценок может как возглавлять, так и завершать реализацию всех основных методов исследования в психологии. Наиболее компетентные специалисты, исследователь всегда интерпретируют полученные результаты исследования. При оценке исследуемого явления мнение специалистов, экспертов традиционно как бы дополняет и перепроверяет результаты, полученные с помощью тех или иных методов исследования.
Данный метод весьма экономичен, практичен и широко расп ространен. Он порой имманентно, имплицитно присутствует в различных методических системах, хотя и не всегда выделяется в них как особый метод.
Эффективное использование метода экспертных оценок требует соблюдения ряда условий. Прежде всего - это тщательный подбор экспертов, то есть людей, которые хорошо знают оцениваемую область, являются в этой области компетентными и способны к объективной и непредвзятой оценке (см. 1.2).
Важным условием эффективного применения метода экспертных оценок является и использование удобной системы оценок и соответствующих шкал, использование достаточно обоснованных критериев оценки. Опыт показывает, что эффективность метода экспертных оценок повышается тогда, когда суждение экспертов упорядочение и когда это упорядоченное, ранжированное суждение можно заменить определенными числами.
Важным условием эффективности метода экспертных оценок является обучение экспертов пользованию разработанной методикой экспертных оценок для однозначных и адекватных оценок, чтобы свести ошибки к минимуму, сделать оценки сопоставимыми.
Признаком того, что мнения экспертов достаточно совпадают, служит величина стандартного отклонения, дисперсия оценок, которые выдают квалифицированные эксперты. Если оценки экспертов стабильно совпадают, если они близки, то мнение, которое они высказывают, можно считать достаточно согласованным. И в большинстве случаев, е-сли эксперты квалифицированны, это служит признаком того, что это мнение приближается к объективной истине. Однако не всегда. Бывают отдельные случаи, когда мнение какого-то эксперта может или опережать, быть более прогностич-ным, чем мнение других, так как эксперт обладает знаниями и интуицией, которые более точно предсказывают развитие того или иного явления; или же наоборот, - отставать от других экспер тов, применяя уже устаревшие критерии, знания при оценке того или иного явления. В этом случае принципиально важно бывает разобраться в сути этого рассогласования, и если мнение какого-то эксперта является не объективным, то желательно его заменить на эксперта более высокого уровня.
Под понятие "экспертные оценки" попадает целая гамма методов способов, средств оценки психических и иных явлений, которые широко применяются в современной науке и на практике. Если говорить о методах экспертной оценки, то можно выделить несколько их разновидностей. Разновидности этого метода выделяются по различным критериям, формально-логическим основаниям. По критерию количества экспертов: - методы групповой экспертной оценки, - методы индивидуальных экспертных оценок. По предмету оценивания: - методы экспертной оценки педагогических явлений; - методы экспертной оценки группы людей; - методы экспертных оценок психологических явлений; - методы экспертной оценки социальных явлений; - методы экспертных оценок экономических явлений и др. По объекту оценивания: - методы экспертной оценки личности; - методы экспертной оценки учреждения, организации; - методы экспертной оценки технологических процессов; - методы экспертной оценки предметов, явлений и др. По способу оценивания: - морфологический экспертный метод (в объекте, предмете оценивания выделяются в первую очередь основные структурные компоненты, элементы на определенной ступени их развития, в определенных ситуациях, более подробно смотри Григорьева Е.А., 1974);
Особенности профессиональной деятельности экспертов и методы их изучения
При организации совместной деятельности экспертов, при активизации психологических факторов их деятельности использовалась следующая технология:
Проводилось изучение лиц, которые могли бы быть включены в группу экспертов. Методом экспертной оценки, путем анализа результатов их деятельности и с помощью других методов выделялись специалисты, которые бы смогли квалифицированно провести работу в составе группы экспертов.
Проводилась индивидуальная работа с экспертами, с сообщением каждому из них, что он, по мнению организаторов экспертизы, относится к специалистам высокого уровня и рассматривается как кандидат для выдвижения в группу экспертов. Просилось продумать в чем и как данный специалист мог бы помочь проведению экспертных оценок.
После получения внутреннего согласия на активную, интенсивную группу экспертов с ними проводились занятия.
Более подробно остановимся на методах отбора экспертов. По мнению ряда исследователей (см.: Е.С.Кузьмин, Н.А.Вик торов, Э.С.Чугунова, 1977, с.157) существуют три основные разновидности оценки личности: - Оценка по результатам трудовой деятельности. - Оценка группы экспертов.
При оценке экспертов использовалась методика парного сравнения, она относительно проста, экономна как при сборе материала, так и при проведении расчетов; ее применение возможно в широком сфере оценок; результаты легко поддаются статистической обработки и др. Есть немало работ по использованию данной методики (Л.П.Бобер, Г.К.Воеводская, З.Ф.Есарева). - Оценка по результатам решения контрольных задач, тестов.
Эксперты также, оцениваются в принципе по этим трем направлениям. Сами по себе эксперты отбираются как лучшие работники системы просвещения, имеющие реальный опыт руководства педагогическими коллективами, остаются же в экспертных группах те, кто неплохо зарекомендовал себя и в работе экспертных бригад. Таким образом, результаты деятельности экспертов учитываются двояко: и результаты деятельности в той сфере, которую оценивают эксперты, и результаты деятельности как экспертов.
Группа экспертов по результатам совместной деятельности оценивает себя: каждый оценивает каждого. Если к тому же учесть, что оцениваются также все экспертные бригады, то система взаимооценок приобретает достаточно всеобщий характер, существенно влияющий на эффективность деятельности всех экспертов и всех экспертных бригад.
Тесты также используются при отборе экспертов. В том случае, если по результатам тестирования просматривается существенное отклонение общительности кандидата в эксперты от нормы (высокая истероидность, маниакальность, общительность и т.д.), то этот аспект может стать объектом дополнительного изучения.
Если негативное предположение, сделанное на основе тестирования, подтверждается другими методами, то выносится негативный вердикт.
Таким образом, все группы методов оценки личности, которые реально можно и нужно применять в производственной, профессиональной деятельности используются при оценке личности экспертов.
Среди методов отбора экспертов особое место занимает метод взаимных рекомендаций. По сути дела, используя данный метод, возможно формирование высокоэффективных команд экспертов, между которыми существует хорошая психологическая совместимость, срабатываемость. Хотя реализация данного метода не исключает случаев некоторых злоупотреблений. Так не исключена ситуация, когда руководитель экспертизы при подборе экспертов более заинтересован в "ручной" команде, которая бы выполняла заранее поставленные задачи, а не искала истину. Поэтому при всей важности метода взаимных рекомендаций, следует оговориться, что при реализации данного метода необходимы определенные условия по контролю за эффективностью и целесообразностью деятельности группы, сформированной с помощью такого метода.
Отработаны математические основы метода взаимных рекомендаций. Один из таких подходов заключается в том, что каждому эксперту дается право согласиться или не согласиться с тем, что в группу экспертов войдет такая-то личность. В случае согласия ставится плюс, при несогласии ставится минус. В том случае, если эксперт затрудняется в выборе или оценке той или иной личности, ставится ноль.
Анализ имеющихся экспериментально-психодиагностических данных о влиянии психологического фактора на точность экспертных оценок
В зарубежных исследованиях скопилось немало фактов, данных о том, что эксперты, как и все люди, подвержены социально-психологическим эффектам, феноменам, которые деформируют объективность их оценок.
Ван Дам К. (Van Dam К., 1991) написала монографию о деятельности эксперта. По ее мнению ошибки экспертов забавны. Она не в полной мере согласна с тем, что резкое отличие экспертных оценок является косвенным признаком их недостаточной объективности. По ее мнению неправильность, ложность экспертных заключений, суждений может быть доказана.
Чао-Хин, Г. Сельвенди, У.Пурдуе (Chao,-Chin-Jung; Salvendy, -Gavriel: Purdue U, 1995) исследовали влияние когнитивных способностей экспертов на их обучаемость, эффективность деятельности. Выявлено, что на эффективность деятельности 24 студентов университета при решении ими трех типов задач по экс пертной оценке существенно повлияли их когнитивные способности. При этом когнитивные способности по-разному влияли на эффективность экспертных оценок в зависимости от их применяемой разновидности - интервью (interview), протокол (protocol), индукция (induction), сетка выбора (repertory grid).
При оценке личности экспертные оценки могут быть точными в одном отношении и устойчиво неточными в других. Так, Тер Ла-ак (Тег Laak J. 1994) пришел к выводу, что учителя в целом точно оценивают поведение учеников, но недостаточно точно, а порой просто неверно систему межличностных взаимоотношений между учениками.
Аналогичное исследование проведено Д.Шварцем, Дж. Гудма-ном (Schwartz,-Donald-J.; Goodman,-Jane, 1992). Они исследовали влияние на степень точности экспертных оценок таких факторов как 1) уверенность в относительной правильности, точности психометрических процедур, 2) стратегии оценки и 3) степени знакомства с проблемой, обзорности в ней. Переход на новые стандарты при экспертных оценках более благоприятно проходит у экспертов с таким качеством личности как пластичность.
Приведем некоторые выводы из имеющихся публикаций. Вначале обратим внимание на то, что деятельность экспертов в группе может быть описана и математической моделью. Данное описание важно для системного понимания психологических проблем, возникающих при этом.
В настоящее время для описания экспертных оценок, группового взаимодействия, в том числе и в группе экспертов, существуют различные математические модели, используются самые разнообразные математические методы. Однако при всей многоликости математических идей нередко они абсолютизируют количественные данные в ущерб качественным. Вот как оценивает в целом все эти математические методы, математические модели С.С.Паповян:
"...эти модели включают наблюдаемые и потому легко измеряемые переменные (подсчитывается число индивидов, средняя продуктивность индивида в группе, среднее число полученных выборов и т.д.). Однако такая легкость на практике оборачивается незначимостью, нерелевантностью, устанавливаемых данной моделью взаимосвязей. Во многие модели такого рода включаются переменные, которые, в общем, трудно или даже невозможно связать с интересующими нас социально-психологическими характеристиками. Например, продуктивность группы связана с психологическими и социально-психологическими характеристиками группы, но эта связь не эксплицирована в модели. И сама по себе связь продуктивности с размером группы не представляет социально-психологического интереса. Такой интерес возможен на основе выявления тех социально-психологических факторов, процессов, которые имеют своим результатом полученное эмпирическое обобщение" (Поповян С.С. Математические методы в социальной психологии. -М. : Наука, 1983, с. 192).
С учетом сказанного математически взаимодействие экспертов можно описать рядом уже разработанных моделей.
Модель степени включенности в малую дискуссионную группу разработана Б.Бэйзлом (Bales R.F. Interaction process analysis. Cambridge: Addison-Wesley, 1951, 293 p.; Bales R.F., Strodtback F.L., Mills T.M., Rosenbrough M.E. Channels of communication in small groups. - Amer. Sociol. Rev., 1968, vol. 16, p. 461-468). Данные исследователи изучали модели дискуссионных групп размером от 3 до 10 человек. В этот размер попадает и бригада экспертов, которая занимается подготовкой правленческих решений руководителем. Поведение членов группы описываются определенными ролями: - проявляет солидарность (поднимает статус других, оказывает помощь, поощряет); - советует (руководит, учитывает автономию других); - ориентирует (рассказывает, вносит ясность, подтверждает); - не соглашается (саботирует, проявляет педантизм, не помогает) и др.
Все члены группы ранжируются по частоте проявления их активности, по частоте их действий. Эти показатели и использовались для математического описания взаимодействия в группе.
Модель социометрического выбора Морено хорошо известна в отечественной науке. Она применима и при формировании группы экспертов, для создания условий психологической совместимости между ними.
Внутренние психологические резервы совершенствования профессиональной деятельности экспертов
В последнее время наметилась тенденция все более широкого использования экспертных оценок и все более широкого трактования в понимании этого метода исследования. Все отчетливее звучит мнение об особой роли метода экспертных оценок в системе профессионального психологического отбора, в методической системе психологии в целом. Это и понятно: как бы не были эффективны методы психодиагностики, в конечном счете решение по профпригодности или профнепригодности принимает человек, специалист, эксперт. Переход от результатов тестирования к заключению о профпригодности в настоящее время происходит или с помощью экспертов, или с помощью экспертов после обработки результатов тестирования факторным анализом или другими математическими методами (дискриминантный, кластерный, корреляционный и др. анализа). В связи с этим А.А.Ворона, В.Е.Косачев, В.М.Усов предлагают экспертно-аналитический метод для взаимодополнения этих подходов: "Его использование предполагает реализацию трех основны этапов. Первые два этапа, - этап определения целевых показателей (индивидуально-психологических ка честв) и этап отбора первичных прогностических признаков - являются, в основном, экспертными и опираются на известные теоретические проработки по данным вопросам. Эти этапы завершаются построением графсхемы анализа исследуемого качества. Третий этап - этап построения интегрального показателя, то есть сведения всего многообразия оценок по отдельным показателям к одномерному континууму - шкале оцениваемого индивидуально-психологического качества человека-оператора. Для восстановления функциональных связей между прогностическими и целевыми показателями использовались S-образные зависимости, параметры которых рассчитывались на основе статистических разделений первичных признаков. Применение таких зависимостей позволило не только реализовать сложные структуры графсхем, но и учесть диапазоны изменения используемых при анализе показателей для лиц данной профессиональной группы. Расчет интегральных показателей осуществляется на ЭВМ по специально разработанным для этих целей программам.
Экспериментально было установлено, что экспертно-аналити-ческий метод позволит строить шкалы интегральных показателей, интересующих исследователя индивидуально-психологических качеств человека-оператора, ранжировать испытуемых по этим качествам, повысив при этом достоверность оценок". (Ворона А.А., Косачев В.Е., Усов В.М. Экспертно-аналитический метод оценки индивидуально-психологических качеств человека-оператора. В кн.: Научные основы прикладной психологии. Тезисы докладов к YII съезду Общества психологов СССР. - М.: 1989, с.46-47).
По сути дела это предложение первичные экспертные оценки анализировать, исследовать, коррелировать с результатами деятельности и на этой основе присваивать им определенные коэффициенты, определенный вес в конечном прогнозе. Но это и происходит при акмеологической экспертизе. Поэтому метод такой оценки, по-аналогии, также можно назвать экспертно-аналитичес-ким. Реализация экспертно-аналитического метода в полной мере требует использования для этого и психологических резервов. Проблема максимального использования потенциала, заложенного в эксперте, неоднократно обсуждался на страницах печати. Н.Н.Китаєва (1975) и др. При оценке степени значимости каждого эксперта в той или иной экспертизе важен не только уровень компетентности эксперта, но и степень его заинтересованности в максимально продуктивной работе, степень с какой он продуктивно использует свой опыт для получения точной экспертной оценки. И здесь кроятся немалые социально-психологические резервы мотивации деятельности экспертов. Эти резервы значимы и в силу того, что другие резервы совершенствования метода экспертных оценок (использование ЭВМ, статистических расчетов, специальных алгоритмов работы экспертов и др.) уже существенно использованы. Суть проблем заключается в том, чтобы эксперт был постоянно в форме, чтобы его деятельность не сводилась к формальным операциям, чтобы его интеллект был максимально напряжен, чтобы он работал с максимальной продуктивностью.
Рассмотрим эти психологические резервы. Подбор и обучение экспертов. Эксперты, как специалисты своего дела, должны обладать определенными качествами. В педагогической экспертизе эти качества особые. Они обоснованы в работе Аванесова B.C. (1982, с. 30): компетентность, заинтересованность, деловитость, объективность.
