Введение к работе
Актуальность работы. Системный анализ сложных технических объектов не может быть основан только на информации, полученной при помощи измерительных приборов, и часто реализуется с привлечением экспертной информации, отражающей опыт и интуицию специалистов.
Получение и обработка экспертной информации являются важными процедурами системного анализа и управления в научно-технической сфере, успешность применения которых существенно зависит от уровня профессиональных знаний участвующих в них специалистов (экспертов).
Проблемы организации получения, анализа и обработки экспертной информации и вопросы оценивания квалификации экспертов рассмотрены в работах многих зарубежных и отечественных ученых. В основе предлагаемых процедур, как правило, используются тестовые методы, а оценивание уровня знаний одних специалистов осуществляется другими, которые в этом контексте образуют группу эталонных экспертов (иерархия экспертов). Следует отметить, что применяемые в настоящее время тестовые процедуры в недостаточной мере отражают системность знаний профессиональной сферы. Вместе с тем профессиональную деятельность в научно-технической сфере можно представить несколькими аспектами, которые имеют различную важность для специалистов отдельных специализаций в рамках одной профессиональной группы. Поэтому для оценивания уровня профессиональных знаний экспертов целесообразно использовать многокритериальное иерархическое оценивание, позволяющее выявить их целостность и системность.
Таким образом, совершенствование на основе системного подхода процедур оценивания уровня профессиональных знаний экспертов в научно-технической сфере является актуальной задачей.
Предлагаемый подход заключается в том, что процедура системного тестового оценивания уровня профессиональных знаний экспертов в научно-технической сфере должна быть построена таким образом, чтобы в результате ее применений выявлялись способности испытуемых к адекватному отражению степени полноты возможных описаний характеристик одного и того же технического объекта с заданной точки зрения. Для этого целесообразно воспользоваться идеологией экспертных процедур парных сравнений с комплексированием результатов на основе учета иерархичности и весомостей с точки зрения специализаций испытуемых (иерархическое многокритериальное экспертное оценивание). При этом выносить суждение об уровне профессиональных знаний экспертов следует на основе сравнений с эталоном, который заранее формируется с привлечением «эталонных» специалистов из соответствующей профессиональной сферы.
Объект исследований: процессы получения, анализа и обработки экспертной информации в задачах отбора экспертов.
Предмет исследования: методы и алгоритмы получения и обработки информации при оценивании уровня профессиональных знаний в научно-технической сфере.
Целью диссертационного исследования является совершенствование процедур отбора экспертов, привлекаемых для оценивания объектов техники, на основе разработки системных методов получения и обработки информации об уровне их профессиональных знаний, который сравнивается с формируемым заранее эталоном.
Для достижения поставленной цели были сформулированы и решены следующие задачи:
Разработка метода системного оценивания уровня профессиональных знаний экспертов, привлекаемых для анализа объектов в научно-технической сфере, на основе получения и обработки экспертной информации с применением парных сравнений.
Разработка алгоритмов получения и обработки экспертной информации при оценивании уровня профессиональных знаний привлекаемых экспертов.
Разработка программной реализации алгоритмов получения и обработки экспертной информации при оценивании уровня профессиональных знаний привлекаемых экспертов.
Апробация разработанного метода и алгоритмов оценивания профессиональных знаний привлекаемых экспертов на примере сферы информационно-коммуникационных технологий.
Методы исследований: методы системного анализа, методы получения и обработки экспертной информации, методы статистической обработки эмпирической информации, компьютерное моделирование.
Научную новизну работы составляет следующее:
1. Метод получения и обработки экспертной информации при отборе
экспертов в научно-технической сфере, включая:
1.1. новый принцип оценивания уровня профессиональных знаний
экспертов на основе проверки их способности к упорядочиванию в виде
вычисляемых весомостей предъявляемых описаний характеристик
анализируемых объектов по степени их полноты с заданной точки зрения
(направления профессиональных знаний);
иерархическую процедуру получения и обработки на основе парных сравнений информации о знаниях испытуемых с вычислениями весомостей сравниваемых описаний характеристик анализируемых объектов;
способ формирования эталонного уровня профессиональных знаний в виде упорядочивания весомостей сравниваемых описаний характеристик анализируемых объектов с привлечением «эталонных» экспертов;
способ оценивания уровня профессиональных знаний экспертов на основе разработанных мер близости с полученным ранее эталонным упорядочиванием весомостей и градаций результирующих оценок.
2. Алгоритмы получения и обработки экспертной информации в методе
парных сравнений без предварительного формирования шкал экспертных
суждений, что позволяет повысить гибкость процедур экспертного оценивания за
счет отсутствия фиксации количества градаций суждений и выражаемых ими силы превосходств/проигрышей сравниваемых объектов.
Практическая значимость работы определяется тем, что реализация предложенных процедур получения и обработки испытательной информации позволяет повысить обоснованность принятия решений при отборе экспертов, привлекаемых для оценивания объектов техники. Разработан комплекс программных средств, реализующих процедуру оценивания уровня профессиональных знаний в сфере техники, который применяется в ООО «Матрица» при аттестации специалистов по программированию и конфигурированию в системе 1С: Предприятие 8.2, что подтверждается соответствующим актом.
Область исследования. Содержание диссертации соответствует паспорту специальности 05.13.01 «Системный анализ, управление и обработка информации» (технические науки) по следующим областям исследований:
п. 5. «Разработка специального математического и алгоритмического обеспечения систем анализа, оптимизации, управления, принятия решений и обработки информации»;
п. 13. «Методы получения, анализа и обработки экспертной информации».
Связь с научными и инновационными программами. Результаты диссертационных исследований использовались при выполнении следующих проектов: грант РФФИ, проект 07-07-00206а; ФЦП «Научные и научно-педагогические кадры для инновационной России» государственные контракты 14.740.110390 и № 02.740.11.5128, а также внутривузовские гранты БелГУ на проведение исследований по приоритетным направлениям развития науки, технологий и техники, 2008, 2009, 2010 годы.
Положения, выносимые на защиту
Метод получения и обработки экспертной информации при определении уровня профессиональных знаний экспертов, привлекаемых для оценивания объектов техники, реализующий принцип выявления способностей испытуемых к упорядочиванию по важности с заданной точки зрения предъявляемых описаний характеристик анализируемых объектов.
Алгоритмы получения и обработки экспертной информации при оценивании уровня профессиональных знаний привлекаемых экспертов, с вычислением весомостей предъявляемых описаний характеристик анализируемых объектов на основе метода парных сравнений без предварительного формирования шкал экспертных суждений.
Методика формирования эталонных упорядочиваний весомостей предъявляемых описаний характеристик анализируемых объектов и получения на основе разработанных мер сопоставления с ними интегральных оценок уровня профессиональных знаний привлекаемых экспертов.
4. Программная реализация алгоритмов получения и обработки экспертной
информации при оценивании уровня профессиональных знаний привлекаемых
экспертов и ее апробация на примере сферы ИКТ.
Достоверность выводов и рекомендаций обеспечивается корректностью использования принципов системного анализа, математических формулировок и
преобразований, отсутствием противоречий с известными теоретическими положениями и сопоставлениями результатов компьютерного моделирования со статистическими данными.
Личный вклад соискателя. Все изложенные в диссертации результаты исследования получены либо соискателем лично, либо при его непосредственном участии.
Апробация результатов диссертационного исследования.
Основные положения и результаты диссертационного исследования докладывались и обсуждались на следующих конференциях:
Всероссийский конкурс научно-исследовательских работ студентов и аспирантов «Инновационные технологии в образовательном процессе» - Белгород, БелГУ, 2011 г; Всероссийская конференция с элементами научной школы для молодежи «Информационные технологии в образовании XXI века» (ИТО-ХХІ), Москва, НИЯИ «МИФИ», 2011 г; Десятая международная научно-методическая конференция «Информатика: проблемы, методология, технологии, - Воронеж, 2010 г; 1-я и 2-я Международная научно-техническая конференция «Компьютерные науки и технологии», - Белгород, НИУ БелГУ, 2009 г, 2011 г; Девятая международная научно-методическая конференция «Информатика: проблемы, методология, технологии», - Воронеж, 2009; Международная научно-практическая конференция «Новые информационные технологии в образовании», Екатеринбург, 2009 г.; Всероссийская научно-техническая конференция «Проблемы информатизации образования». - Тула, 2008; VI Всероссийская конференция (с международным участием) «Современные ИТ в науке, образовании и практике», -Оренбург, 2007.
Получен диплом лауреата Всероссийского конкурса научно-исследовательских работ в области технологий электронного обучения в образовательном процессе - Белгород, БелГУ, 2010г.
Публикации. По теме диссертационного исследования опубликовано 16 печатных работ (из них 8 в журналах из списка ВАК РФ), получено 5 Свидетельств Роспатента РФ о государственной регистрации программ для ЭВМ.
Объем и структура работы. Диссертация состоит из Введения, четырех глав, Заключения, Списка литературы и Приложений. Работа изложена на 140 страницах машинописного текста, включая 11 рисунков, 43 таблицы и список литературных источников из 102 наименований.
