Содержание к диссертации
Введение
Глава 1. Анализ оценки эффективности научной деятельности подразделений высшего военного учебного заведения 16
1.1. Анализ структуры научной деятельности ВВУЗа 16
1.2. Анализ существующих подходов и методик оценки эффективности научной деятельности ВВУЗа 24
1.3.Обоснование выбора показателей для оценки эффективности научной деятельности ВВУЗа 32
1.4.Характеристика задачи разработки методики оценки эффективности научной деятельности ВВУЗа 40
1.5.Концепция экспертного подхода к оценке эффективности научной деятельности ВВУЗа 41
1.5.1, Обоснование применимости экспертного подхода к оценке эффективности научной деятельности ВВУЗа 41
1.5.2, Формально-методические положения организации экспертного подхода к оценке эффективности научной деятельности ВВУЗа 43
І.6. Математическая модель обеспечения оценки эффективности научной деятельности структурных подразделений ВВУЗа 52
1.6.1. Разработка лингвистических переменных для формализации экспертной информации о состоянии процесса научной деятельности 52
1.6.2. Интерпретация информации, выраженной нечеткими переменными 65
1.6.3. Вычисление обобщенной оценки значимости частных показателей эффективности вида научной деятельности 66
1.6.4. Нормирование оценок значимости показателей эффективности вида научной деятельности 67
Выводы 68
Глава 2. Разработка методического комплекса оценки эффективности научной деятельности высшего военного учебного заведения 69
2.1. Разработка методики определения численных оценок значимости показателей эффективности научной деятельности на основе экспертной информации 69
2.2.Разработка методики оценки эффективности научно-исследовательских работ 77
2.3.Методика оценки эффективности подготовки научно-педагогических кадров 95
2.4.Разработка методики оценки эффективности изобретательской и рационализаторской работы 100
2.5.Разработка методики оценки эффективности работы военно-научного общества курсантов 104
2.6.Разработка методики оценки эффективности информационной деятельности 108
2.7.Методика оценки эффективности научно-технического сотрудничества 112
2.8.Методика оценки эффективности участия в конкурсе на лучшую научную работу 115
2.9. Обобщенная методика оценки эффективности научной деятельности 119
Выводы 127
Глава 3. Программно-аппаратное обеспечение методического комплекса оценки эффективности научной деятельности высшего военного учебного заведения 128
3.1.Обоснование выбора аппаратно-технического и базового программного обеспечения АРМ оценки эффективности научной деятельности 129
3.1.1. Выбор базовой операционной системы 129
3.1.2. Выбор базового программного обеспечения АРМ оценки эффективности научной деятельности 134
3.1.3. Разработка структурной схемы комплекса оценки эффективности научной деятельности, алгоритма действия оператора АРМ 138
3.2.Разработка программного обеспечения реализующего методический комплекс оценки эффективности научной деятельности 142
3.3.Результаты сравнительного анализа результатов оценки эффективности научной деятельности 156
Выводы 159
Заключение 160
Список литературы
- Анализ структуры научной деятельности ВВУЗа
- Анализ существующих подходов и методик оценки эффективности научной деятельности ВВУЗа
- Разработка методики определения численных оценок значимости показателей эффективности научной деятельности на основе экспертной информации
- Выбор базовой операционной системы
Введение к работе
Актуальность темы диссертации
Особая роль в повышении эффективности научных исследований принадлежит высшей школе. Высшие военные учебные заведения направляют свои усилия не только на удовлетворение потребностей страны в высококачественных военных специалистах, не только в направлении дальнейшего повышения качества их подготовки, но и на более эффективное использование научного потенциала ВВУЗов для решения актуальных научных и научно-технических задач. Это направление во многом определяет перспективы развития высшей военной школы в условиях научно-технического прогресса.
Управление научной деятельностью (НД) является одним из приоритетных направлений работы органов управления и должно рассматриваться в совокупности с остальными видами деятельности.
Управление НД предусматривает решение трех взаимодополняющих друг друга центральных проблем [1]:
формирование общегосударственной системы целей научной и проектно-конструкторской деятельности, стратегической ориентации государственной политики в отношении науки (стратегия НД);
обеспечение роста научного потенциала страны, количество структура и качество которого соответствовали бы общественным потребностям, отраженным в системе ближних и дальних целей науки (потенциал подготовки научно-педагогических кадров);
разработка и осуществление на практике комплекса мер по повышению эффективности НД как в отношении использования наличных ее сил, так и, в особенности, в направлении ускорения, расширения масштабов и полноты использования наличных результатов научной деятельности (эффективность НД).
Основные проблемы управления НД могут быть интерпретированы на различных уровнях управления: от общегосударственного до уровня руководства тематической группой и отдельными сотрудниками. В любом случае научно-техническая специфика решаемых задач теснейшим образом связана с социальными
условиями и экономическими факторами, определяющими характер и направленность научной деятельности.
Управление НД должно рассматриваться как органическая часть единой системы научной деятельности, ее специфическая . подсистема. На основе поступающей на вход управления информации о наблюдаемых фактах, характеристиках и состояниях системы формируются общие представления о задачах и возможностях управления. Вместе с тем на основе только этих представлений обычно еще нельзя непосредственно изменять курс практических действий. Информация эта должна быть переработана специальными способами и методами. Для управления НД принципиальную важность имеет аналитическое и прогнозное, информационное обеспечение, и как следствие, исходная база сопоставимых данных для анализа и оценки эффективности НД.
Здесь широко используются специальные методы науковедческих исследований, базирующихся на ряде идей математики (в особенности, исследования операций и теории графов), информатики, экономики, социологии и др. Эти работы, включающие анализ тенденций и прогнозирование, имеют конечной целью разработку вариантов решений и конкретных рекомендаций по управлению. Прерогатива же принятия решений принадлежит соответствующим инстанциям, лицам и органам управления. Следует заметить, что в этом находит свое отражение такой принцип организации научно обоснованного управления НД, как разделение компетенции в подсистеме управления и наличие так называемых «штабных» подразделений (групп исследования), осуществляющих специальную научную подготовку вариантов решений.
Принятие решений - специфическая по сложности и особо ответственная работа в подсистеме управления. Для ее выполнения принимающий решение орган управления пользуется не только рядом исходных сведений поступающих от исполнителя. Специфически важная для принятия решений информация поступает от вышестоящих по иерархии управления инстанций. На основании этих данных, а также опыта и запаса представлений, имеющихся у руководителей, полномочных принимать решения, они формируют управляющие решения.
В процессе проведения науковедческих исследований, экспериментальной проверки их результатов, обобщения опыта других научных систем формируются
теоретические основы повышения эффективности научной деятельности. Комплексный системный подход к задачам управления, теоретическая обоснованность решений и учет реальной специфики управляемых систем - важный принцип современного управления наукой в целом.
В соответствии с принятым определением процесса управления наукой решения, принимаемые управляющей подсистемой научной деятельности, изменяют, устанавливают и корректируют комплекс связей и отношений, присущих научно-исследовательскому труду.
При всем многообразий управляющих воздействий арсенал конкретных средств, имеющихся в распоряжении любого уровня управления НД, может быть разделен на четыре основных класса:
Организационно-административные меры, варьирующиеся в рамках существующего законодательства, уставных положений, распределения и субординации должностных прав и обязанностей и т.п.
Экономические формы и рычаги управления, разнообразие и диапазон действия которых определен экономическими отношениями и уровнем развития экономики страны.
Информационные средства и инструменты управления, использование которых ведет к непосредственному воздействию на «технологию и технику научного производства», к влиянию на само содержание проводимых исследовательских работ и подготовки научных кадров.
Социально-психологические факторы управляющих воздействий, варьирующиеся в соответствии со специфической природой творческого интеллектуального труда в сфере науки и подготовки научных кадров. Необходимо подчеркнуть, что воздействие комплекса названных средств
направлено на все жизненно важные связи, которые объединяют разрозненные элементы и акты научной деятельности в единую систему.
Реальный опыт развития российской и мировой науки, теоретические обобщения науковедения позволяют утверждать, что успех в управлении научным процессом может быть только тогда, когда удается на деле обеспечить эффективное функционирование всего комплекса указанных связей. Недооценка или рассогласованность любой из них приводит к остро ощущаемым отрицательным
последствиям. Чем полнее комплекс управляемых связей и чем действеннее они функционируют, тем жизнеспособнее научная система и выше уровень эффективности ее работы. В настоящее время известен опыт построения и анализа информационных, организационных и экономических моделей науки как управляемой системы. На повестке дня - задача синтеза этого рода моделей. Отсюда следует один из важнейших общих принципов принятия рациональных управляющих решений - системная согласованность и обоснованность выбора целей, определения программ работ и распределения ресурсов. С несоблюдением этого принципа связано недостаточно активное использование имеющихся в распоряжении органа управления резервов повышения эффективности НД.
Особая роль в повышении эффективности НД принадлежит высшей школе. Высшие военные учебные заведения направляет свои усилия не только на подготовку высококвалифицированных специалистов и в направлении дальнейшего повышения качества их подготовки, но и на более эффективное использование научного потенциала ВВУЗов для решения актуальных научных, научно-технических и социальных задач.
В высших военных учебных заведениях России сосредоточен большой научный потенциал, существует целый ряд проблемных, отраслевых и научно-исследовательских лабораторий, конструкторских и технологических бюро. Некоторые ВВУЗы, их научные учреждения занимают ведущее положение в стране по актуальным научным направлениям и вносят существенный вклад в развитие отечественной науки.
В решении задач интенсификации и повышения эффективности НД ВВУЗов значительную роль может сыграть совершенствование аппарата оценки научной деятельности этих учреждений, их подразделений.
В настоящее время существует несколько подходов к оценке научной деятельности ВВУЗов, отличающихся большим разнообразием используемых показателей. Такое положение требует разработки теоретических основ (методических принципов) как базы построения частных методик оценки НД подразделений ВВУЗов.
Решающая роль в оценке эффективности НД принадлежит правильному выбору показателей. Следовательно, задачи оценки эффективности НД ВВУЗа
должна быть сформулирована таким образом, чтобы показатели для оценки ВВУЗа, его подразделений и отдельных сотрудников были идентичны, однако полностью осуществить это не всегда представляется возможным.
В настоящее время при оценке результатов деятельности подразделений ВВУЗа, как правило, реализуются два вида подхода [2]: оценка достигнутых результатов по отношению к другим подразделениям и сопоставление достигнутых результатов с результатами этого же подразделения, достигнутыми в прошлом периоде. При первом подходе, как правило, не учитываются неодинаковые фактические возможности, которые имели разные подразделения и специфику самих подразделений, при втором не учитываются фактические возможности, которыми располагало данное подразделения, и небольшое увеличение невысоких результатов может быть предоставлено как значительный прогресс.
Вместе с тем современный подход к анализу деятельности сложных систем, к которым, безусловно, относится и коллектив ВВУЗа в целом, заключается в том, что оценивать достигнутые результаты следует по отношению к реальным возможностям, имевшимся в конкретном подразделении в данный период времени. Судить об эффективности деятельности подразделения необходимо по полноте реализации фактических возможностей, которыми она располагала.
Из всего выше сказанного можно сделать вывод о необходимости создания некого универсального инструмента - методического комплекса (методики), с помощью которого можно провести оценку эффективности НД подразделений высшего военного учебного заведения с учетом специфики вида подразделения и имеющихся в наличии фактических возможностей.
Прежде чем приступить к созданию упомянутого методического комплекса (методики) необходимо рассмотреть ряд исходных предпосылок, с целью выбора критериев оценки НД подразделений, а также сформировать требования, предъявляемые к самой методике.
Важнейшей предпосылкой конструирования методики является правильное понимание специфики научной деятельности подразделений, ее содержания, особенностей достигаемых результатов и процесса их получения. Оценивать надо в основном результат деятельности, а не процесс, поскольку интерес представляет именно конечный результат, а не старание исполнителей. Таким результатом может
являться новая информация: открытие, изобретение, монография, книга, брошюра, статья, доклад, комплект документации для новой системы, пакет прикладных программ, методика, проект устава (наставления) и т.д.
Методика оценки должна позволять делать объективную оценку, не зависящую от мнений и пожеланий оценивающих, т.е. она должна быть объективной. Для объективной оценки необходимо, во-первых, предусмотреть в методике порядок регистрации полученных результатов подразделениями и, во-вторых, помимо качественных методов использовать количественные методы подсчета результатов. До сих пор неизвестно ничего лучшего для этой цели, чем балльный метод. При этом периодически, балльные оценки должны корректироваться. Для объективности оценки методика должна предусматривать защиту оцениваемого подразделения от влияния доброжелателей и недоброжелателей.
Методика оценки должна оставаться длительное время без изменений, чтобы подразделения могли на нее ориентироваться в течение длительного времени. Однако периодически методику надо корректировать в связи с возникающими изменениями в задачах и условиях их выполнения или выявления недостатков в ней.
Наиболее болезненным и невыгодным для подразделений является частое изменение системы показателей оценки, так как нарушается установка сотрудников на достижение определенных результатов. Большое внимание надо уделить достижению простоты методики и ее понятности для оцениваемых подразделений, а также возможности автоматизации проводимых расчетов.
Исследование условий деятельности научных коллективов, изучение и анализ существующих методов оценки их работы позволили выделить ряд требований, которым должна удовлетворять методика оценки НД ВВУЗа и их подразделений.
К числу основных из них относятся следующие:
комплексность и полнота оценки, т.е. учет всех сторон деятельности подразделения в соответствии с основными целевыми задачами ее функционирования;
универсальность оценки, т.е. возможность использования системы показателей для анализа и сравнения эффективности деятельности и достигнутых конечных результатов, научными коллективами за определенные периоды их работы, а также пригодности методов для оценки различных
научных систем (объектов) и возможности их совершенствования в процессе использования;
объективность оценки, т.е. однозначность толкования и количественная определенность показателей, методов их расчета и сопоставления, а также должна ограничивать влияние субъективных факторов и быть доказательной для оцениваемых подразделений;
доступность, наглядность и планомерный характер оценки, т.е. относительная простота расчета показателей и использование действующих форм учета и отчетности;
стимулирующий характер оценки, т.е. методика должна быть удобным инструментом, создавать основу для совершенствования методов морального и материального стимулирования, ориентировать коллективы на самосовершенствование с целью повышения эффективности НД;
максимально возможная автоматизация процедуры оценки. Наличие в настоящее время множества методик, удовлетворяющих
перечисленным требованиям, содержащих различные наборы показателей и правил получения результирующих оценок, делает актуальной проблему определения наилучшей методики оценки эффективности НД с учетом особенностей научной деятельности в ВВУЗе.
Цель и задачи исследования
Целью работы является дальнейшее совершенствование процесса управления научной деятельностью ВВУЗа.
Указанная цель достигается решением следующей научной задачи: разработка научно методического комплекса оценки эффективности НД при автоматизации процесса расчета оценки эффективности показателей.
Объект исследования
Объектом исследования является процесс научной деятельности в ВВУЗе.
Предмет исследования
Предметом исследований являются научно-методические основы оценки эффективности организации научной деятельности ВВУЗа.
Научные результаты
1. Математическая модель формализации экспертной информации о состоянии
научной деятельности ВВУЗа на основе лингвистических переменных
«ЗНАЧИМОСТЬ» и «ОЦЕНКА».
Данный научный результат составляют лингвистические переменные «ЗНАЧИМОСТЬ» и «ОЦЕНКА», правила их применения, их терм множества, аналитические соотношения, которые определяют семантику нечетких переменных, а также правила интерпретации нечеткой информации для получения точечной оценки в виде значения весового коэффициента (значимости) и степени проявления свойства на основе метода полной интерпретации. Это позволяет отдельному эксперту автономно, и не подвергаясь влиянию других экспертов, передавать свой опыт системе оценки.
Методы, позволяющие на основе отдельных точечных оценок получить достаточно свободную от субъективизма обобщенную оценку (согласование экспертов, усреднение и нормализация).
2. Методический комплекс оценки эффективности НД структурных
подразделений ВВУЗа.
Структура показателей их взаимосвязь, учет влияния специфики деятельности
для учебных и научных подразделений.
3. Алгоритмические и информационные основы программного комплекса,
реализующего процесс автоматизированной оценки эффективности НД
подразделений ВВУЗа.
По существу программный комплекс представляет собой реализации предыдущих, имеющих теоретическое значение результатов, в виде специального программного продукта в среде Excel for Windows с описанием принципов его построения на основе реальной программной среды, правил его использования для оценивания.
Научная новизна результатов
Очевидно, что новизна результатов научного исследования в значительной мере определяется новизной подходов, использованных при исследовании. Необходимо отметить, что вопросы оценки эффективности организации НД исследовались в ряде работ [2, 9, 11, 12, 13].
Новизна и научная значимость математической модели формализации экспертной информации о состоянии НД ВВУЗа характеризуется следующим. При ее разработке на основе анализа процесса приобретения опыта экспертом и формирования у него знаний об организации процессов НД обосновано понятие ЛП «ЗНАЧИМОСТЬ» и «ОЦЕНКА». Для определения семантики значений ЛП «ЗНАЧИМОСТЬ» и «ОЦЕНКА» использованы способы представления функции принадлежности нечетких множеств на основе вложенных процедур. В рамках понятия ЛП «ЗНАЧИМОСТЬ» достаточно полно может быть формализована информация количественного и качественного характера, предоставляемая экспертом. С использованием ЛП «ОЦЕНКА» предложен способ формализации экспертной информации оценочного характера, позволяющий характеризовать процессы организации НД.
При разработке методического комплекса оценки эффективности научной
деятельности подразделений ВВУЗа обобщен опыт известных подходов [2, 5,9, 11, 12, 13]; принято во внимание различие в специфике учебных и научных подразделений ВВУЗа ; проведено обоснование нового подхода к получению частных показателей качества НД подразделений ВВУЗа, на основе которого получен комплексный критерий оценки эффективности НД.
Практическая значимость
Практическая значимость результатов работы обусловлена разработкой и
апробированием программного комплекса, реализующий процесс
автоматизированной оценки эффективности НД подразделений ВВУЗа. Применение разработанных методик, реализованных в виде автоматизированного рабочего места (АРМ) оценки эффективности НД подразделений ВВУЗа позволяет повысить оперативность, точность и достоверность оценки эффективности НД подразделений ВВУЗа и тем самым создать объективные условия для повышения эффективности их управления и результативности.
Достоверность результатов
Достоверность полученных результатов подтверждается логическим обоснованием исходных положений разработанных научно-методических основ; обоснованной формулировкой задачи исследования; ясной формулировкой вводимых в работе дефиниций; проведением компьютерного моделирования в строгом соответствии с разработанными методиками на основе различных апробированных
программных средств и критическим анализом полученных результатов; обоснованностью основных ограничений, совпадением результатов вычислительного эксперимента с мнением экспертов.
Краткое содержание работы
Диссертация состоит из введения, трех разделов, заключения и списка литературы.
Во введении дается общая характеристика работы: обосновывается актуальность темы, научная и практическая значимость полученных результатов.
В первом разделе на основе анализа структуры НД подразделений ВВУЗа и существующих подходов оценки эффективности обоснован перечь критериев и показателей НД, сформулирована задача на исследование.
Во втором разделе на основе анализа структуры НД ВВУЗа разработан методический комплекс оценки эффективности НД, включающий в себя ряд частных методик оценки эффективности критериев научной деятельности подразделений ВВУЗа. На основе метода экспертного опроса и теории нечетких множеств обоснованны весовые коэффициенты показателей НД.
В третьем разделе приведено описание АРМ, которое использовано в качестве инструментального средства проверки работоспособности разработанного методического комплекса.
Представлены результаты вычислительного эксперимента по оценки эффективности НД подразделений Серпуховского ВИ РВ.
В заключении обобщаются основные результаты проведенных исследований и определены возможные направления дальнейших исследований.
Основные результаты работы опубликованы в семи научных статьях, 5-й докладах на научно-технических конференциях. Апробированы в пяти отчетах о НИР.
Анализ структуры научной деятельности ВВУЗа
Содержание деятельности военного учреждения определяется его спецификой и при наличии некоторой общей для всех учреждений части имеет разные, свойственные только для данного типа военных учреждений направления. Такое положение определяет различия между военными учреждениями и поэтому является основанием для анализа. Следует отметить, что главное отличие определяется тем, что основными видами деятельности военных учреждений, в основном являются либо боевое дежурство и боевая подготовка, либо учебно-воспитательная и научная деятельность, либо научно-испытательная деятельность. В работах [1, 6, 7, 8, 62, 63, 64] в рамках исследования организационно-технических и нормативно-правовых аспектов деятельности военных учреждений предпринята попытка описания и формализации отдельных видов деятельности высшего военного учебного заведения. Однако приведенные в отмеченных работах модели не могут служить достаточной основой для формализации разноплановой информации об организации и развитии процессов научной деятельности и подготовки научно-педагогических кадров, тем более для оценки их конечных результатов.
Отмеченный подход позволяет рассматривать процессы научной деятельности как целенаправленную деятельность по преобразованию совокупности переменных вида х\, х2,..., хт на основе преобразования F, качество которого определяется совокупностью внутренних характеристик процессов и внешних условий, в выходные переменные у\, У2,..-, уп- Такой подход (функциональный подход) имеет место, когда внутренняя структура самого процесса для нас как для исследователей не представляет интереса. Основным недостатком отмеченной модели является то, что такая модель деятельности ВВУЗа не дает представления о структуре научной деятельности. Изложенный в [2] подход позволяет дать общую характеристику результатов научной деятельности и лишь в самых общих чертах определить пути и средства достижения этих результатов. Происходящие внутренние процессы в рамках функциональной модели не имеют отражения, а сама структура процессов, как уже отмечалась выше, представлена в виде «черного ящика», вследствие чего, основываясь на данной модели, не представляется возможным обосновать показатели эффективности научной деятельности ВВУЗа. С учетом изложенного, следует сделать вывод о том, что, приступая к выбору показателей для оценки эффективности научной деятельности ВВУЗа, необходимо на концептуальном уровне описать выбранную предметную область деятельности ВВУЗа.
Деятельность ВВУЗа определяется и регламентируется руководящими документами (приказами, директивами и пр.), и практически не может выходить за рамки установленных границ. В соответствии с требованиями руководящих документов [4] определены следующие направления научной работы высшего военного учебного заведения: 1) исследование характера военных угроз безопасности России и обеспечение упреждающей научно-практической проработки важнейших проблем в области военной и военно-технической политики в интересах повышения боевой мощи Вооруженных Сил; 2) разработка перспектив строительства и развития Вооруженных Сил, решение проблем их подготовки и применения, развитие военной теории и практики, повышение боеготовности и боеспособности войск (сил); 3) обоснование перспектив развития и совершенствование вооружения и военной техники, разработку способов их боевого применения, эксплуатации и ремонта; 4) исследование проблем морально-психологического обеспечения деятельности войск (сил), обучения и воспитания личного состава; 5) исследование вопросов военной педагогики и психологии, содержания, организации и методики образовательного процесса в военно-учебных заведениях.
Следует понимать, что, не смотря на то, что ВВУЗ как организационная система, в своей деятельности опирается на достаточно «жесткую» систему нормативно-правовых актов, но сами эти акты являются следствием объективно действующих закономерностей, знание которых позволяет более рационально организовать деятельность системы. С учетом данного положения рассмотрим выделенные процессы из общей деятельности ВВУЗа, научную деятельность с позиций системного подхода.
В качестве исходного элемента управления научной деятельностью в структурных подразделениях ВВУЗа (рис. 1.2) принимается принцип соответствия составляющих научную деятельность системе целей функционирования структурного подразделения, в частности, и ВВУЗа в целом [13].
Достижение соответствия, обеспечивающего определенные предпосылки для эффективного осуществления научной деятельности, возможно при осознании текущего состояния этой деятельности, которое может быть осуществлено на основе объективной оценки, как ее результатов, так и качества организации самого процесса научной деятельности, а также процесса подготовки научно педагогических кадров. При этом справедливо заметить, что положительная динамика второго процесса (процесса подготовки научно педагогических кадров) во многом определяет благополучное состояние первого процесса (процесса научной деятельности). В тоже время, активная научная деятельность стимулирует успешную работу в области подготовки научно-педагогических кадров (пример формирования научных школ в рамках кафедр, НИЛ и т.п.).
Отметим, что процесс управления состоянием научной деятельности и подготовкой научно-педагогических кадров ВВУЗа (рис. 1.3) обеспечивается системой управления, реализующей принцип обратной связи [13]. Очевидно, что сущность такого управления заключается в воздействии с учетом знания начального состояния системы, цели управления и различного рода возмущающих воздействий, искажающих состояние отмеченных выше процессов в течение периода управления.
Будучи приложенным к процессам научной деятельности и подготовкой научно-педагогических кадров ВВУЗа это управление должно максимально близко приближать их текущее состояние к требуемому (нормативному) с минимальными затратами.
Цель управления научной деятельностью и подготовкой научно-педагогических кадров формируется на основе анализа общих целей ВВУЗа и частных (производных) целей структурных подразделений. В общем случае эта цель заключается в достижении и поддержании требуемого состояния системы научных кадров и состояния научно-исследовательского процесса, определяемых задачами, стоящими перед ВВУЗом.
В современных условиях, как правило, научный коллектив определяется рамками структурного подразделения (кафедры, НИЛ), за редкими исключениями, когда многоплановость требует, а организационно-штатная структура позволяет развивать несколько различных научных направлений и формировать для этого соответствующие, возможно пересекающиеся по составу исполнителей, научные коллективы. Далее в изложении будем исходить из тождественности структурного подразделения и научного коллектива как таковых. При этом, говоря о понятии «состояние научного коллектива», будем иметь в виду относительно устойчивую структурную организацию отдельных индивидов в научные коллективы с целью решения научно-исследовательских задач, а также существенную совокупность характеристик, отражающих качество научного коллектива, т.е. его способность к эффективному производству научных результатов, а также к поддержанию этой способности и совершенствованию самого себя как системы.
Под качеством здесь, для определенности, будем понимать совокупность свойств, данную в их единстве и целостности, проявляющуюся в разнообразных проявлениях деятельности научного коллектива. Из всего многообразия этих проявлений для настоящего исследования важны только те, которые являются существенными для состояния научной деятельности. Одной из основных составляющих качества научной деятельности является эффективность индивидуальной и коллективной компонент научно-исследовательского труда. Как это видно из структурной схемы, представленной на рис. 1.3, управляемое преобразование реализуется через систему управляющих воздействий.
Анализ существующих подходов и методик оценки эффективности научной деятельности ВВУЗа
В настоящее время, при всем многообразии методик оценки эффективности научной деятельности высших учебных заведений [2, 9, 11, 12] можно выделить два основных подхода, ориентированных на оценку двух взаимосвязанных аспектов научной деятельности: целевого и информационного.
Целевой подход к измерению эффективности научной деятельности исходит, во-первых, из конкретных целей работы в рамках организации (дифференциация выпускаемой продукции для лаборатории промышленной корпорации, решение выдвинутых федеральным правительством научно-технических проблем для федерального научного центра, получение новых знаний для высших учебных заведений и т.д.), во-вторых, - из задач самой системы оценок (оптимизация и проведение в жизнь кадровой политики, выявление и отбор наиболее ценных идей для их последующей реализации предотвращение утечки полезной научной информации за пределы организации и т.п.).
Критерии, показатели и методы оценки целевой эффективности весьма многочисленны. Их характер и набор в каждой организации определяется типом проводимых исследований, отраслью науки, видом организационной структуры, принадлежностью, сложившимися традициями и другими факторами.
То обстоятельство, что результат суммирования по последнему столбцу таблицы 1.1 превышает 100% определяется тем, что многие организации используют более одного метода.
С целью предварительной оценки возможности использования указанных методов для оценки эффективности научной деятельности дадим краткую характеристику каждого из методов.
Широко распространенные в промышленной науке так называемые методы «управления путем постановки целей» или «целевого управления» (Management by Objectives) - методы целевого управления (МЦУ) [10], играют существенную роль в сфере оценки целевых аспектов научного труда. Все шире используется МЦУ и в высших учебных заведениях.
В основу МЦУ положен принцип совместного выбора основных и промежуточных целей исследований, сроков и критериев их достижения и совместной оценки полученных результатов. Процедура МЦУ предусматривает последовательное и регламентированное сближение самооценки организации с оценкой ее эффективности деятельности непосредственным вышестоящим звеном и в итоге - получение взаимно согласованных показателей эффективности.
Метод ранжирования представляет собой процедуру последовательного сопоставления оцениваемых организаций (подразделений) по одному или нескольким выбранным критериям эффективности, проводимую группой экспертов. Как правило, все оцениваемые организации (подразделения) ранжируются относительно лучшего (реже - худшего). На практике ранжирование чаще всего прибегают к многоступенчатой процедуре ранжирования: сначала ранжируются отдельные подразделения, затем группы подразделений в рамках одной организации.
Метод использования эталонных шкал является одним из наиболее отработанных и одновременно наиболее трудоемких. Суть его в сопоставлении эффективности деятельности организации (подразделения) по какому-то конкретному критерию с некоторой эталонной шкалой, на которой отдельным, хорошо известным примерам - эталонам данного качества - приписано определенное число баллов. Следует подчеркнуть, что этот метод одинаково применим при оценке как целевой, так и информационной результативности, различны лишь оцениваемые критерии.
Метод самооценка эффективности деятельности, как правило, используется в дополнение к другим методам; при этом согласованность его результатов с результатами применения других методов рассматривается как важный показатель достоверности оценки. Кроме того, для некоторых показателей этот метод представляет собой единственно возможный способ оценки. Однако далеко не всегда данные, полученные в соответствии с методом самооценки, совпадают со статистическими данными. Наблюдается закономерность, суть которой состоит в том, что чем более закрытый характер носит информация, тем больше расхождений между статистическими (объективными) данными и самооценкой организаций.
Метод групповой экспертной оценки, использующий хорошо отработанную методику проведения социологических исследований, отражает объективный процесс повышения коллективности исследований. Как правило, в такой оценке участвуют руководители организаций, коллеги организации одного с ней иерархического уровня и исследователи, занимающие низшие должности. Предполагается, что сочетание мнений экспертов различного уровня и разной специализации повышает достоверность оценки. Проведение коллективной экспертной оценки обычно включает отбор экспертов (обычно 4-6 человек), выбор критериев, показателей, ограничений и допущений, собственно процедуру оценки - заполнение специальных бланков, усреднение оценок по каждому показателю и суммирование отдельных показателей с соответствующими весовыми коэффициентами. Хорошо отработанные математические методы корреляционного анализа и статистической обработки допускают использование произвольного числа экспертов для каждого оцениваемого ученого и произвольного числа уровней результативности для каждого эксперта.
Метод выборочного анализа проектов применяется в тех организаций, где регулярная оценка не проводится. Он заключается в эпизодическом отборе и анализе характерных результатов индивидуальной научной деятельности (законченный проект, разработанный метод или продукт, индивидуальный вклад в завершенную исследовательскую программу и т.д.). По результатам такого анализа, как правило, судят обо всей научной деятельности подразделения за определенный период. Необходимым требованием к реализации данного метода является то, чтобы выбранный для анализа результат был типичным, а не случайным для работы оцениваемого подразделения.
Метод сочетания согласованной оценки и самооценки представляет собой, по сути дела, упрощенный метод МЦУ. В этом случае выносится устное согласованное мнение непосредственного руководителя и ближайшего окружения организации относительно ее результативности, которое затем обсуждается с представителями организации в краткой беседе. Этот прием используется в небольших организациях, где сотрудники и администрация хорошо осведомлены о работе каждого подразделения.
Метод оценки коллегами. Этот метод, по мнению самих сотрудников организаций, наиболее достоверный; в этом случае исключается влияние административно-волевых факторов. Однако этот метод получил незначительное распространение. Процедура оценки в целом такая же, как и при ранжировании и групповой экспертной оценке; состав экспертов в этом случае ограничен теми специалистами, которые считают себя компетентными оценивать конкретное подразделение и занимают аналогичное положение в других подразделениях. Метод применяется в некоторых высших учебных заведениях и в тех организациях, которые проводят фундаментальные исследования.
Метод написания реферата или эссе в произвольной форме представляет собой упрощенную модификацию самооценки. Подразделение представляет своего рода отчет о деятельности за определенный период, подробно описывая те результаты, которые оно считает наиболее важными. По такому «конкурсу рефератов» администрация судит об эффективности научной деятельности. Этот принцип обычно применяется там, где отсутствуют формализованные формы оценки, например в небольших научно-исследовательских организациях.
Разработка методики определения численных оценок значимости показателей эффективности научной деятельности на основе экспертной информации
Разработка методики оценки научной деятельности структурных подразделений ВВУЗа предполагает определение численных значений показателей значимости (весовых коэффициентов) как для направлений научной деятельности, так и для частных показателей значимости по каждому из направлений. С целью реализации положений, рассмотренных в п. 1.6, необходимо разработать методику, позволяющую переходить от лингвистических оценок значимости к их численным оценкам.
Для определение значений весовых коэффициентов частных показателей видов научной деятельности в соответствии с вышеизложенным подходом, разработан программный комплекс, позволяющий каждому из экспертов с учетом имеющегося опыта и знаний о предметной области, определяя параметры разработанной п-функции [см. (1.24) - (1.30)], строить функции принадлежности. Данный программный комплекс реализован в среде MathCAD. На рис. 2.1 приведен пример программы и результаты ее использования одним из экспертов.
Как видно, эксперт может достаточно легко, лишь определяя параметры функций принадлежности термов лингвистической переменной «ЗНАЧИМОСТЬ», в реальном масштабе времени видеть соответствующие изменения в графиках функций принадлежности.
Переход от нечетких множеств, формализующих семантику термов лингвистической переменной «ЗНАЧИМОСТЬ» осуществляется в соответствии с методом полной интерпретации [п. 1.6.2, выражение (1.31)]. Ниже на рис. 2.3 представлен программный модуль, позволяющий в соответствии с отмеченным методом определять точечные оценки значимости на основании функций принадлежности, построенных экспертом. Таким образом, на основании реализации описанных выше программных модулей формируется множество индивидуальных оценок значимости частных показателей вида научной деятельности.
Тогда с учетом изложенного, порядок действий при определении численных значений лингвистической переменной «ЗНАЧИМОСТЬ» состоит в следующем.
Этап 2. На основании процедуры (рис. 2.3) функции принадлежности термов лингвистической переменной «ЗНАЧИМОСТЬ», построенные каждым экспертом интерпретируются в численные значения. Это позволяет сформировать матрицу точечных значений нечетких переменных лингвистических переменных «ЗНАЧИМОСТЬ», строки которой соответствуют привлеченным для оценки экспертам, а столбцы - термам лингвистической переменной «ЗНАЧИМОСТЬ».
Ниже представлены матрицы, содержащие полученные описанным выше способом, численные значения для лингвистической переменной «ЗНАЧИМОСТЬ» с пятичленным (табл. 2.1) и семичленным (табл. 2.2) терм-множествами.
Для последующего удобства работы с матрицами значений, введем обозначения для нечетких переменных (термов) лингвистических переменных «ЗНАЧИМОСТЬ». Для лингвистической переменной «ЗНАЧИМОСТЬ» с пятичленным терм-множеством указанные обозначения приведены в табл. 2.3, а с семичленным терм-множеством - в табл. 2.4.
По аналогии с выше изложенной процедурой интерпретации нечетких переменных для лингвистической переменной «ЗНАЧИМОСТЬ», необходимо выполнить интерпретацию нечетких переменных лингвистической переменной «ОЦЕНКА». Ниже представлены матрицы, содержащие численные оценки для лингвистической переменной «ОЦЕНКА» с пятичленным (табл. 2.5) и семичленным (табл. 2.6) терм-множествами.
Как отмечалось ранее, при разработке математической модели оценки эффективности научной деятельности ВВУЗа, оценку эффективности научно-исследовательских работ проводится, исходя из того, что сама оценка формируется из совокупности оценок эффективности отдельных результатов, полученных в ходе выполнения НИР. При этом эффективность самого результата необходимо рассматривать как некоторое интегральное свойство процесса, напрямую зависящее от ряда частных показателей, которые характеризуют различные существенные для определения интегрального показателя эффективности свойства процесса научной деятельности структурного подразделения ВВУЗа. Практическим воплощением процесса научной деятельности может считаться его результат. Под самим результатом можно понимать конкретные реализации полученных материалов в постановлениях Правительства Российской Федерации, уставных документах, в документах Генерального штаба Вооруженных Сил, Главных штабов видов Вооруженных Сил, штабов Тыла Вооруженных Сил и родов войск, главных и центральных управлений Министерства обороны, штабов объединений, соединений, воинских частей и организаций Вооруженных Сил, утвержденных Государственной программой вооружения и государственным оборонным заказом, тактико-техническими требованиями и заданиями на НИР, создание новых и модернизации (1 существующих систем и образцов ВВТ и критериях их оценки; в теоретических трудах, учебниках, учебных пособиях, справочниках, инструкциях, методиках и других документах.
Следует иметь ввиду, что при оценке эффективности НИР необходимо учитывать НИР завершенные в текущем году, переходящие НИР, а также завершенные НИР прошлого года по которым получены акты реализации в текущем году, а сама эффективность результата определяется по ряду частных показателей перечень которых определен в результате проведения экспертного опроса путем выборки наиболее значимых показателей из предложенного экспертам перечня с присвоением им весовых коэффициентов. При оценке эффективности научной работы группе экспертов был предложен перечень из 15 показателей с целью определения наиболее значимых из них, а именно.
Выбор базовой операционной системы
Под операционной системой (ОС) понимается совокупность программных средств, обеспечивающая управление аппаратной частью ПЭВМ и прикладными программами, а также их взаимодействие между собой и пользователем [33].
Анализируя существующее в настоящее время на рынке программное обеспечение ПЭВМ, нетрудно заметить, что подавляющее большинство программ работают под управлением операционных систем Windows, в меньшей степени ОС типа Linux, а также ОС MacOS и OS/2 Warp, MS-DOS. В [34, 35, 36, 37, 38, 39] подробно рассмотрены основные функциональные возможности этих операционных систем. В табл. 3.1 представлены результаты сравнительного анализа операционных систем существующих на сегодняшний день.
В настоящее время операционные системы MS-DOS, MacOS, OS/2 Warp находят все меньшее применение ввиду морального старения. Наибольшее распространение получает операционная среда Windows, а также операционная система общего назначения Linux обладающие рядом преимуществ по сравнению с выше перечисленными. Основные преимущества заключаются в следующем: 1. Большинство наиболее мощных программ обработки текста и управления базами данных, хорошо адаптированных друг к другу создано именно для этих систем. 2. Наличие технологии OLE (Object Linking and Embeding - связи и внедрения объектов), что позволяет пользователю встраивать в свой документ объекты из других программ. 3. Обеспечение работы в многозадачном режиме, т.е. возможен одновременный запуск нескольких программ (в том числе и DOS - программ). 4. ОС работают в графическом режиме, что позволяет переключать экранное разрешение от 640 х 480 до 1600 х 1200 и выбирать цветовую палитру (от 16 до 16.8 млн. цветов). Максимальное разрешение и цветовая палитра определяются характеристиками видеоадаптера и монитора. 5. Работа со всем объемом оперативного запоминающего устройства (ОЗУ), установленном на ПК. С целью выбора базовой операционной системы для АРМ оценки эффективности НД ВВУЗа рассмотрим основные характеристики ОС получивших в настоящее время наибольшее распространение. Windows v.3.1 и Windows v.3.11 между собой практически идентичны и л отличаются только тем, что в версии 3.1 отсутствует встроенная поддержка сети, а версия 3.11 полностью оснащена драйверами для организации одноранговой сети. Система Windows v.3.11 была выпущена корпорацией Microsoft в конце 1994 года. Windows v.3.11 является 16 -разрядной системой и обеспечивает многозадачный и многопоточный режим функционирования. Эта версия является графической надстройкой над системой MS-DOS и использует ее файловую систему. Для функционирования данной версии требуется процессор типа 286 и выше, ОЗУ объемом не менее 1 MB и 10 MB свободного пространства на жестком диске.
Полноценное функционирование системы наступает при 386 типе процессора и объеме оперативного запоминающего устройства ОЗУ 4MB. В настоящее время указанные операционные системы морально устарели, хотя и могут использоваться для решения задач на АРМ оценки эффективности НД.
Система Windows 95 выпущена корпорацией Microsoft в августе 1995 года, является 32-разрядной системой и также как Windows 3.11 обеспечивает многозадачный и многопоточный режим функционирования и обладает всеми достоинствами Windows 3.11. Эта версия не нуждается в ОС MS-DOS, т.к. она является самостоятельной темой и имеет свою файловую систему, которая поддерживает длинные имена файлов. По утверждению разработчиков этой системы она полностью поддерживает все 16-разрядные приложения, выпущенные для более ранних версий Windows.
Windows 95 разработана как система, рассчитанная на неквалифицированных пользователей, поэтому в нее включен стандарт "plug and play" ("включай и работай") в соответствии с которым система сама распознает все подключенные к ней периферийные устройства и конфигурацию самого компьютера.
Минимальная конфигурация для функционирования Windows 95, которая была определена фирмой Microsort включает в себя 386 DX и ОЗУ объемом 4 MB, однако для нормального функционирования системе требуется 486 DX2/66 и выше и ОЗУ объемом не менее 8 MB. В настоящее время ОС Windows 95 находит все меньшее применение ввиду морального старения, хотя также может использоваться в качестве базовой ОС.
Система Windows 98 выпущена корпорацией Microsoft в августе 1998. Явилась логичным продолжением ОС Windows 95. Минимальная конфигурация ПК для нормального функционирования Windows 98, которая была определена фирмой Microsort включает в себя 486 DX и ОЗУ объемом 8 MB, однако для нормального функционирования системе требуется ПК с процессором Pentium-166 и выше и ОЗУ объемом не менее 16 MB. В настоящее время указанная операционная система имеет ограниченное использование в виду морального старения.
Операционная система Windows Me приходит на смену ОС Windows 98. Имеет более мощные мультимедийные средства для работы, в частности, с цифровой видеокамерой и несложного видеомонтажа. Меньше подвержена сбоям операционной системы. Аппаратные требования предъявляемые ОС к ПК не существенно отличаются от требований предъявляемых Windows 98. Нормальное функционирование системы возможно на ПК процессором Pentium-166 и выше и ОЗУ объемом не менее 32MB. Однако указанная система в настоящее время не имеет широкого распространения в следствие появления новых версий операционных систем серии Windows.
Система Windows NT является полноценной 32-разрядной сетевой операционной системой. Эта ОС в основном устанавливается на серверах. Версия 3.51 была выпущена в 1994 году. Минимальная конфигурация ПЭВМ для функционирования Windows NT включает в себя 386DX-40 процессор и ОЗУ объемом 16 MB. Полноценное функционирование системы наступает при 486 DX2-66 или выше типе процессора и ОЗУ объемом 32 MB и более.
Windows NT также как и Windows 95 поддерживает работу с 16 разрядным программным обеспечением. Однако, как показали тестовые испытания, скорость выполнения 16-разрядных приложений в Windows NT ниже по сравнению с Windows 3.11 или Windows 95.
Операционная система Windows 2000 является продолжением ОС Windows NT. Указанная ОС заявлена разработчиком как универсальная ОС для обслуживания сетей и сочетает в себе стабильность работы Windows NT и оригинальный интерфейс Windows 98. Однако Windows 2000 более требовательна к аппаратным средствам ПК. Кроме того, при инсталляции указанной ОС пользователь должен иметь квалификацию выше среднего уровня и хорошо знать аппаратную часть своего ПК. С учетом сказанного, можно сделать вывод, что, несмотря на получившее распространение, указанная ОС в меньшей степени пригодна для создания АРМ по сравнению с другими операционными системами.
Операционная система Windows ХР заявлена разработчиком как ОС максимально адаптированной для широкомасштабного использования. Имеет достаточно большой набор драйверов управления периферийными устройствами, простой и эффективный в использовании интерфейс, который ориентирован на пользователей имеющих средний уровень компьютерной грамотности. Безусловно, Windows ХР более требовательна к аппаратному обеспечению по сравнению с другими ОС, но с учетом постоянного обновления парка персональных компьютеров и возрастания их функциональных возможностей, данная операционная система приобретает все более широкое распространение.
