Содержание к диссертации
Введение
РАЗДЕЛ 1 Анализ подходов и методов поиска изображений 14
1 Общая постановка задачи поиска изображений 15
2 Модели обработки и представления данных в когнитивной психологии и языкознании 16
3 Модели обработки и представления данных в методах распознавания образов 25
4 STRONG Модели представления знаний в информационных системах и в системах искусственного
интеллекта STRONG 29
5 Подходы и методы поиска изображений 36
6 Контекстные методы поиска изображений 38
7 Контентные методы поиска изображений 42
7 1 Признаковые контентные методы поиска изображений
7 2 Обьектно-ориентированные методы поиска изображений 53
8 Контекстно-контентные методы поиска изображений 56
9 Классификация методов поиска изображений и сравнительный анализ существующих систем поиска
10 Проблемы и недостатки существующих подходов и методов поиска изображений 60
11 Концепция поиска изображений на основе многоуровневой модели и гистограммного представления данных 64
Выводы по разделу 1 72
РАЗДЕЛ 2 Модели и методы поиска изображений с использованием семантических признаков 75
2 1 Модель базовых уровней обработки и описания данных 76
2 1 1 Концептуальная модель базовых уровней обработки и описания данных 76
2 1 2 Компоненты модели базовых уровней обработки и описания данных 79
2 1 3 Модель базовых уровней обработки и описания данных в задаче поиска изображений 81
2 2 Логико-гистограммная модель представления данных 83
2 3 Поиск изображений с использованием семантических признаков з
2.3.1 Основные особенности формирования элементного состава и семантического признака многоуровневой модели 89
2.3.2 Логико-гистограммная модель представления изображений 91
2.3.3 Метод поиска изображений с использованием семантических признаков 92
2.3.4 Методика формирования элементного состава уровней и семантического признака 2.4 Способы поиска изображений с использованием семантических признаков цвета и текстуры 99
2.5 Применение метода поиска изображений с использованием семантических признаков для коллекции маркированных изображений отустройств неразрушающего контроля 108
Выводы по разделу 2 109
РАЗДЕЛ 3. Реализация системы поиска изображений с использованием семантических признаков 112
3.1 Основные функциональные возможности системы поиска изображений с использованием семантических признаков 113
3.2 Архитектура системы поиска с использованием семантических признаков 114
3.3 Способ реализации поиска изображений с использованием семантических признаков 119
3.4 Реализация клиента и сервера системы поиска по семантическим признакам 124
Выводы по разделу 3 129
РАЗДЕЛ 4. Экспериментальные исследования способов поиска изображений с использованием семантических признаков 131
4.1 Методика проведения экспериментальных исследований и оценка эффективности поиска изображений 132
4.1.1 Методика тестирования способов поиска изображений 132
4.1.2 Средства тестирования способов поиска изображений 133
4.1.3 Оценка эффективности поиска изображений 134
4.2 Экспериментальное исследование способов поиска изображений с использованием семантических признаков цвета и текстуры 135
4.2.1 Формирование элементного состава 135
4.2.2 Наборы изображений 137
4.2.3 Тестовые запросы 138
4.2.4 Поиск изображений и отображение результата поиска 145
4.2.5 Анализ результатов поиска изображений
4.2.5.1 Поиск по изображению-образцу 146
4.2.5.2 Поиск по текстовому запросу 165
4.3 Экспериментальное исследование способа поиска изображений по семантическим признакам при использовании маркированных изображений от устройств неразрушающего контроля 185
Выводы по разделу 4 188
Заключение 191
Приложение А. Компоненты многоуровневых моделей признаков цвета и текстуры 199
Приложение Б. Наборы изображений 203
Список литературы
- Модели обработки и представления данных в когнитивной психологии и языкознании
- Контекстно-контентные методы поиска изображений
- Основные особенности формирования элементного состава и семантического признака многоуровневой модели
- Экспериментальное исследование способов поиска изображений с использованием семантических признаков цвета и текстуры
Модели обработки и представления данных в когнитивной психологии и языкознании
Процесс познания окружающего мира и самого себя по-прежнему остается неразрешимой загадкой для человека, который на протяжении тысячелетий пытается приоткрыть занавес тайны, но каждая такая попытка порождает всё новые вопросы. Основными способами изучения познания являются: разделение процесса познания на стадии, выявление основных их составляющих, определение как эти составляющие связаны между собой и как порождаются новые знания.
Традиционно один из разделов общей психологии рассматривает основные психические, познавательные процессы и обработку информации человеком. Поэтому когнитивную психологию будем понимать как раздел общей. Основными рассматриваемыми вопросами в когнитивной психологии являются следующие (см. Рис. 1.2(6)): ощущение, восприятие, память, внимание, мышление, воображение, речь.
Кроме того, следует отметить, что язык, в контексте рассматриваемой темы, занимает достаточно важное место, так как является универсальным средством коммуникации, в котором отражен опыт множества поколений. Посредством языка формулируются и передаются знания о мире и о себе, то есть формализуются мысли субъекта. Язык представляется как организованная система кодов, каждый знак которой имеет собственные различительные признаки [32, с. 26]. В то же время речь представляется как процесс использования языка человеком, и в большей степени является предметом изучения общей и когнитивной психологии. Кроме того, существует особая дисциплина «психолингвистика», которая изучает взаимодействие речевых процессов человека и языковых структур.
Процессы познания человеком и строение языка, как средства используемые для передачи мыслей, являются основообразующими при изучении способов переработки информации. Поэтому в этом подразделе рассматриваются некоторые модели в общей, когнитивной психологии, а также модели языка в языкознании.
Модель познания по И. Канту. Труды И. Канта являются примером работ, в которых излагается осмысление глубинных процессов нашей души. В «Критике чистого разума» рассматриваются вопросы перехода от чувственного к теоретическому познанию, и что из себя представляет каждое из них. При этом обращается внимание на два важных момента: как создаются понятия, данные нам в опыте, и что из себя представляют понятия, выходящие за пределы опыта [31]. Эти понятия И. Кант обозначил как апостериорные и чистые априорные, соответственно. Кроме того, были выделены три блока, которые можно рассматривать как стадии или уровни, определяющие процесс познания (см. Рис. 1.2(a)): чувственность (ощущения, восприятие), рассудок (первая ступень мышления) и разум (вторая ступень мышления).
Многоуровневое представление процессов познания: а) основные компоненты познания по И.Канту; б) основные психические процессы, изучаемые общей, когнитивной психологией, - где К - конкретное, А - абстрактное
Предметы воспринимаются благодаря ощущениям и чистым априорным формам чувства (пространства и времени), посредством которых создаётся наглядное представление (или явление) предмета. Понятия о предметах создаются из наглядных представлений за счет определенных категорий, которые являются чистыми понятиями рассудка. Категории - это своеобразная матрица, в которую укладывается образ (или наглядное представление) предмета. Особое место занимает разум, который, по мнению И. Канта, не соприкасается с чувственным
опытом, а работает исключительно с чистыми (или «пустыми», незаполненными содержанием чувственного опыта) категориями рассудка.
Модель кратковременной и долговременной памяти. Изучение памяти, её структур, элементов, процессов является неотъемлемой частью общей II когнитивной психологии. Наиболее распространенная и устоявшаяся модель памяти на сегодняшний день является модель, в который память делится на кратковременную и долговременную. Часто в эту модель добавляют сенсорную память, которая представляется как регистры, непосредственно фиксирующие внешние стимулы. На Рисунке 1.3 представлена данная модель в виде многоуровневой модели.
В упрощенном виде внешние стимулы через сенсорный уровень поступают в кратковременную память (КВП), где они хранятся некоторое время, за счет повторения. Затем информация из КВП может переходить в долговременную память (ДВП).
Кратковременная память характеризуется активностью, незначительной пропускной способностью, объемом и небольшим промежутком времени удержания предъявляемых стимулов.
Значительный интерес представляет код, используемый для кодирования внешних стимулов в кратковременной памяти. В этой связи необходимо отметить, что КВП удерживает информацию независимо от вида содержащихся в ней данных [28, с. 232], то есть единицей информации может быть как буква, так и целое слово. Предполагается, что данное укрупнение единиц в памяти происходит за счет взаимодействия с долговременной памятью, которая помогает систематизировать поступающие внешние стимулы.
На сегодняшний день считается, что кратковременная память оперируется несколькими типами кодов, при этом возможно один из них является доминирующим. Были выделены три кода [28, с. 236]: физический, или визуальный, код (например, красный цвет), код названия (например, «красный») и концептуальный код (например, ассоциация цвета с кровью). Кроме того, различают семантический код, который связан со значением и абстрактным представлением и, в конченом счете, определяет своеобразный контекст единиц в КВП.
Долговременную память можно представить как огромное хранилище, в котором в течение длительного времени (возможно, на протяжении всей жизни) содержится ранее усвоенная информация. При этом содержание ДВП стремится к организации и систематизации, то есть информация представляется как набор взаимосвязанных единиц.
Помимо большого объема и длительного хранения, ДВП отличается разнообразием используемых кодов. Информация может кодироваться акустически, визуально, семантически и др. Также существует достаточно большое количество различных моделей репрезентаций знаний в ДВП, о которых вскоре будут даны отдельные замечания.
Многоуровневом обработка Крепка и Локхарпш. Общая идея состоит в том, что входящие стимулы проходят ряд аналитических процедур, начиная с поверхностного сенсорного анализа и далее - к более глубокому, более сложному, абстрактному и семантическому анализу [28, с. 278]. На Рисунке 1.4 представлена многоуровневая модель обработки по Крейку и Локхарту. Результат такого анализа является след в памяти, стойкость которого зависит от глубины анализа. Поэтому более глубокий уровень анализа ассоциируется с более детальным, длительным и сильным следом [48].
Контекстно-контентные методы поиска изображений
Особенность связей (дуг) между объектами (узлами) заключается в том, что они имеют некоторую смысловую нагрузку, выраженную в наименовании связи [61]. Наиболее общими и часто встречающимися являются связи, обозначающие часть-целое (part-of), конкретный объект- класс объектов (is-a), подкласс-класс (a-kind-of, ako).
Как видно из приведенного ранее примера описания небольшой группы животных, семантическая сеть является достаточно наглядным и простым средством представления данных. Более того, использование специальных связей, таких как part-of, is-a, ako, позволяет представлять знания со сложной элементной организацией. Для поиска решений на основе имеющейся семантической сети осуществляется поиск интересующего узла и затем ищется ответ на заданный вопрос посредством связей исходящих-входящих в найденный узел.
Фреймовая модель. Данная модель, также как и предыдущая, относится к сетевым типам моделей. Отличительной особенностью фреймовой модели является использование фрейма, который представляется как некоторый объект с различными атрибутами, называемыми слотами. Слот имеет имя и может принимать различные значения. Другими словами, фрейм (фрейм-образ, прототип) - это незаполненная структура описания некоторого объекта. При этом фрейм конкретного объекта (фрейм-экземпляр) - это заполненный значениями фрейм [2, с. 142].
Во фреймовой модели используются связи между фреймами, подобные связям в семантических сетях. Поэтому упрощенно можно сказать, что фреймовая модель есть семантическая сеть, в которой каждый узел обладает некоторым набором атрибутов (свойств). Данная модель одна из наиболее универсальных в плане описания различного рода объектов. Помимо конкретных и абстрактных объектов посредством фреймовой сети возможно представить различные ситуации, события, роли, сценарии.
Вероятностная модель. Главное предназначение данных моделей является определение вероятностей наступления некоторых событий. Поэтому в основе вероятностных моделей лежит теория вероятности и использование таких её базовых элементов, как теорема сложения, умножения, формула Байеса [13, с. 36, 38, 51].
В соответствии с теоремой сложения для совместных событий вероятность наступления хотя бы одного события имеет следующий вид: Р(АЛ VA2V...VAN) = 1- Р(А А А2 А...А А ), (1.28) где Л; -ое событие; V - обозначение «ИЛИ»; Л - обозначение «И»; N - количество возможных событий. Для случая несовместных событий, т.е. когда появление одного события исключает появление другого, теорема сложения записывается следующим образом: Р{А, VA2 V ...VAN) = ЕГ=1Р(Л,). (1.29) В соответствии с теоремой умножения вероятность одновременного наступления нескольких зависимых событий имеет следующий вид: Р(АХАА2 A ...AAN AAN) = Р(Лг) Р(Л2Ла) P(AN\AX А Л2 Л ...Л Лм_г), (1.30) где Р(Л,Лу) -условная вероятность, т.е. вероятность наступления /-ого события при условии, чтоу-ое событие произошло. Для независимых событий, т.е. когда наступления некоторого события не изменяет вероятности наступления другого, теорема умножения записывается следующим образом: р(л1лл2л...ллл,_1ллл,) = ПГ=і/ ( 0. (і.зі) Другим основополагающим выражением для вычисления вероятностей в рассматриваемом віще моделей является формула Байеса, в соответствии с которой вероятность наступления события Лг- при условии, что событие В произошло, определяется следующим образом: р(л,д)= w Jra ,, Л,\ Л л О-32) Р{В\Ад-Р{А{) Ъ1гР{В\Ад-РШ где Ау,Аг, ...,AN — единственно возможные и несовместные события (т.е. события, образующие полную группу). На представленных выше математических положениях теории вероятности, в частности, основывается байесовская сеть, которая является наиболее известной и часто используемой вероятностной моделью [80]. В этом случае узлами являются некоторые события, а направленные связи указывают на условия наступления событий. Наступление событий представляется в виде таблиц вероятностного распределения (probability distribution tables) с учетом условий наступления данного события. В общем виде наступление события /Ц Л Л2 Л ... Л AN вычисляется по следующему выражению: Р(Л1ЛЛ2Л...ЛЛЛГ) = ПГ=1/,( Ра(), (1.33) где Ра,- - родительские узлы Л в байесовской сети.
Таким образом, вероятностные модели предоставляют удобные средства прогнозирования наступления различных событий. Кроме того, использование байесовских сетей позволяет в удобной форме представить взаимосвязи различных событий в виде сети, в которой узлами выступают события, а направленными связями - зависимости между ними.
Обобщение основных особенностей .моделей представления знаний. Выбор репрезентации знаний является ключевым моментом при разработке систем обработки и анализа данных, включая системы искусственного интеллекта и принятия решений, информационные и поисковые системы. При всём многообразии различных моделей можно выделить два основных подхода представления знаний. Первый подход основан на выделении основных единиц знании, их взаимосвязей и определении правил обработки знаний в явном виде. Все представленные в этом подразделе модели принадлежат к данному направлению. Этот подход, прежде всего, базируется на моделях репрезентации знаний в когнитивной психологии, представленных в подразделе 1.2.
Второй подход, который не рассмотрен в данном разделе, базируется на представлении о нервной системе человека и во многом похож на коннекционистское направление в репрезентации знаний в когнитивной психологии. В этом случае знания представляются в виде нейронной сети с множеством весовых значений связей между нейронами и определенными передаточными функциями самих нейронов. Поэтому при использовании нейронных сетей знания достаточно трудно формализовать, и они рассматриваются как скрытие в структуре нейронных сетей в виде значений связей между нейронами.
Относительно данной работы наибольший интерес представляет первый подход к репрезентации знаний. Можно выделить следующие основные особенности организации и использования моделей представления знаний. Системы знаний состоят из элементов знаний и отношений между ними; можно выделить множество правил использования и формирования единиц знаний и связей; существуют некоторые постоянные элементы и элементарные структуры; используются специальные механизмы поиска элементов в системе знаний; в некоторых случаях, существует возможность вывода новых знаний из имеющихся. В целом приведенные особенности во многом соответствуют элементам формальной (или аксиоматической) системы.
Основные особенности формирования элементного состава и семантического признака многоуровневой модели
Представленная в подразделе 2.1 многоуровневая модель является своего рода каркасом, общей структурой для обработки и анализа данных. Эта модель может быть использована в сочетании с различными методами, которые будут определять особенности обработки для тех или иных данных. Поэтому поиск по семантическим признакам можно определить как концепцию поиска, в которой для обработки, анализа и непосредственно поиска информации используется семантический признак, т.е. компонент многоуровневой модели, определяющий взаимосвязь элементов различных уровней. При этом частным случаем данного поиска является поиск изображений. Кроме того, как уже отмечалось ранее в подразделе 2.1, можно выделить семантические признаки цвета, текстуры, формы, положений, объекта и др.
В данном подразделе разбираются вопросы совместного использования многоуровневой модели и логико-гистограммного представления применительно к задаче поиска изображений, а также как за счет этого обеспечить обозначенные в цели работы функциональные возможности.
Одним из ключевых моментов является формирование элементного состава уровней и семантического признака. Это обусловлено тем, что данные компоненты определяют элементный состав представлений уровней и взаимосвязь между уровнями. Другим важным моментом, который будет рассматриваться далее, является адаптация логико-гистограммного преставления для многоуровневой модели обработки и описания. В этом случае особое внимание уделяется следующим моментам: описания изображений на различных уровнях; использование различных видов запросов; преобразование описаний изображений; определение схожести при различных видах запросов.
Предлагаемая многоуровневая модель состоит из четырех базовых уровней - уровень пространства признака; уровень элементарных элементов признака; уровень признака, образа, понятия; языковой уровень - и трех основных компонентов - элементы уровня, представления уровня и семантический признак.
В общем случае для базовых элементов некоторого /-ого уровня примем обозначение Е1, а для множества комбинаций элементов Е1 введем обозначение EG)l.
Для формирования элементного состава уровней и семантического признака предлагается следующая общая методика: - формирование базовых понятий способа поиска (то есть целевых понятий, которые впоследствии будут соотноситься с языковыми элементами 3-его уровня); - выбор пространства признака с учетом возможности описания базовых понятий EG- = {е?е? с Е, \Е\ = М,ІЄ N], (2.30) где ef - элемент 0-го уровня; М - количество базовых элементов 0-го уровня; - выделение элементарных элементов признака: д0Л:Е Е\ (2.31) ЕСЛ = (е/е/ Е\\Е1\ = М\1ЕЩ, (2.32) где е\ - элемент 1-го уровня; М1 - количество базовых элементов 1-го уровня; - построение элементов признака, образов, понятий из элементарных: д,,2:Е Е\ (2.33) EG-2 = {ef\ef = Е2, \Е2\ =М2,ІЄ Щ, (2.34) где ef - элемент 2-го уровня; М2 - количество базовых элементов 2-го уровня; - связывание элементов признака с текстовой интерпретацией: д2,г:Е2 Е\ (2.35) ЕС;3 = [ef\ef с Я3,Я3 = М3,ІЄ Щ, (2.36) где ef - элемент 3-го уровня, который является языковым элементом или языковой интерпретацией элемента или элементов 2-го уровня; М3 - количество базовых элементов 3-го уровня.
В результате семантический признак можно представить как множество семантик между различными уровнями. Кроме того, следует отметить, что в общем случае элементы некоторого уровня могут формироваться не только из элементов нижележащих уровней, но и из элементов того же уровня.
В приведенной последовательности формирования элементов использован принцип формирования от нижнего к верхнему уровню с учетом требуемых базовых понятий, которыми впоследствии будет оперировать способ поиска. В первую очередь это обусловлено тем, что уровень пространства признака (0-ой уровень) имеет дело непосредственно с внешними данными. Поэтому элементы данного уровня определяют элементный потенциал всех остальных уровней. Другими словами, от элементов 0-ого уровня зависит то, какие признаки, образы, понятия и их языковые интерпретации будут способны обрабатывать разрабатываемые системы. В то же время возможно использовать принцип от верхнего к нижнему уровню. Однако в этом случае может оказаться, например, что для некоторых терминов из языкового уровня (3-ого уровня) не будет соответствующих элементов 0-ого уровня. Поэтому необходимо учитывать элементный состав того пространства признака, который будет использоваться в способе поиска.
В подразделе 2.2 было приведено общее описание логико-гистограммной (или логико-множественной гпстограммной) модели представления без привязки к конкретной области применения. Далее же рассматривается вопрос её использования для анализа изображений. В частности, изображение можно представить в виде группы признаков, которые имеют вид гистограмм. В этом случае полагаем, что каждый элемент гистограммы указывает на количественную характеристику некоторого признака в изображении, например, занимаемую признаком площадь изображений.
Пусть признак определяется набором элементов, которые могут встречаться в изображении. Каждый элемент набора является уникальным, т.е. появление одного элемента в изображении не является причиной появления другого элемента. Этот набор соответствует конечному дискретному универсальному множеству. Если каждому элементу набора признака присвоить неповторяющийся числовой индекс, то гистограмму (2.1) для некоторого признака изииражения можно занмсгиь следующим ииразом: HN = ((Я(1),..,Я(М))0 Н(0 1Д і М,Н{і) Є K.Zfi CO = і), (2.37) где Н(і) - элемент гистограммы HN , который является количественным показателем присутствия элемента признака с индексом і в изображении; і - индекс элемента признака; М -количество элементов набора признака.
Далее будем использовать именно эту форму записи гистограммного представления, так как она более подходит для описания применяемых элементов признаков и более удобна для изложения материала. При этом все математические выражения из подраздела 2.2 полностью согласуются с данной формой представления.
Итак, для осуществления анализа изображений по элементному запросу посредством логико-гистограммного представления необходимо определить элементы высказывания EG. Каждый элемент доллсен соотноситься с одним или несколькими элементами из набора признака, так чтобы он обозначал некоторую важную для анализа особенность изображения. В этом случае элементное высказывание SE (ІЮРМИРУЄТСЯ ИЗ элементов EG и операций C2.6Y
Для учета количественных показателей элементов признаков изображений необходимо сформировать гистограммное высказывание Sli . Элементы этого высказывания получаются в результате сопоставления элементов элементного высказывания с элементами гистограммы признака изображений. В этом случае выражения (2.20) и (2.21) можно записать следующим образом: Я = ((Я(1),..,Я(М))//(0 = І1 » « Є Е ,Ек Є Б }, (238) Нк = (H(l),..,H(M)jtf(0 = min(l(i),Hjf(0)), (2/39) где indx(C) - биективная функция, которая каждому значению / ставит в соответствие определенный элемент из набопа признака изображений
В результате выполнения операций над элементами гистограммного высказывания получается его значение, то есть итоговое гистограммное представление. Количественное значение гистограммного высказывания SH вычисляется по выражению (2.24).
Если в качестве запроса используется образец, то он представляется в виде гистограммы, а количественный показатель схожести вычисляется, например, по выражению (2.25).
Таким образом, логико-гистограммная модель представления изображений позволяет определять количественный показатель присутствия в изображении некоторого элементного состава признаков или показатель схожести изображений по этим признакам.
Экспериментальное исследование способов поиска изображений с использованием семантических признаков цвета и текстуры
В общем виде определим следующие основные функции системы поиска изображении по семантическим признакам: формирование элементного состава многоуровневой модели; заполнение базы данных изображениями и их описаниями на различных уровнях; осуществление поиска по изображению-образцу и элементному запросу.
Одним из ключевых моментов при реализации всей системы поиска изображений с использованием семантических признаков является обеспечение возможности формирования элементного состава и семантического признака многоуровневой модели. Это связано в первую очередь с тем, что описания изображений в базе данных на всех уровнях формируются с учетом элементного состава соответствующих уровней. Кроме того, элементный состав и семантический признак играют основную роль при осуществлении поиска по всем видам запросов в предлагаемых способах.
После формирования элементного состава и семантического признака необходимо заполнить базу данных изображениями и их описаниями, на множестве которых будет осуществляться поиск. Поэтому система должна предоставлять возможность пользователю выбора изображений, базы данных, в которую они будут записаны, и способа поиска, для которого будут сформированы описания изображений. Кроме того, пользователю необходима возможность редактирования баз данных изображений и их описаний. В свою очередь, система поиска должна формировать описания выбранных пользователем изображений в соответствии с определенным способом; записывать в базу данных изображения и их описания; выполнять команды пользователя по редактированию баз данных.
Поиск изображений необходимо осуществлять после того, как определен элементный состав и семантический признак, сформированы базы данных изображений и их описаний. Пользователь должен иметь возможность выбора способа поиска, баз данных изображений, типа запроса, а также необходимо обеспечить ввод запроса и активацию поиска. Результат поиска следует отображать постранично с возможностью просмотра информации по отдельным изображениям, выбранным пользователем. Поэтому требуется, чтобы система поиска обладала соответствующими интерфейсами для взаимодействия с пользователем. Кроме того, при непосредственном осуществлении поиска система должна преобразовать запросы в описания изображений в соответствии с выбранными способами; определять схожесть между описанием из запроса и описанием изображений из выбранных баз данных; формировать список найденных изображений и отображать их пользователю.
В соответствии с обозначенными выше требованиями по функциональным возможностям, в предлагаемой реализации системы поиска все они воплощены в виде отдельных приложений для трёх действующих лиц: пользователь, эксперт и администратор. В результате каждое действующее лицо имеет свой круг задач и возможности, предоставляемые системой. В частности, приложение системы поиска, соответствующее действующему лицу «Пользователь», обеспечивает поиск изображений, включая выбор способа поиска, типа запроса, базы данных изображений и ввод запроса; постраничный просмотр списка найденных изображений; просмотр детальной информации о каждом изображении из списка найденных. В приложении для «Эксперта» реализованы следующие функции." формирование и редактирование элементного состава и семантического признака многоуровневой модели признаков; извлечение контентных описаний из выбранных изображений; формирование и редактирование текстовой аннотации изображений; запись изображений и их описании в базы данных; редактирование содержания баз данных изображений. И наконец, в приложении «Администратора» указываются параметры доступа к базам данных изображений и их описаний, а также к элементному составу и семантическим признакам.
В результате функциональные возможности реализованной системы поиска удовлетворяют основным требованиям по обеспечению формирования и редактирования элементного состава и семантических признаков многоуровневых моделей; баз данных изображений и их описаний; выполнению поиска по различным видам запросов.
Для реализации системы поиска растровых изображений на основе семантических признаков выбрана двухуровневая трехслойная архитектура с насыщенным клиентом. Основными преимуществами данной архитектуры являются [12]: возможность использования ресурсов клиента; лучшее время отклика, насыщенная функциональность пользовательского интерфейса и улучшенное взаимодействие с пользователем; очень динамичное взаимодействие с коротким временем отклика; поддержка сценариев без подключения и сценариев без постоянного подключения. В то же время недостатками данной архитектуры являются [12]: сложность развертывания; сложность обеспечения совместимости версий; зависимость от платформы.
На Рисунке 3.1 представлены основные компоненты каждого слоя. Так в слое представления наиболее важным компонентом является функциональный компонент взаимодействия с пользователем системы и с бизнес слоем. В бизнес слое реализуется вся основная логика и все наиболее важные для поиска растровых изображений функциональные компоненты, а именно: обработка пользовательского запроса, пришедшего из слоя представления, формирование представлений признаков изображений, поиск изображений и взаимодействие со слоем доступа к данным. Слой доступа данных располагается на другом физическом уровне нежели два предыдущих слоя. Данный слой обеспечивает доступ к данным, хранящимся в базах данных изображений и их описаний, а также к элементным составам и семантическим признакам многоуровневых моделей.
На Рисунке 3.2 приведена диаграмма пакетов трёхслойной архитектуры системы поиска растровых изображений на основе семантических признаков. При этом особый интерес представляет бизнес слой, в котором заключены основные функциональные единицы, обеспечивающие выполнение поиска изображений с использованием различных типов запросов. В Таблице 3.1 представлены пояснения элементов диаграммы пакетов на Рисунке 3.2
