Содержание к диссертации
Введение
1. Аналитический обзор методов, алгоритмов и устройств ввода и обработки изображений 10
1.1. Методы и алгоритмы обработки изображений 10
1.2. Устройства ввода и обработки изображений 28
Выводы 38
2. Математическая модель процесса ввода иобработки изображений 39
2.1. Оцифровка и ввод изображения 43
2.2. Контрастирование изображения 46
2.3. Выделение контуров объектов на изображении 47
2.4. Бинаризация и скелетизация (утончение) изображения 47
2.5. Преобразование Фурье. Выделение спектральных признаковизображения 48
2.6. Обобщенная математическая модель процесса ввода и обработки изображений 51
Выводы 52
3. Разработка методов и высокопроизводительных алгоритмов обработки изображений 53
3.1. Метод повышения контрастности изображения 53
3.2. Выделение контуров на изображении с использованиемнейроподобных структур 58
3.3. Выделение контуров объектов на изображении с использованием РСА (principal component analyze) нейросети 66
3.4. Бинаризация и скелетизация изображения 69
3.5. Быстрый алгоритм ДПФ для обработки изображений на основе БПФ Кули-Тьюки для одномерных сигналов 71
Выводы 78
4. Структурно-функциональная организация быстродействующих устройств ввода и обработки изображений на нейроподобных структурах. оценка производительности разработанных алгоритмов и устройств 79
4.1. Структурно-функциональная организация устройств ввода и 79 обработки изображений
4.2. Устройство ввода изображения с перестановкой строк 81
4.3. Устройство ввода изображения по байтам 87
4.4. Устройство ввода и обработки изображений на основеспециализированных процессоров 91
4.5. Анализ производительности разработанных методов, алгоритмов и устройств обработки изображений 99
Выводы 111
Заключение 112
Библиографический список 114
Приложения
- Устройства ввода и обработки изображений
- Выделение контуров объектов на изображении
- Выделение контуров на изображении с использованиемнейроподобных структур
- Устройство ввода изображения с перестановкой строк
Введение к работе
Актуальность работы. Устройства обработки изображений широко применяются в телевизионной технике, медицине, системах контроля технологических процессов, дорожного движения, робототехнике, машиностроении, приборостроении, космосе, передаче данных, автоматизированном проектировании, неразрушающем контроле, научных исследованиях и других областях науки и техники.
Современный этап развития вычислительных устройств характеризуется активными поисками новых принципов обработки изображений, новых архитектур ЭВМ и вычислительных систем. При этом в задачах, требующих быстрого принятия решения на основании поступающей информации (например, распознавание лиц людей в интенсивно движущемся потоке — метро, аэропорты, вокзалы — для обеспечения безопасности, анализ деталей на конвейере, анализ потока машин на трассе), важное значение имеет производительность алгоритмов и устройств обработки изображений.
Одним из основных препятствий на пути повышения производительности устройств обработки изображений является высокая вычислительная сложность алгоритмов обработки, требующая увеличения быстродействия элементной базы или аппаратной сложности устройств. В то же время скорость выполнения ряда алгоритмов обработки может быть увеличена за счет конвейерно-параллельной организации вычислений и реализации их на параллельных структурах с использованием матричной структуры изображений.
В связи с этим повышение производительности алгоритмов обработки изображений является актуальной научно-технической задачей.
Диссертационная работа выполнялась при поддержке гранта Минобразования РФ для поддержки аспирантов высших учебных заведений № АОЗ-3.16-59 «Быстродействующая система распознавания в реальном времени на базе современных специализированных процессоров и программируемых логических интегральных схем (основы теории, принципы построения и алгоритмическое обеспечение)».
Целью работы является разработка методов и высокопроизводительных алгоритмов для последующей их реализации в устройствах на основе нейроподобных структур.
В соответствии с поставленной целью в работе решаются следующие задачи:
Анализ существующих методов, параллельных алгоритмов и устройств ввода и обработки изображений.
Разработка математической модели процесса ввода и обработки изображений.
Разработка методов и высокопроизводительных алгоритмов обработки изображений,
Разработка структурно-функциональной организации устройств ввода и обработки изображений на нейроподобных структурах и оценка производительности разработанных алгоритмов и устройств обработки изображений.
Объект исследования - процесс ввода и обработки изображений.
Предмет исследования - методы, алгоритмы и устройства ввода, обработки изображений на нейроподобных структурах.
Методы исследования. В работе использованы методы цифровой обработки сигналов и изображений, математического моделирования, теория параллельных вычислений, теория проектирования ЦЭВМ.
Научная новизна: 1. Разработана математическая модель процесса ввода и обработки изображений, основанная на множестве процедур ввода и преобразования изображений и комплексе методов и алгоритмов обработки изображений, позволяющая провести анализ возможного распараллеливания процесса обработки изображения.
Разработан метод линейного локального контрастирования, основанный на разбиении изображения на пересекающиеся области, позволяющий параллельно выполнять вычисление коэффициентов преобразования и увеличение контрастности областей изображения.
Создан высокопроизводительный алгоритм обработки изображения масочными операторами, позволяющий выполнять быстрое выделение контуров объектов за счет реализации на нейроподобных структурах.
Разработан быстрый алгоритм ДПФ обработки изображений, основанный на БҐІФ Кули-Тыоки для одномерных сигналов, отличающийся преобразованием данных на промежуточном этапе вычислений в трехмерный массив, представлением размерности изображения в виде степеней двойки и предварительным вычислением параметров преобразования и позволяющий уменьшить время обработки изображения.
Разработана структурно-функциональная организация устройств ввода и обработки изображений на нейроподобных структурах, позволяющая повысить производительность за счет конвейерной и параллельной организации вычислений.
Практическая значимость. Математическая модель процесса ввода и обработки изображений и методы линейного локального контрастирования и бинаризации изображения, а также разработанные алгоритмы обработки изображений позволяют создавать новые высокопроизводительные устройства ввода и обработки изображений; разработанная параллельно-конвейерная организация процедур обработки изображений позволяет повысить скорость обработки изображений в системах технического зрения, системах обработки видеоинформации в реальном времени; разработанное устройство ввода изображения в ЭВМ позволяет выполнять быстрый ввод изображения в ЭВМ в системах контроля технологического процесса (устройство защищено патентом РФ).
Реализация результатов работы. Результаты, полученные в диссертационной работе, внедрены в ОКБ «Авиаавтоматика» (г. Курск) при разработке быстродействующих устройств обработки изображений, в ООО «Продсахсервис» (г.Воронеж) для контроля технологического процесса очистки диффузионного сока оптическим методом, а также внедрены в учебный процесс кафедры вычислительной техники КурскГТУ и используются при проведении занятий по дисциплинам «Микропроцессорные системы в системах передачи и обработки сигналов», «Нейрокомпьютеры».
На защиту выносятся:
Математическая модель процесса ввода и обработки изображений, использующая матричное представление изображения и позволяющая провести распараллеливание множества операций по обработке изображения.
Метод и алгоритм линейного локального контрастирования, позволяющий на основе разбиения изображения на пересекающиеся области организовать параллельные вычисления при контрастировании изображения.
Высокопроизводительный алгоритм обработки изображения масочными операторами, позволяющий выполнять быстрое выделение контуров объектов, ориентированный на реализацию на нейроподобных структурах.
Быстрый алгоритм ДПФ обработки изображений, основанный на БПФ Кули-Тьюки для одномерных сигналов, преобразующий данные на промежуточном этапе вычислений в трехмерный массив и сокращающий время обработки изображения за счет представления данных в виде степеней двойки и предварительного вычисления параметров преобразования.
Структурно-функциональная организация устройств ввода и обработки изображений на нейроподобных структурах, обеспечивающая высокопроизводительную обработку изображений.
Апробация работы. Основные положения диссертационной работы докладывались и обсуждались на: 9-й и 10-й Международных научно-технических конференциях «Проблемы передачи и обработки информации в сетях и системах телекоммуникаций» (Рязань, 2000г., 2001г.), 9-й Международной студенческой школе-семинаре «Новые информационные технологии» (Крым, 2001г.), 5-й Международной научно-технической конференции «Медико-экологические информационные технологии-2002» (Курск, 2002г.), IX Международной научно-практической конференции студентов, аспирантов и молодых ученых «Современные техника и технологии» (г. Томск, 2003 г.), XV и XVI научно-технических конференциях «Датчик-2003», «Датчик-2004» (г.Судак, 2003г., 2004г.), 6-й и 7-й Международных конференциях «Распознавание-2003», «Распознавание-2005» (г. Курск, 2003г., 2005г.), XL и XLI Всероссийских конференциях по проблемам математики, информатики, физики и химии (г. Москва, 2004г., 2005г.), Международной конференции «Information and Telecommunication Technologies in Intelligent Systems» (Испания, г. Барселона, 2004 г., г. Пальма де Майорка, 2005г.), 7-й Международной конференции «Распознавание образов и анализ изображений: новые информационные технологии» (Санкт-Петербург, 2004г.), на научно-технических семинарах кафедры ВТ КурскГТУ в течение 2002-2005 гг.
Публикации. Результаты проведенных исследований и разработок опубликованы в 29 печатных трудах (из них основных по теме диссертации 15), в том числе в 9 статьях, 8 из которых опубликованы в изданиях, рекомендованных ВАК, в соавторстве написано учебное пособие с грифом У МО. Получен патент РФ на изобретение,
В работах, опубликованных в соавторстве, лично соискателем предложены: в [1, 2, 7, 11, 13, 15] - методы контрастирования и бинаризации изображений, а также принципы функционирования и структурные схемы устройств ввода и обработки изображений, в [3, 5, 10] - алгоритм обработки изображения масочными операторами, в [6] - предварительное вычисление коэффициентов для быстрого алгоритма ДПФ для обработки изображений в [4,
8, 9, 12, 14] — принципы функционирования и структурные схемы устройств обработки изображений на нейроподобных структурах.
Структура и объем работы. Диссертация состоит из введения, четырех разделов, заключения, библиографического списка, включающего 95 наименований, и содержит 125 страниц машинописного текста (без приложения), 28 рисунков, 10 таблиц и 4 приложения.
Во введении обоснована актуальность темы диссертации, сформулированы цель, основные задачи исследований, выносимые на защиту положения, отмечена научная новизна и практическая ценность работы.
В первом разделе проведен анализ существующих методов, параллельных алгоритмов и устройств ввода и обработки изображений.
Во втором разделе представлена математическая модель процесса ввода и обработки изображений, основанная на множестве операций ввода и преобразования изображений, позволяющая провести анализ возможного распараллеливания процесса обработки изображения.
В третьем разделе рассматриваются методы и высокопроизводительные алгоритмы обработки изображений.
В четвертом разделе разрабатывается структурно-функциональная организация устройств ввода и обработки изображений на нейроподобных структурах, проводится оценка производительности разработанных алгоритмов и устройств.
В заключении сформулированы основные результаты диссертационной работы.
В приложениях приведены графические результаты обработки тестовых изображений, схемы устройств управления для устройств ввода изображения, листинги программ, реализующих разработанные алгоритмы, акты о внедрении.
Устройства ввода и обработки изображений
В задачах обработки изображений продолжают оставаться значимыми задачи, использующие логические функции, например, задачи логического управления в автоматических и автоматизированных системах управления технологическими процессами, летательными аппаратами, системами контроля стратегическими объектами и т.д. Следует отметить, что для таких систем весьма значимыми являются возможность работы в реальном масштабе времени, скорость настройки, устойчивость к отказам. Одним из подходов к решению этой задачи является использование нейроподобных элементов в качестве базисных логических вентилей. Особенностью таких элементов является их однородность и возможность создания на их основе регулярных структур. Необходимо отметить, что известные структуры искусственных нейронных сетей и используемые в них алгоритмы определяют, скорее, одно из эффективных направлений параллельной обработки информации. Наряду с проблемами, эффективно решаемыми в нейросетевом базисе, существует множество задач, для которых применение настраиваемых логических структур является предпочтительным [60]. Это, прежде всего, задачи управления в системах критического использования (летательные аппараты, системы контроля и обеспечения безопасности на АЭС, сети связи и транспортные коммуникации), имеющие ограничения на точность и время решения. Этим можно объяснить интенсификацию исследований рядом отечественных и зарубежных фирм (INTEL, ALTERA, AMD, LATTICE, XILINX и др.) в области проектирования всевозможных ПЛИС, в том числе и на нейроподобных элементах. Современные программируемые пользователем логические ИМС (ПЛИС) или программируемые логические устройства (Programmable Logic Devices - PLD), ориентированные на субмикронные технологии, могут содержать до 106 и более эквивалентных логических вентилей [60].
Перспективной компонентой современной нейронной технологии является перепрограммируемая логическая интегральная среда, представляющая собой переналаживаемую нейронную сеть, работающую в условиях субмикронной технологии. Следует отметить, что несмотря на интенсивное развитие теории нейронных сетей, о чем свидетельствуют материалы проведенного анализа, механизм этой эффективности требует дальнейшего изучения.
Тенденции развития и особенности микроэлектронной реализации СБИС и УБИС показывают наряду с перспективностью развития нейросетевой элементной базы ее проблемы. Чрезвычайная сложность эффективной реализации архитектур обучения, самообучения и самоорганизации нейронных сетей с непрерывно изменяемыми весами формальных нейронов и структурный принцип связи всех или многих формальных нейронов между собой существенно осложняет их практическую реализацию. Это, естественно, приводит к соответствующим экономическим барьерам, характеризующим неумеренно высокие цены на изготовляемые продукты, превышающие верхний уровень аналогичных цен в соответствующем или смежном секторе мирового рынка. Этот фактор является определяющим, так как он проявляется раньше технологических и структурных. Частичным разрешением указанных проблем является разработка и реализация таких однородных и квазиоднородных нейросетевых архитектур, в которых отсутствует «тирания межсоединений», используется дискретный способ изменения весов в нейронах, эффективно решена задача минимизации интегрального временного дебаланса активируемых переключательных цепей. Фактор дебаланса требует особого внимания, он может быть существенно уменьшен в результате выбора рационального метода параллельной обработки. В настоящее время известны два основных таких метода, позволяющих на уровне СБИС реализовывать параллельную обработку: метод матрицы ячеек и иерархический.
Метод матрицы ячеек [60] ориентирован на архитектуры однородных прямоугольных сетей (решеток) с регулярными межэлементными связями. Такие структуры наряду с известными достоинствами имеют весьма существенные недостатки, заключающиеся в следующем. Каждый элемент однородной среды вносит некоторую задержку распространения сигнала. Логические элементы, выполняющие элементарные преобразования информации, связываются друг с другом цепочками соединительных элементов, причем общая задержка, вносимая такими цепочками, зависит от степени сложности устройства, реализованного в виде участка однородной среды, и может достигать значительной величины, что существенно снижает быстродействие. Любое устройство, реализованное в виде участка однородной среды, всегда содержит логические элементы, сигналы к различным входам которых передаются по цепочкам соединительных элементов различной длины. Ввиду того, что задержка, вносимая цепочкой соединительных элементов, пропорциональна количеству этих элементов в цепочке, т. е. ее длине, сигналы, поступающие на различные входы одного и того же логического элемента, не совпадают во времени. Это вызывает значительные трудности при выделении сигнала, являющегося результатом их взаимодействия и формирующегося на выходе данного логического элемента. Преобразование информации на синхронной однородной среде требует многофазной синхронизации, причем конфигурация шин, подводящих синхронизирующие сигналы, может быть очень сложной.
Иерархический метод параллельной обработки [60] предполагает, в общем случае, соответствующую иерархическую однородную структуру (решетку). Недостатки, свойственные прямоугольным однородным структурам, использующим метод ячеек, при иерархическом методе существенно уменьшаются или вообще отсутствуют. При иерархическом подходе необходимо синхронизировать только смежные по иерархии элементы, поэтому уровни иерархии, не имеющие непосредственных связей, могут параллельно выполнять различные задачи. Это позволяет утверждать, что иерархический метод обработки существенно упрощает решение задачи минимизации интегрального временного дебаланса активируемых переключательных цепей и открывает возможность использовать достаточно простые алгоритмы для конвейерной обработки изображений в иерархических однородных сетях [60].
Рассмотрим некоторые из существующих устройств обработки изображений.К устройствам ввода и обработки изображений относятся стандартные карты видеозахвата: ATI TV Wonder VE, Eline TVMaster и др. Основными техническими параметрами подобных устройств являются: интерфейс - PCI, наличие цифрового видеовхода, количество вводимых кадров - 25-30 за сек., возможность сохранения данных в формате Video CD, MPEG-4. Устройства работают в операционной системе Windows [67]. Недостатком устройств является недостаточное для дальнейшего распознавания качество видеоизображения, высокая трудоемкость дополнения программного обеспечения функциями предварительной обработки.
Известно нейроподобное устройство (НУ) для обработки изображений (обнаружение целевых объектов во входном кадре и их идентификация) [90]. Метод обнаружения и опознавания основан на представлении фрагментов изображений инвариантными признаками с последующим распознаванием нейросетевыми алгоритмами целевых объектов на серии телевизионных кадров. Для работы НУ в реальном времени алгоритмы кодирования и распознавания представляются и реализуются в виде быстрых алгоритмов, основанных на операциях векторно-матричного умножения и адаптированных для микропроцессора NM6403 (его VECTOR составляющей). НУ сформировано по многопроцессорной схеме с управлением от ЦП. Реализовано
Выделение контуров объектов на изображении
Одним из наиболее распространенных методов выделения контуров на изображении является метод масок, относящийся к дифференциальным методам выделения контуров. В качестве масок выступают матрицы размером 5x5, 3x3, 7x7, возможны даже 15x15 и более [31, 41, 42]. В задачах, связанных с обработкой изображений чаще всего используются операторы Собела и Лапласа. Практика показывает, что оператор Собела в большинстве случаев более четко выделяет контура [49].
При выделение контуров на изображении с помощью оператора Собела величины si и s2 определяются соответственно с помощью масок В общем случае новые значения яркости для матрицы результирующего изображения определяются как:
Бинаризация (пороговая обработка) изображения осуществляется для того, чтобы сократить информационную избыточность изображения, оставив только информацию, необходимую для решения конкретной задачи. Во многих задачах распознавания видеоинформации необходимо определить тип объектана изображении, тогда как информация о фоне несущественна. При этом основной информацией об объектах являются их очертания.
При переводе полутонового изображения в двух градационное важно точно подобрать порог, относительно которого будет осуществляться преобразование [36]. Данная ситуация касается случая преобразования изображений, вводимых в ЭВМ с помощью видеокамеры, т.к. даже при хорошей настройке освещения на получаемом изображении освещенность может меняться. При постоянном пороге преобразования по всему полю изображения возможны случаи, когда информация на светлых (темных) участках изображения будет потеряна при любом уровне порога, в связи с чем применяется определение порога для локального участка изображения. Операция бинаризации записывается в виде:где G, В — матрицы входного и полученного в результате бинаризации изображений.
Для удобства распознавания изображений объектов по их контурным изображениям необходимо, чтобы контур был тонкой четкой линией [39]. Для этого применяются операции утончения контура (скелетизации). В результате получается изображение, содержащее четкие линии контура толщиной в 1, 2, пиксела в зависимости от требований применяемых методов распознавания. Результатом операции скелетизации будет изображение:
Преобразование Фурье относится к дискретным ортогональным базисам, основными свойствами которых являются [36, 51, 56]:1) ортогональность функций базиса (sin и cos для Фурье); 2) инвариантность к сдвигу, повороту или изменению масштаба исходного сигнала;3) факторизуемость матриц преобразований;4) степень декорреляции исходных данных; \ 5) оптимальность (квазиоптимальность) разложения по базису в смысле концентрации наибольшей энергии сигнала в наименьшем числеспектральных отсчетов.
Преимуществом преобразования Фурье при вычислении по сравнению с другими ортогональными преобразованиями (Уолша, Уолша-Адамара, Хаара и т.д.) является то, что для него разработано большое число алгоритмов быстрого вычисления (называемых алгоритмы БПФ). Это алгоритмы Винограда, Кули-Тьюки и их модификации [30, 31, 35].
Прямое дискретное преобразование Фурье для функции двух переменных f(ij) (в частности, изображения размерностью NxN) определяется как:Щ Х« )=-У2У(і,Л-ехр(— Q-u+j-v)) (2.14)где NxN — размеры матрицы отсчетов изображения f(ij); u,v -пространственные частоты.
Получившийся спектр изображения содержит 2N компонент, представляющих действительную и мнимую части или фазу и модуль спектральных составляющих для каждой частоты. При этом fur(u,v) обладает симметрией относительно комплексного сопряжения:соответственно. Таким образом при анализе спектра изображения можно ограничиться половиной коэффициентов, поскольку вторая половина оказывается избыточной (их можно сформировать из остальных составляющих).
Спектральные коэффициенты, найденные в результате двумерного преобразования, определяют веса базисных изображений (двумерных базисных функций), соответствующих этому преобразованию, при которых взвешенная сумма базисных функций идентична изображению. Если базисное изображение имеет ту же форму, что и признак, который необходимо обнаружить на изображении, то обнаружение признака можно выполнить просто путем наблюдения соответствующего спектрального коэффициента. Сложность состоит в том, что объекты, которые необходимо обнаружить, часто имеют сложную форму и распределение яркостей и, следовательно, не соответствуют точно более простым яркостным образам, которые представляются базисными функциями большинства преобразований. Коэффициенты fur(u,v) для некоторого изображения и того же изображения, но со сдвинутым началом координат, отличаются. Для обеспечения инвариантности к сдвигу используется функция
Представив функцию M(u,v) в полярных координатах, получим признаки, инвариантные к сдвигу и вращению, а также к изменению масштаба. Определим1. Разработана обобщенная математическая модель процесса ввода и обработки изображений, основанная на множестве операций ввода и преобразования изображений, позволяющая осуществить комплексный учет методов и алгоритмов обработки изображений.2. Определено множество операций по предварительной обработке изображений, позволяющее вести последовательную обработку изображения параллельными алгоритмами.
Метод линейного локального контрастирования изображения основан на методе линейного контрастирования и обработке изображения скользящим окном [17, 36]. Все изображение, представляющее собой матрицу S(iJ) целых чисел (значение числа пропорционально яркости соответствующего элемента изображения), разбивается на пересекающиеся квадратные области (рис. 3.1), размер области зависит от возможного размера малоконтрастного участка изображения. Размер участка оценивается экспертом до начала обработки и зависит от условий, в которых получено изображение. В каждой области производится обработка центрального участка области (сторона квадрата участка г равна половине стороны квадрата области о) (рис. 3.2).
Выделение контуров на изображении с использованиемнейроподобных структур
Операция выделения контуров широко применяется в предварительной обработке изображений. Для обработки часто используются так называемые масочные операторы. При этом для каждого элемента изображения рассчитывается новое значение яркости, и обработка ведется скользящим окном. Время, затрачиваемое на эту операцию, можно уменьшить за счет параллельно-конвейерной организации вычислений.
Выделение контуров на изображении с помощью масочных операторов, например, оператора Лапласа, происходит следующим образом: для всех точек изображения вычисляется
При таком подходе обращение к матрице яркостей изображения происходит довольно часто (9 вызовов для каждого элемента кроме краевых), в связи с чем время вычисления довольно велико. Подобная структура удобна для реализации вычислений на основе приведенных формул (3.5), (3.7).
Для реализации операции выделения контуров с использованием оператора Лапласа разработана следующая структура нейросети. Матрица входных сигналов (входной слой) (дискретные отсчеты яркости для каждого пикселя входного изображения, размер которого NxN) равна:
Для удобства представления матрица преобразуется в вектор (иначе использование двумерной матрицы изображения и двумерной матрицы нейронов даст четырехмерную матрицу весов связей):
Элемент w# — элемент /-ой строки 7-го столбца представляет собой значение веса связи, соединяющей j-и нейрон с /-м входом. Так, например, значение wi2=w[f(l,l),ne(l,2)] (элемент в первой строке во втором столбце матрицы весов) представляет значение веса связи, соединяющей второй нейрон с первым входом или же, переходя к исходным двумерным матрицам, элемент в позиции (1,2) матрицы нейронов Ne с элементом (1,1) матрицы входного слоя X. Тогда размерность матрицы весов будет N2xN2.
Упрощенная структура сети представлена на рисунке 3.6. При такой структуре функция активации нейрона, в отличие от стандартных пороговой и сигмоидной функций, вычисляется на основе формул для g(ij). Выбор конкретной формулы зависит от исследователя. Как показывает практика, наилучшее качество достигается при использовании формулы (3.7) [15, 49].
Структура полученной нейросети представлена на рисунке 3.7 (входам х//, ... хш соответствуют значения яркостей f(l,l), ... f(N,N) соответственно, на рис. 3.7 отображена вся матрица связей, однако некоторые веса равны 0, например, win , wn2 и др.).
Данный подход позволяет значительно уменьшить количество обращений к матрице изображения (1 вызов для каждого элемента матрицы).
Приведенная нейросеть представляет наглядный пример параллельной обработки. Данная структура легко реализуется на ПЛИС. Действительно, при использовании приведенного выше лапласиана для вычисления новых значений яркости выполняются операции умножения на 2, на 4, инверсия, суммирования, вычисление функции активации g(i,j), которые довольно легко реализуются на логических элементах.
При обработке изображений большой размерности сложность сети увеличивается. Действительно, для обработки изображения размерностью 30x30 пикселей число входов сети 900, соответственно необходимо 900 нейронов во входном слое и 900 нейронов в выходном, размерность матрицы связей 900x900, а для обработки изображения 300x300 пикселей поадобится 90000 нейронов во входном слое, столько же в выходном, размерность матрицы связей 90000x90000. При аппаратной реализации данной структуры с каждым нейроном как отдельным элементом сложность устройства довольно велика. Для уменьшения количества элементов при аппаратной реализации предлагается выполнять построчную обработку матрицы изображения.
Поскольку для вычисления нового значения яркости пикселя в операторе Лапласа необходимы данные о значениях яркости его 8 соседних элементов (находящихся в соседних строках и столбцах), то для вычисления нового значения яркости для элементов одной строки изображения размерностью NxN за один такт работы нейронной сети используется нейронная сеть с 3N нейронами во входном и выходном слоях и размерностью матрицы связей 3Nx3N
Исходя из того, что объекты находятся ближе к центральной области изображения, вычисления новых значений яркостей для краевых строк и столбцов (1-й и N-й) для уменьшения количества вычислений можно не проводить.В общем случае, матрица входного слоя (для вычисления новых значений яркости для пикселей второй строки изображения):
Устройство ввода изображения с перестановкой строк
Устройство для ввода изображения в ЭВМ [28] содержит формирователь управляющих сигналов (ФУС), усилитель (У), генератор импульсов (ГИ), блок управления (БУ), блок связи с ЭВМ (БС), АЦП, регистр приема-передачи (РПП), счетчик первой строки (СПС), счетчик длины строки (СДС), первый и второй регистры приема (РП1, РП2), сумматор (Сум), первый, второй и третий буферные регистры (БР1, БР2, БРЗ), цифровой компаратор (К), счетчик строк (СС), счетчик адреса (СА), блоки буферной памяти (Б1, Б2), блоки канальных передатчиков (БШ, БП2) (рис. 4.3).ФУС предназначен для формирования управляющих сигналов. Из сигнала, поступающего от видеокамеры, ФУС выделяет кадровый, строчный импульсы, их инверсию, полукадровый импульс и его инверсию, импульс начала нечетного кадра, импульс середины кадра и второй строчный импульс, но меньшей длительности. Все эти импульсы подаются на БУ.
Усилитель обеспечивает амплитуду видеосигнала, необходимую для нормальной работы АЦП и ФУС.
Генератор импульсов формирует последовательность импульсов с частотой 7 МГц.Блок управления предназначен для управления приемом или передачей одного кадра телевизионного изображения в ЭВМ. Блок управления содержит счетчики, логические элементы НЕ, ИЛИ, И-НЕ, И, И-ИЛИ-НЕ, триггеры. Структурная схема блока управления приведена в Приложении С.Блок связи с ЭВМ предназначен для организации обмена информации устройства с ЭВМ, его функцией является дешифрация адреса.
АЦП представляет собой одноразрядный аналого-цифровой преобразователь и предназначен для преобразования аналогового видеосигнала, поступающего с усилителя, в цифровой двоичный код.Регистр приема-передачи предназначен для формирования параллельного восьмиразрядного кода из последовательности сигналов, получаемой с АЦП.
Счетчик первой строки считает количество байт первой строки нечетного полукадра. Счетчик длины строки предназначен для подсчета количества байт в каждой строке, кроме первой строки нечетного полукадра.
Регистры приема РП1 и РП2 предназначены для приема поступающего восьмиразрядного кода и последующей передачи его в блоки буферной памяти.Сумматор, буферный регистр БР2, счетчик адреса предназначены для формирования адресов ОЗУ (блоки буферной памяти Б1 и Б2), при котором данные нечетных полукадров записываются в нечетные строки ОЗУ, а четных -в четные.
Буферные регистры БР1, БРЗ предназначены для формирования задержек данных и адресов.Цифровой компаратор К предназначен для сравнения длины первой строки изображения с длиной последующих строк.Счетчик строк СС предназначен для подсчета количества записанных в Б1 и Б2 строк кадра изображения.Б1 и Б2 (ОЗУ) предназначены для запоминания и хранения введенного кадра телевизионного изображения. Блоки являются статическими запоминающими элементами.
Блоки канальных передатчиков БП1 и БП2 предназначены для передачи информации в канал ЭВМ и состоят из двух восьмиразрядных передатчиков каждый.Устройство для ввода изображения в ЭВМ работает в двух режимах: ввод информации от телекамеры в блоки буферной памяти Б1 и Б2 и передача информации в ЭВМ.
В режиме ввода изображение от телекамеры поступает в устройство и запоминается в блоках буферной памяти Б1 и Б2 (ОЗУ). Порядок выполнения операций следующий. После включения питания ЭВМ вырабатывает сигнал RESET, длительность которого не менее 1мс. При появлении сигнала RESET СПС сбрасывается в 0 и подготавливает БУ к работе.
Запись данных, полученных с телекамеры, в Б1 и Б2 начинается с 24-й строки каждого полукадра.
Информационный сигнал от телекамеры усиливается усилителем и поступает на АЦП, который преобразовывает этот сигнал в двоичный код и передает в регистр приема-передачи. Сигнал, полученный с усилителя, поступает также на вход ФУС, который выделяет кадровый, строчный импульсы, их инверсию, полукадровый импульс и его инверсию, импульс начала нечетного кадра, импульс середины кадра и второй строчный импульс, но меньшей длительности. Эти сигналы образуют первую группу входов БУ. Генератор импульсов генерирует прямоугольные импульсы с частотой 7 МГц. При поступлении этих импульсов содержимое регистра приема-передачи поступает на его выходы. Один импульс соответствует одному биту информации. В начале каждой строки регистр приема-передачи обнуляется. В БУ происходит подсчет количества импульсов. Каждые восемь импульсов происходит запись содержимого регистра приема-передачи в регистры приема РП1 илиРГК: запись восьми бит в РШ, следующих восьми бит - в РП2 и т.д.
Для записи в блоки буферной памяти строк одной длины в устройстве предусмотрен счетчик первой строки, который осуществляет подсчет количества элементов в первой строке. Счетчик длины строки считает количество элементов во всех остальных строках, а цифровой компаратор осуществляет сравнение количества элементов 1-й строки с количеством записанных в Б1 и Б2 элементов каждой из последующих строк. При равенстве количества элементов 1-й строки и текущей запись прекращается и к текущему значению адреса прибавляется число, хранящееся в счетчике 1-й строки. Таким образом, запись в блоки буферной памяти элементов следующей строки начинается с адреса, отстоящего от текущего на 1 строку. Запись элементов в следующем полукадре кадра начнется с адреса, следующего за адресом последнего элемента 1-й строки. Таким образом, осуществляется чересстрочная запись полученной информации в блоки буферной памяти.
Счетчик строк осуществляет подсчет строк, записанных в блоки буферной памяти. При необходимости по шине ЭВМ можно считать содержимое счетчика первой строки по адресу 0361 и содержимое счетчика строк по адресу 0360. При появлении соответствующих адресов блок связи с ЭВМ вырабатывает сигнал, поступающий на второй или первый вход третьей группы входов БУ, и БУ подает сигнал, разрешающий выдачу информации буферными регистрами БР1 или БРЗ соответственно.
