Содержание к диссертации
Введение
ГЛАВА 1. Математическая модель образования псевдоголоса 12
1.1 Механизм образование пищеводной речи 12
1.2 Биомеханические особенности мышечных тканей 15
1.3 Механическая модель пищеводного голоса 19
1.4 Электрический аналог модели образования псевдоголоса 24
1.5 Оценка адекватности модели 32
1.6 Выводы по главе 37
ГЛАВА 2. Исследование рефлекторных оссобенностей генерации голоса и влияния биологической обратной связи на формирование устной речи 39
2.1 Использование биологической обратной связи 39
2.2 Исследование процессов восприятия информации и генерации речи 52
2.3 Выводы по главе 60
ГЛАВА 3. Программный комплекс голосовой реабилитации пациентов после ларингэктомии на основе бионических принципов 62
3.1 Структура программно-аппаратного комплекса, на основе модели процессов восприятия информации и генерации речи 62
3.2 Структура программного комплекса голосовой реабилитации пациентов после ларингэктомии 66
3.2 Методы и алгоритмы программного комплекса голосовой реабилитации пациентов после ларингэктомии 75
3.3 Реализация программного комплекса 87
3.4 Выводы по главе 91
Заключение 93
Список используемых источников 96
- Механическая модель пищеводного голоса
- Оценка адекватности модели
- Исследование процессов восприятия информации и генерации речи
- Структура программного комплекса голосовой реабилитации пациентов после ларингэктомии
Введение к работе
Актуальность темы. Каждый год в России около полумиллиона пациентов получают диагноз рак. Из них приблизительно у 7-8 процентов обнаруживают именно рак гортани, который является одним из наиболее распространённых онкологических заболеваний в Российской Федерации. Это связанно в первую очередь с распространенным в нашей стране табакокурения и алкоголизма. Более 60 процентов заболевших находятся в трудоспособном возрасте. В отличие от других видов онкологических заболеваний даже в случае успешного лечения пациентам сложно вернуться к полноценной жизни. Это связанно с тем, что на поздних стадиях заболевания необходимо полное удаление гортани – голосообразующего органа.
На современном этапе развития науки и техники абсолютно оправданными
представляются стремления ученых совокупно находить решение проблемы
качества жизни пациентов, перенесших онкологические заболевания области
полости рта и ротоглотки. Существует три метода восстановления голосовой
функции пациентов, перенесших ларингэктомию: логопедический -
формирование нового фонационного органа в первом физиологическом сужении пищевода; трахеопищеводное шунтирование с установкой голосовых протезов “Provox”; использование голосовых аппаратов.
В настоящей работе рассматривается формирование псевдоголоса за счет
создания имитирующей работу гортани, образуется в области первого
физиологического сужения пищевода. Формирование пищеводной речи
основывается на использовании выработанных в процессе жизни
артикуляционных рефлексов речи взрослого человека и компенсаторных механизмов гортани. В связи с этим – проблема изучения формирования псевдоголоса является достаточно актуальной.
Анализ литературы не выявил моделей, описывающих образование псевдоголоса учитывающих все особенности голосообразования после ларингэктомии. Как правило, в случае необходимости синтеза пищеводной речи на этапе генерации псевдоголоса используют классические для обычной речи
модели масс, заменяя или подбирая параметры модели. В области формирования моделей речеобразования, моделирования органов голосообразования и создания программного обеспечения в области анализа и синтеза речи работали следующие ученые: Сорокин В. Н., Сапожков М.А., Ронжин А.Л., Матвеев Ю. Н., Симончик К. К., Белых И.Н., Козлов А.В., Потапова Р.К., Бондаренко В.П., Коцубинский В.П., Корнилов С.Ю., Тиунов С.Д., Вольф Д.А., Квасов А.Н., Коренбаум В.И., Морозов В.П., Жинкин Н.И., Adachi S., Awrejcewicz J., Flanagan J. L., Ishizaka К., Landgraf L.L., Yu J., Mermelstein P., Titze I.R и др.
Тем не менее, ряд задач в настоящее время до сих пор не решен.
Целью диссертационной работы является повышение эффективности реабилитационных мероприятий по восстановлению голосовой функции у пациентов после ларингэктомии за счет создания средств для голосовой реабилитации. Для достижения поставленной цели были решены следующие задачи:
– анализ существующих методов, методик, средств по восстановлению
голосовой функции после ларингэктомии;
– разработка математической электроакустической модели
формирования псевдоголоса;
– проведение исследований по применению методов биологической
обратной связи (БОС) для восстановления голосовой функции;
– разработка структуры программного комплекса для организации
управления процессами с использованием биологической обратной связи на основе бионических принципов;
– создание программного комплекса голосовой реабилитации
пациентов после ларингэктомии;
– апробация программного комплекса в лечебных учреждениях.
Методы исследований. Для решения поставленных в работе задач использовались методы математического моделирования и вычислительного эксперимента, методы функционального анализа, методы структурного и
объектно-ориентированного программирования, методы планирования эксперимента.
Научная новизна проведенных исследований и полученных в работе результатов заключается в следующем:
разработана математическая электроакустическая модель псевдоголоса пациентов после ларингэктомии, в отличие от классических моделей учитывает механизмы образования псевдоголоса и биомеханические особенности мышечных тканей органов, участвующих в процессе голосообразования;
предложено использование аудиовизуального положительного подкрепления, являющего частью биометрических принципов, в методах, основанных на использовании биологической обратной связи и позволяющего сократить сроки и, в индивидуальных случаях, улучшить результаты БОС-терапии;
разработана структура программного комплекса для проведения БОС-терапии на основе бионических принципов, которая позволяет строить комплексы для проведения терапии или реабилитации на основе биологической обратной связи, не учитывая вид физиологической функции в рамках которой проводится БОС-терапия.
Практическая значимость диссертационной работы подтверждается использованием полученных в ней результатов для решения практических задач. Разработанная модель пищеводного голоса позволит в дальнейшем изучать процессы голосообразования у больных после ларингэктомии, создавать численные методы для прогнозирования возможности выработки пищеводного голоса. Разработанный программный комплекс позволяет проводить реабилитацию онкологических пациентов после ларингэктомии с целью создания качественного пищеводного голоса. База данных пациентов позволяет проводить оценку результатов реабилитации, проводить классификацию пациентов и корректировать план проведения голосовых тренировок.
Использование аудиовизуального положительного подкрепления позволяет в индивидуальных случаях улучшать результаты БОС-терапии. Основные положения, выносимые на защиту:
-
Математическая электроакустическая модель псевдоголоса пациента после ларингэктомии, учитывающая механизмы образования псевдоголоса и биомеханические особенности мышечных тканей органов, участвующих в процессе голосообразования и позволяющая исследовать методы и алгоритмы анализа данных устной речи пациентов после ларингэктомии. Соответствует пункту 5 паспорта специальности 05.13.17 – Разработка и исследование моделей и алгоритмов анализа данных, обнаружения закономерностей в данных и их извлечениях разработка и исследование методов и алгоритмов анализа текста, устной речи и изображений.
-
Обоснование использования положительного аудиовизуального подкрепления в методах, основанных на использовании биологической обратной связи в процессе формирования устной речи, позволяет в индивидуальных случаях сократить сроки реабилитации пациентов после ларингэктомии на 10%. Соответствует пункту 5 паспорта специальности 05.13.17 – Разработка и исследование моделей и алгоритмов анализа данных, обнаружения закономерностей в данных и их извлечениях разработка и исследование методов и алгоритмов анализа текста, устной речи и изображений.
-
Программный комплекс голосовой реабилитации пациентов после ларингэктомии с использованием положительного аудиовизуального подкрепления в биологической обратной связи на основе бионических принципов, позволяет увеличить количество пациентов до 92%, к которым может быть применена методика восстановления звучной речи у пациентов после ларингэктомии. Соответствует пункту 13 паспорта специальности 05.13.17 – Применение бионических принципов, методов и моделей в информационных технологиях.
Достоверность изложенных в работе результатов обеспечивается
строгостью применения математического аппарата; адекватность
подтверждается сравнением полученных результатов с известными знаниями и существующими аналогами, проведенным тестированием разработанного программного обеспечения в разрезе точности вычислений и времени выполнения, проведенным внедрением результатов работы.
Внедрение результатов диссертационной работы. На основе структуры
программно-аппаратных комплексов с использованием биологической обратной
связи на основе бионических принципов, был создан программных комплекс:
голосовой реабилитации пациентов после полной утраты звучной речи в
результате ларингэктомии (Свидетельство о государственной регистрации
программы для ЭВМ № 2015618857 – «Программа речевой реабилитации
пациентов после резекции гортани»). Данный комплекс программ используется в
отделении опухолей головы и шеи в Федеральном государственном
бюджетном научном учреждении «Томский национальный исследовательский
медицинский центр Российской академии наук» «Научно-исследовательский
институт онкологии». В учебном процессе кафедры комплексной
информационной безопасности электронно-вычислительных систем и кафедры безопасности информационных систем факультета безопасности ТУСУР используется программное обеспечение.
Апробация работы. Основные результаты работы докладывались на следующих конференциях:
– X Международная научно-практическая конференция “Электронные
средства и системы управления” (г.Томск);
– 17th International Conference, SPECOM 2015 (г. Патрас);
– Biomedical Engineering and Computational Technologies (SIBIRCON),
2015 International Conference (г. Новосибирск);
– Всероссийская научно-практическая конференция в рамках I
Конгресса “Здравоохранение России. Технологии опережающего развития” (г. Томск);
– Conference: Physics of cancer: interdisciplinary problems and clinical
applications PC’16 (г. Томск);
– Томские IEEE – семинары «Интеллектуальные системы
моделирования, проектирования и управления», г. Томск, 2013 – 2016 гг.
Личное участие автора в получении результатов. Основные научные результаты получены лично автором. Часть опубликованных работ написана в соавторстве с научным руководителем. Автором совместно с сотрудниками Федерального государственного бюджетного научного учреждения «Томский национальный исследовательский медицинский центр Российской академии наук» «Научно-исследовательский институт онкологии» проведены внедрение и апробация результатов работы. Постановка изложенных в диссертации задач сделана совместно с научным руководителем профессором Мещеряковым Р.В.
Публикации. По материалам диссертации опубликовано 9 работ, из них 3 статьи в журналах, входящих в перечень рецензируемых научных журналов и изданий, 6 публикаций в материалах международных и всероссийских научных конференциях.
Объем и структура работы. Диссертация состоит из введения, трех глав, заключения и приложения. Полный объем диссертации составляет 114 страниц с 42 рисунками, 14 таблицами, 4 приложениями. Список использованных источников содержит 110 позиций.
Механическая модель пищеводного голоса
По мнению [3] считается, что для фонации пищеводным голосом необходимо выполнение двух условий: – доставка воздушной струи из пищевода; – озвучивание воздушной струи при помощи нового компенсаторного фонационного органа в верхнем физиологическом сужении пищевода на уровне Cv-vi – псевдоголосовой щели. Псевдоголосовая щель представлена складками слизистой оболочки устья пищевода и крикофарингеального сфинктера.
Однако стоит отметить, что у пациентов, успешно прошедших голосовую реабилитацию, хорошо заметны мышечные сокращения глоточных мышц при генерации голоса, осуществляемые в области мышц верхнего сужения пищевода. В связи с чем процесс образования псевдоголоса может рассматриваться как процесс взаимодействия мышц глотки с мышцами и крикофарингеального сфинктера.
Анализ рентгенограмм пациентов, овладевших пищеводным голосом, во время фонации, а также изучение литературных источников позволяет свести акустическую схему фонации к совокупности взаимодействующих объемов и отрезков труб постоянного или переменного сечения [22, 27, 31, 35, 39, 46, 47, 48, 51, 68, 94]. Таким образом акустическая схема голосообразования у пациентов с удаленной гортанью (рисунок 1.2) представляется ничто иное как совокупность следующих элементов: – пищевод; – сформированный в верхнем сужении пищевода воздушный пузырь, создающий избыточное давление; – образованная в I физиологическом сужении пищевода псевдоголосовая щель; – глоточные мышцы и внешние мышцы гортани; – речеобразующий тракт. Рисунок 1.2 – Акустическая схема образования речи у пациентов после ларингэктомии В предложенной акустической схеме образования пищеводной речи приняты следующие условные обозначения:Vп – объем воздуха в пищеводе, Vвп – объем воздушного пузыря, hпгщ – высота псевдоголосовой щели, hгл – высота глоточных мышц, участвующих в голосообразовании, hрот – высота излучателя речеобразующего тракта, lрот – длина речеобразующего тракта; Также стоит отметить, что существует три основных модели голосообразования: – миоэластическая теория фонации, в основе которой лежит предположение, что фонация является результатом вибрации голосовых складок; – нейрохроноксическая теория фонации, согласно которой считается, что открытие голосовой щели – не пассивное движение, как это трактуется согласно миоэластической теории, а активный ответ на посылаемые двигательные импульсы; – гипотеза Фанта [64], которая заключается в том, что движение голосовых складок и процессы в речеобразующем тракте не влияют друг на друга. Таким образом, голосовые складки могут рассматриваться как источник тока или напряжения.
Также многие авторы, такие как Н.И. Жинкин, Л.Б. Дмитриев, В.П. Морозов [22, 23, 38, 40] считают, что механизм образования голоса следует объяснять исходя из положений обеих теорий – миоэластической и нейрохроноксической. В рамках данной работы будем придерживаться нейрохроноксической теории фонации, так как в ее основе лежат экспериментальные данные получение французским ученным Р. Юссоном [74]. Так же переходя от голосовых складок к псевдоголосовой щели, нельзя пренебречь тем фактом, что у здоровых людей крикофарингеальный сфинктер не осуществляет колебательных движений, что опровергает миоэластическую теорию и гипотезу Фанта применительно к рассматриваемой проблеме. При этом немаловажную роль играет воздушная струя, доставляемая из пищевода.
Пищеводная ткань целиком и полностью состоит из гладких мышц, следовательно, модели, описывающие сокращения гладких мышц [47], при их адекватности в полной мере могут описать механические свойства пищевода, однако крикофарингеальный сфинктер, непосредственно участвующий в голосообразовании, состоит из крикофарингеальной мышцы, которая относится к группе поперечнополосатых мышц. Глотка же, в отличии от пищевода, как и крикофарингеальный сфинктер образованна из мышц, относящихся к группе поперечнополосатых мышц, и при описании процессов голосообразования у пациентов после ларингэктомии в зоне гортани следует использовать соответствующие модели. Поперечнополосатые мышцы более возбудимы чем гладкие: их пороги раздражения ниже, а хронаксия короче [6, 7, 37, 62]. Потенциалы действия волокон поперечнополосатых мышц имеют большую амплитуду, около 120 мВ, по сравнению с 60 мВ у волокон гладких мышц. Продолжительность сокращений у поперечнополосатых мышц не достигает 0,5 секунд, а у гладких варьируется в пределах 1-3 секунд.
В режиме постоянного тонуса мышц (рисунок 1.3, б) упругий элемент моментально растягивается (момент времени t1) до значения, определяемого законом Гука, а плунжер демпфера двигается с постоянной скоростью до того момента, пока не перестанет действовать внешняя сила. В момент времени t2, после снятия нагрузки - пружина моментально сокращается, а положение плунжера остается прежним [11, 30]. В режиме постоянной длины мышечного волокна (рисунок 1.3, в) упругий элемент после растяжения начнет сокращаться, возвращая плунжер в исходное начальное положение. В любой момент времени для относительного удлинения выполняется условие: єобщ = єупр+євяз (1.1) Таким образом скорость изменения относительного удлинения в любой момент времени определяется следующим соотношением: dt dt dt Моделью упругого тела является пружина, подчиняющаяся закону Гука: о= "є (1.3), где - напряжённость ткани, Е - модуль Юнга ткани, - относительное удлинение(деформация);
В качестве модели вязкого элемента рассматривается плунжер с отверстиями, двигающийся в демпфере с вязкой жидкостью. Связь между скоростью перемещения плунжера в демпфере и напряжением представляется следующим соотношением: F о= — (1 4) S h о= ті — U, где - коэффициент вязкости жидкой среды, S - площадь демпфера. Используя формулы 1.4 для вязкого элемента и 1.3 для упругого элемента, подставив эти выражения в 1.2 получаем выражение для скорости общей деформации гладкой мышцы:
Оценка адекватности модели
По окончании курса БОС-терапии пациенты приобретают навыки контроля состояния собственного организма. Методики с использованием биологической обратной связи обеспечивают получение информации о текущем состоянии той или иной физиологической функции для обучения пациента сознательному контролю и управлению этой функцией.
БОС-терапия активно внедряется в комплексное лечение хронических заболеваний неврологического, кардиологического, гастроэнтерологического, урологического профилей, а также в реабилитационной и превентивной медицине. К положительным сторонам использования биологической обратной связи в реабилитационных мероприятиях по сравнению с классическими методиками относятся: – быстрая коррекция психоэмоциональных изменений; – простота метода; – неинвазивность; – устранение самой причины заболеваний, а не их следствий; – длительное сохранение полученных навыков в ходе курса БОС терапии; – возможность сочетания с другими методами реабилитации; – отсутствие побочных эффектов; – снижение потребности пациента в лекарственных препаратах; – воздействие не на отдельные заболевания, а на системы организма; – схема терапии назначается строго индивидуально, в зависимости от вида и степени расстройства у пациента; – возможность применения с раннего возраста; – активное включение в процесс лечения самого пациента, которому после каждого сеанса предоставляется информация о достигнутых им результатах обучения и их точной количественной оценки. Также в методиках, основанных на биологической обратной связи, немаловажную роль имеет способ подкрепления, существуют три типа подкрепления: – положительное подкрепление – в качестве подкрепления используется просмотр видеоряда, звучание приятной музыки и другие образы вызывающие положительные реакции; – отрицательное подкрепление – в качестве подкрепления используются образы, вызывающие негативную реакцию, например, искажение изображения, звучание неприятной музыки в случае неправильного выполнения задания; – смешанное подкрепление – использование и положительного и отрицательного подкрепления в зависимости от выполнения или невыполнения задания в рамках тренировки.
Каждый из рассмотренных выше способов подкрепления имеет место на свое применение, по мнению авторов [1], каждый из способов хорош по-своему. Однако на сегодняшний день нет однозначного ответа какой из способов использовать наиболее продуктивно. В существующих в программных и программно-аппаратных комплексах, использующих биологическую обратную связь в процессе реабилитации на сегодняшний день, как правило, используются методы, преобразующие полученную информацию в статические или динамические зрительные образы. Как показывают результаты использования данных методов [28], срок реабилитации составляет около 4 недель и не всегда имеет положительные результаты. Косвенно это связанно с использованием только статических зрительных образов. Как показывают исследования в области аудиовизуального восприятия при зрительном сигнале дополнительное использование звука сокращает время реакции на 5-10% [107]. Этот результат демонстрирует возможность влияния звука на зрительное восприятие. Таким образом, использование аудиовизуального посыла в качестве положительного подкрепления вместо статических зрительных образов позволит улучшить качество проводимых тренировок, а именно ускорить процесс привыкания к реабилитационным мероприятиям. Это поможет в дальнейшем скорректировать существующие методику голосовой реабилитации пациентов после ларингэктомии таким образом, чтобы уменьшить срок реабилитации, либо при тех же сроках улучшить результаты тренировок.
Так как встречаются пациенты, которым недостаточно 4 недель для полной реабилитации, предлагаемые изменения методик вполне могут иметь место. Стоит отметить, что использование аудиовизуальных посылов, при правильном подборе аудио составляющей, позволит снизить психоэмоциональное напряжение пациентов в процессе реабилитации. Психоэмоциональное состояние пациента имеет одну из решающих составляющей реабилитации, так как противопоказаниями к методам, основанным на БОС, как раз являются различные вариации психоза. В качестве аудио составляющих аудиовизуальных посылов рекомендуется использовать звуки, близкие к классическому направлению музыки. Исследования показывают, что на людей в возрасте от 30 лет композиции данного стиля влияет исключительно благоприятно [110]. У таких испытуемых улучшилось общее состояние, в частности, повысился уровень активности, улучшилось настроение, а также снизился уровень тревоги. Как отмечают специалисты, работающие с пациентами во время реабилитации, чувство тревоги нередко возникает у пациентов, перенесших операции по полному удалению гортани, что мешает занятиям. Возможность снижения состояния тревоги у пациентов, положительно способствовало бы процессу реабилитации и проведению тренировок, основанных на БОС.
Для проверки гипотезы о положительном влиянии аудиовизуального положительного подкрепления в методах, основанных на биологической обратной связи вместо статических образов был проведен эксперимент [43, 54]. Для проведения эксперимента использовался программный комплекс [Приложение А], позволяющий в режиме реального времени определять частоту основного тона диктора. В качестве контрольной группы были приглашены 30 здоровых дикторов, мужчины и женщины в возрасте от 23 до 32 лет. В первой части эксперимента дикторы проводили тренировки голоса по увеличению верхней границы диапазона собственного голоса в режиме работы программного комплекса, при котором используются статические образы в качестве подкрепления в течении недели. Спустя месяц группа этих же дикторов также в течении недели проводили тренировки, но в режиме использования аудиовизуальных образов в качестве подкрепления (таблица 2.1).
Исследование процессов восприятия информации и генерации речи
На основе структуры программно-аппаратного комплекса, рассмотренного выше, была описана предложенная структуры на уровне классов, библиотек и их взаимодействия. Переход от программно-аппаратного комплекса к программному возможен за счет использования штатных аппаратных кодеков персонального компьютера и в отсутствии необходимости поставки дополнительных устройств. Во-первых, необходим класс обработки данных для взаимодействия с базой данных, в которой предполагается хранить информацию о пациентах, ведение их личной анкеты, результаты тренировок и прочую информацию, необходимую для организации процесса реабилитации со стороны программного обеспечения. Так же этот класс обеспечивает взаимодействие с набором слуховых и визуальных подкреплений. В предложенной ранее структуре этот класс не представлен, так как структура предполагает один сеанс реабилитационных мероприятий. Под сеансом в данном случае будем понимать одну итерацию – считывание одного звукового сигнала устройством ввода, с последующим вычислением параметра голоса и выдачей или не выдачей положительного подкрепления в рамках использования возникающей БОС.
Класс обработки настроек, который также не представлен в структуре, так как структура рассчитана на работу с конкретным набором входных данных (настроек). Данный класс должен осуществлять инициализацию и сохранение настроек программного комплекса и параметров взаимодействия с устройствами ввода/вывода, таких как: – длительность записи фрейма в буфер звуковой картой; для многих современных алгоритмов расчёта частоты основного тона и других параметров голоса этот параметр играет роль, некоторые алгоритмы работают с ограниченным диапазоном входных фреймов; – опорное напряжение на звуковой карте; – тип статического подкрепления; – используемое устройства ввода; на современных персональных компьютерах, как правило, используется не одно устройство аудио ввода как физических, так и виртуальных; – частота дискретизации записываемого звука; как и в случае с длительностью записи фрейма этот параметр может накладывать ограничение используемый алгоритм; – параметры подключения к базе данных.
Модуль вычисления параметров поступающего звукового сигнала должен быть представлен набором библиотек, каждая из которых реализует тот или иной численный метод, на вход которому подается фрейм звукового сигнала, а на выходе искомый параметр голоса пациента. Модуль должен иметь именно такую структуру для того, чтобы была возможно заменять используемые численные методы в будущем без изменения самого программного комплекса и служить ядром для построения программно-аппаратных комплексов, решающих другие задачи в рамках использования БОС.
Модуль интерпретации результатов осуществляет работу по сопоставлению данных, полученных из модуля вычисления параметров с заданием на проводимую тренировку устанавливаемом оператором. Под оператором в данном случае подразумевается логопед, либо врач, который проводит реабилитационные мероприятия.
Класс взаимодействия с устройствами ввода-вывода служит для преобразования данных с звуковой карты в дискретный набор величин и формирования подкреплений для дальнейшего вывода на монитор, колонки, наушники ПК. Может быть представлен как сторонними свободно распространяемыми библиотеками, так и реализован самостоятельно. В рамках данной работы использовалась свободно распространяемое программное обеспечение.
Класс взаимодействия должен осуществлять взаимодействие между пациентом и программным комплексом, реализовывать интерфейсную часть, реализовывать логику проведения тренировок. Соблюдая выше описанные правила была получена конечная структура программного комплекса на уровне классов представленная на рисунке 3.1
Рассмотрим более подробнее функции, методы и алгоритмы, которым должен соответствовать программный комплексе голосовой реабилитации после ларингэктомии.
Перед описанием класса обработки данных необходимо было спроектировать базу данных с учетом всех особенностей процесса реабилитации, и позволяющую хранить историю тренировок по выработке псевдоголоса. Для этого была создана ER – модель предметной области и бизнес правила базы данных. Спроектированная ER – модель базы данных представлена на рисунке
ER-диаграмма концептуальной схемы базы данных Ключевым элементом модели является сущность – тренировка. Она содержит информацию о пациенте, проходящем тренировку, к какой группе пациентов он относится, какой способ положительного подкрепления в биологической обратной связи используется, численный метод, который использовался при выделении параметров и информацию о каждом повторении задания тренировки. Исходя из требований предметной области были выделены основные атрибуты сущностей. Сущность “тренировка” описывает каждую отдельно взятую тренировку в рамках посещения реабилитационных мероприятий. Поля которые содержит сущность “тренировка”: – уникальный идентификатор тренировки – идентифицирует отдельно взятую тренировку; – дату проведения тренировки – чтобы в дальнейшем возможно было отслеживать динамику изменений показателей псевдоголоса;
Структура программного комплекса голосовой реабилитации пациентов после ларингэктомии
В алгоритме проверки выполнения задания на тренировку по длительности фонации приняты следующие обозначения: rms – уровень звукового давления рассматриваемого фрейма; frame_length – длина рассматриваемого фрейма; power_of_voice_workout_task – задание на тренировку по уровню звукового давления; duration_of_fonation_workout_task – задание на тренировку по длительности фонации; size() – функция вычислений размера массива; .key – метод возвращающий ключ структуры “ключ-значение”; .value – метод возвращающий значение структуры “ключ-значение”;
Алгоритм проверки выполнения задания по частоте основного тона схож с проверкой на выполнение тренировки по длительности фонации. Для каждого записываемого звукового фрейма вычисляются уровень звукового давления и частота основного тона на основе сингулярного эстиматора. Впрочем, в рамках алгоритма может использоваться и любой другой способ нахождения частоты основного тона, который позволит делать это в рамках реального времени. Далее, после подсчета параметров фрейма, данные заносятся в список, после каждой итерации подсчета вычисляется длительность фонации способом аналогичным алгоритму проверки выполнения задания на тренировку по длительности фонации, только выбираются все экземпляры структуры “ключ-значение”, которые находятся между двумя экземплярами, у которых не выполняется условие либо по частоте основного тона, либо по уровню звукового давления. Если суммарная длительность фонации превышает заданную, то тренировка по частоте основного тона считается выполненной.
На основе спроектированной структуры программного комплекса, описанных алгоритмах проведения тренировок и определения параметров голоса пациентов, а также специфики проведения реабилитационных мероприятий был разработан программный комплекс голосовой реабилитации на языке C#. Разработанные алгоритмы были реализованы на языках программирования: С#; Scala; Ruby; C++ [21, 33, 36, 58, 59, 60, 70, 71, 101, 109], для их тестирования и апробации. Язык программирования C# был выбран в виду возможности построения удобных интерфейсов наряду с мощным набором инструментов для реализации тяжелых алгоритмов. Программный комплекс был спроектирован и разработан в соответствие с современными паттернами программирования. Были спроектированы классы реализующие основную логику работы приложения, для упрощения масштабирования в будущем (рисунки 3.11 - 3.12).
Диаграмма классов реализующих численные методы расчета параметров голоса На начальном этапе тестирование проводилось на группе здоровых дикторов для выявления функциональных недочетов в программном комплексе. В ходе тестирования проводилось профилирование программного обеспечения с целью оптимизации программных модулей наиболее требовательных к выделению процессорного времени и оперативной памяти. В результате чего было выявлено, что наиболее трудоемким, как и ожидалось, является процесс вычисления частоты основного тона на основе сингулярного эстиматора. После оптимизации программного, когда с учетом особенностей языка программирования C# и фреймворка .Net 4.5 удалось снизить выделение процессорного времени на 20%, а использование оперативной памяти на 16%. После оптимизации на вычисление частоты основного фрейма длиной в 50 миллисекунд в среднем требовалось 20 миллисекунд, что позволило использовать разработанные функции в режиме реального времени (таблица 3.1). Для подтверждения адекватности результаты, полученные с помощью написанной функции на основе сингулярного метода, сравнивались с результатами, полученными для тех же сигналов в программе Praat. 132,8 132,1 20 0,52 Представленные результаты получены на персональном компьютере под управлением операционной системы Windows 7, с процессором Intel Core i5-4570, вычислительная мощность данного процессора 125 ГФлопс. В результате функционального тестирования и последующих доработок рассматриваемого комплекса на группе здоровых дикторов, состоящей из 10 мужчин и женщин в возрасте от 23 до 30 лет, были получены следующие результаты: – эргономичность интерфейса в среднем была оценена на 9 из 10 баллов; – наблюдалось увеличение длительности фонаций на 100-350 мс; – наблюдалось увеличение верхней границы диапазона частот на 5 20 Гц; – выявлено и исправлено 7 необработанных исключений приложения; – в среднем различие рассчитанной частоты и измеренной при помощи Praat составляло 0,3%; Так же стоит отметить, что структура позволяет в будущем при необходимости портировать разработанное программное обеспечение на операционные системы семейства UNIX. Интерфейс программного комплекса неоднократно перерабатывался в процессе использования программного комплекса после первичной апробации (рисунок 3.14). Рисунок 3.14 – Главное окно программы в режиме проведения тренировки С основными формами и панелями меню программного комплекса можно ознакомиться в приложении Б.
После этапа первичной апробации на группе здоровых дикторов и исправления выявленных недочетов и доработок программный комплекс был внедрен в Федеральное государственное бюджетное научное учреждение «Томский национальный исследовательский медицинский центр Российской академии наук» «Научно-исследовательский институт онкологии».
В результате внедрения программного комплекса голосовой реабилитации после ларингэктомии в рамках реабилитационных мероприятий с использованием программных средств прошло 28 пациентов, 3 женщины и 25 мужчин, в возрасте от 32 до 68 лет. Объем операции каждого из пациентов – полное удаление гортани. Сроки реабилитации составили от 8 до 22 дней, вместо 2 месяцев по традиционные методики. Успешно овладели пищеводным голосом 26 пациентов, что составило 92,3 % эффективности.
На основе предложенной модели процессов восприятия информации и генерации речи здорового человека была разработана структура программно 92 аппаратного комплекса с использованием БОС. На основе этой структуры была разработана структура программного комплекса голосовой реабилитации пациентов после ларингэктомии. Также была показана возможность воздействия на модель процессов восприятия информации и генерации речи программным комплексом на примере программного комплекса голосовой реабилитации после ларингэктомии с использованием БОС. Разработан и протестирован программный комплекс голосовой реабилитации пациентов после ларингэктомии с использованием положительного аудиовизуального подкрепления в биологической обратной связи, который способен работать в режиме реального времени на современных не промышленных центральных процессорах. Проведено внедрение программного комплекса в Федеральное государственное бюджетное научное учреждение «Томский национальный исследовательский медицинский центр Российской академии наук» «Научно-исследовательский институт онкологии». В результате использования программного комплекса успешно овладели пищеводным голосом 26 пациентов, что составило 92,3 % эффективности.