Содержание к диссертации
Введение
1 Анализ проблемы одиночных сбоев в кэш-памяти процессора 12
1.1 Возникновение одиночных сбоев в памяти 14
1.1.1 Ионизирующее излучение космического пространства 14
1.1.2 Радиационные эффекты в полупроводниковых приборах 14
1.1.3 Последствия недеструктивных одиночных эффектов в памяти 17
1.1.4 Свойства потока одиночных сбоев в памяти 18
1.2 Борьба с последствиями одиночных сбоев в кэш-памяти 19
1.2.1 Организация кэш-памяти 19
1.2.2 Методы борьбы с одиночными сбоями в кэш-памяти 21
1.2.3 Концепция многоуровневого реагирования на поток ошибок 25
1.3 Оценка последствий одиночных сбоев в кэш-памяти 27
1.3.1 Маршрут проектирования системы на кристалле 27
1.3.2 Мероприятия по повышению надежности в ходе проектирования 28
1.3.3 Показатель уязвимости как критерий оценки надежности кэш-памяти 31
1.3.4 Влияние параметров кэш-памяти на работу вычислительной системы в присутствии одиночных сбоев 32
1.4 Методы оценки показателя уязвимости к одиночным сбоям в кэш-памяти 34
1.4.1 Аналитические подходы 35
1.4.2 Имитационное моделирование на ранних этапах проектирования 37
1.4.3 Методы внесения неисправностей 39
Выводы по главе 44
2 Аналитическая модель уязвимости процессора к одиночным сбоям в кэш-памяти 46
2.1 Анализ работы процессора в присутствии ошибок в кэш-памяти 46
2.1.1 Реакция системы на ошибки в слове массива строк 47
2.1.2 Реакция системы на ошибки в записи таблицы тэгов 52
2.1.3 Характеристики и компоненты модели 55
2.2 Аналитическое представление компонентов модели 57
2.2.1 Накопление ошибок 57
2.2.2 Быстродействие кэш-памяти 58
2.2.3 Поведение программы 58
2.2.4 Относительное расположение ошибок в записи таблицы тэгов 62
2.2.5 Реакция системы на ошибки в таблице тэгов 66
2.2.6 Реакция системы на ошибки в массиве строк 67
2.2.7 Алгоритм настройки аналитической модели 68
Выводы по главе 70
3 Анализ уязвимости процессора к одиночным сбоям в кэш-памяти 72
3.1 Интеграция компонентов аналитической модели для кэш-памяти с маскированием одной ошибки и обнаружением до двух ошибок 72
3.1.1 Показатель уязвимости к одиночным сбоям в слове строки 72
3.1.2 Показатель уязвимости к одиночным сбоям в тэге 74
3.2 Результаты аналитической оценки 76
3.2.1 Вероятности реакций при обращении к тэгу с ошибками 76
3.2.2 Оценка уязвимости к одиночным сбоям в тэге 78
3.2.3 Оценка уязвимости к одиночным сбоям в слове строки 80
3.2.4 Масштабирование оценки показателя уязвимости
3.3 Имитационное моделирование 85
3.4 Совокупная оценка уязвимости и производительности
3.4.1 Экспериментальное окружение 87
3.4.2 Параметры временного анализа 88
3.4.3 Результаты временного анализа 90
3.4.4 Результаты совокупной оценки 91
Выводы по главе 95
4 Метод и инструментальные средства внесения неисправностей на базе ПЛИС 96
4.1 Агенты внесения неисправностей 96
4.1.1 Саботажник для модуля памяти 96
4.1.2 Алгоритм оснащения 98
4.1.3 Автоматизация оснащения 99
4.2 Экспериментальное исследование 102
4.2.1 Метод внесения неисправностей 102
4.2.2 Программная часть реализации метода 104
4.2.3 Аппаратная часть реализации метода 106
4.2.4 Множество FARM 108
4.2.5 Сравнение с аналитической оценкой 109
Выводы по главе 111
Заключение 112
Список сокращений 117
- Свойства потока одиночных сбоев в памяти
- Реакция системы на ошибки в записи таблицы тэгов
- Вероятности реакций при обращении к тэгу с ошибками
- Экспериментальное исследование
Свойства потока одиночных сбоев в памяти
Космические лучи и естественные радиационные пояса Земли (ЕРПЗ) представляют собой поток заряженных ядерных частиц и формируют ионизирующее излучение естественного происхождения, воздействующее на космический аппарат. По ГОСТ РВ 20.57.415-98 эти воздействия обозначаются как факторы группы 7.К.
Воздействие такого излучения характеризуется спектрально-энергетическим распределением, зависящим от параметров орбиты и длительности миссии. Для описания потоков частиц, наблюдаемых на околоземных орбитах, используются расчетно-эмпирические модели радиационного окружения [20, 133]: для электронов и протонов естественных радиационных поясов Земли; для частиц солнечных космических лучей (СКЛ); а также для протонов и тяжелых ионов галактических космических лучей (ГКЛ).
Точность расчетных значений параметров потоков частиц, получаемых с помощью существующих моделей, составляет ±50% и больше для ЕРПЗ, ±25% для ГКЛ и ±100% для СКЛ [7]. Важным допущением, принятым во всех моделях, является изотропность потоков частиц, падающих на рассматриваемый объект.
Выделяют дозовые и одиночные эффекты воздействия ионизирующего излучения на полупроводниковые приборы [9, 15, 99, 103]. Дозовые эффекты возникают вследствие высокой и низкой мощности дозы излучения и проявляются в постепенной деградации характеристик прибора. Одиночные эффекты появляются под воздействием высокоэнергетичных протонов и ионов (тяжелых заряженных частиц – ТЗЧ) космического пространства и нейтронов в верхних слоях атмосферы, и проявляются как недеструктивные сбои и катастрофические отказы [17] (см. рисунок 2).
Для современных СБИС с высокой степенью интеграции среди локальных радиационных эффектов наиболее критичны кратковременные одиночные импульсы в проводниках схемы, одиночные сбои в триггерах и ячейках памяти и тиристорные эффекты [18].
Радиационные эффекты Одиночные эффекты Недеструктивные сбои (SEE) Одиночные сбои (SEU)
Одиночные эффекты носят случайный характер и вызываются кратковременными ионизационными токами вследствие накопления заряда со значением больше порогового (критического) в чувствительной области кристалла. Такой заряд может быть получен от проходящей через кристалл отдельной ядерной частицы с высокой энергией - протона или ТЗЧ, или от продуктов ядерной реакции, вызванной попавшим в кристалл нейтроном [17].
Энергия протонов традиционно измеряется в кэВ и МэВ. Для характеристики ТЗЧ используют величину линейной потери энергии (ЛПЭ), измеряемой в МэВ-см2-мг-1. Вероятность возникновения одиночного эффекта в зависимости от энергии частицы определяется параметрами рассматриваемого чувствительного узла (топологией и технологией изготовления) и режимом работы устройства. Такая зависимость называется сечением одиночного эффекта и хорошо описывается распределением Вейбулла-Гнеденко [103] в виде формул (1) для ТЗЧ и (2) для протонов: CT(L) = ст0 I 1 - е { М, (1) (р) = сто (1 - е J , (2) где ст - функция сечения сбоев одиночного эффекта [см2], ст0 - сечение насыщения [см2], L - ЛПЭ иона [МэВ-см мг1], Ер - энергия протона [МэВ], L0 - пороговая ЛПЭ возникновения сбоя [МэВ-см мг-1], Ер0 - пороговая энергия возникновения сбоя [МэВ], sa - безразмерный параметр формы распределения, wa - параметр масштаба распределения [МэВ-см мг-1] или [МэВ].
Для определения сечения одиночных эффектов на этапе разработки технологии изготовления кристалла используют методы статистического компьютерного моделирования [125, 132, 142]. Далее в ходе квалификационных испытаний на радиационную стойкость выполняют уточнение оценки: для контроля технологического процесса и подтверждения расчетных значений. На этом этапе используют расчетно-экспериментальные методы, включающие ускоренные испытания на моделирующих и имитационных установках [147]. Информацию о результатах радиационных исследований объединяют в отраслевых базах данных, таких как http://kosrad.ru (Роскосмос), http://escies.org (ESA) и http://radhome.gsfc.nasa.gov (NASA).
Для функционально-сложных СБИС, в том числе типа СнК, радиационные испытания требуют создания индивидуальных методик [145] - для проведения унифицированного этапа и системно-ориентированного этапа. Стоимость и длительность разработки методики и проведения самих испытаний высоки. При этом для сложных систем стоит проблема интерпретации результатов испытаний с целью получения достоверных оценок, требующая непосредственного участия разработчика системы и в разработке методики, и в ходе самих испытаний.
По стойкости к ионизирующему излучению выделяют радиационно-толерантные и радиационно-стойкие микросхемы [19]. Крупными отечественными производителями радиационно-стойких микросхем являются «НИИМЭ и Микрон», «Ангстрем», «НИИСИ РАН». Также часто в авиакосмическом приборостроении используют коммерческие микросхемы, чьи характеристики по радиационной стойкости оказываются сравнимы со специализированными микросхемами.
В итоге интенсивность потока одиночных эффектов в отдельной микросхеме определяется на основе ряда моделей:
1. спектрально-энергетическое распределение частиц ГКЛ, СКЛ и ЕРПЗ на орбите космического аппарата определяется расчетно-эмпирическими моделями радиационного окружения;
2. функция прохождения частиц ионизирующего излучения сквозь экранирующий материал определяется расчетными моделями [18];
3. сечение сбоев одиночного эффекта определяется радиационными испытаниями или расчетными моделями.
Рассмотрение проблемы возникновения сбоев в памяти и использования средств для их предотвращения и борьбы с последствиями выделяют как отдельный вопрос при проектировании СнК [51].
Одиночный сбой возникает в запоминающем элементе – триггере или ячейке памяти, и приводит к хранению значения с ошибкой до момента следующей записи новых данных в этот элемент. Таким образом, появляясь в элементе памяти, одиночный сбой неизбежно приводит к появлению перемежающейся ошибки. Модель одиночного сбоя – это инверсия значения хранимого запоминающим элементом бита информации.
Реакция системы на ошибки в записи таблицы тэгов
Для анализа работы вычислительной системы при возникновении ошибки в кэш-памяти рассмотрим процессор с кэш-памятью как систему, используя функциональный подход. Функциональный подход в отличие от структурного анализа рассматривает отдельные свойства системы как функции (алгоритмы), позволяющие достигать определенных целей. Выбор функционального подхода обусловлен характером понятия надежности, которая определяется способностью системы выполнять требуемые функции .
Формально процесс функционирования системы Sys во времени t описывается законом функционирования FSys: y() = FSys[x,e,h,t), (5) где y(t) - совокупность зависимостей выходных характеристик системы от времени, х - совокупность входных воздействий на систему, е - совокупность воздействий внешней среды Env, h - совокупность собственных параметров системы. Конечное множество переменных x(i),?(i),/z(i) , математические связи между ними и характеристики y(t) образуют математическую модель системы. Советов Б.Я., Яковлев С.А. Моделирование систем. — 7-е изд. — М.: Юрайт, 2013. — 352 с. Определим, что целью функционирования системы является безотказное исполнение программы в условиях появления ошибок, возникающих в кэшпамяти вследствие одиночных сбоев.
Входными воздействиями х для процессора с кэш-памятью является множество выполняемых процессором операций - вычислительная нагрузка. Параметры вычислительной нагрузки определяются расписанием выполняемых процессором задач и реализацией этих задач в виде исполняемых программ. Воздействиями внешней среды е для решаемой задачи моделирования является поток одиночных сбоев. В соответствии с требованием к независимости переменных модели, собственными параметрами системы h выступают параметры вычислительной системы, которые определяют архитектуру иерархии памяти, но не влияют на характер вычислительной нагрузки.
Для выделения составляющих совокупностей х,е и h, необходимых для создания модели из предложенной математической схемы, определим целевые алгоритмы функционирования системы.
Пусть в одном из слов кэш-памяти возникла ошибка. Рассмотрим реакцию системы на обращение процессора к этому слову.
Для формализации описания и анализа последующей реакции системы построим логическую индуктивную модель в виде дерева событий . Выбор индуктивной модели обусловлен определенностью начального события для анализа - обращения процессора к слову в кэш-памяти с ошибкой. Модель описывает сценарии реакции системы на обращение процессора к слову с ошибкой, с точки зрения дальнейшего распространения ошибки из кэш-памяти.
Основанием для построения модели служит универсальный принцип работы кэш-памяти, предполагающий пространственную и временную локальность обращений процессора в адресном пространстве. Принцип работы
Qualitative System Analysis // System Reliability Theory: Models, Statistical Methods, and Applications / M. Rausand, A. Hyland (edt.). Hoboken, NJ, USA: John Wiley & Sons, Inc., 1994. Pp. 73–147. кэш-памяти заключается в прозрачном для процессора замещении обращений в медленную основную память на обращения в быструю, но меньшую по объему кэш-память, хранящую последние запрошенные процессором данные. Кэш-попаданием называется обращение процессора, когда запрашиваемые данные находятся в кэш-памяти. Кэш-промахом называется обращение процессора, когда запрашиваемые процессором данные необходимо загрузить из основной памяти . Используется два независимых пространства элементарных исходов: (запись, чтение) с вероятностью записи pwrite и (кэш-промах, кэш-попадание) с вероятностью кэш-промаха pmiss. Поэтому, например, вероятность того, что очередное обращение будет кэш-попаданием по чтению, равна (1 -Pwrite)(1 -Pmiss). Примем допущение, что в случае необходимости исправления ошибки, если в памяти верхнего уровня хранится копия слова, кэш-контроллер выполняет восстановление слова с ошибкой, используя эту копию слова.
Первым барьером защиты от ошибок выступает реализованная избыточность, которая позволяют обнаруживать и/или исправлять ошибки. Тогда, в зависимости от количества накопленных к моменту обращения ошибок, возможно несколько исходов, заключающихся в том, что эти ошибки: не могут быть обнаружены, что может привести к распространению ошибки за пределы кэш-памяти, т.е. в вычислительный процесс или в память верхнего уровня (необнаруженный информационный отказ); могут быть обнаружены и требуют применения средств борьбы с последствиями ошибок на уровне системы (обнаруженный информационный отказ); могут быть замаскированы и/или исправлены реализованными способами введения избыточности.
Вероятности реакций при обращении к тэгу с ошибками
Представленная в главе 2 методика позволяет получить множество аналитических моделей для произвольного способа введения избыточности в кэш-память. В начале этой главы для иллюстрации предложенного подхода показан пример получения частной модели для одного из распространенных вариантов организации кэш-памяти – при использовании кодирования, исправляющего одну ошибку и обнаруживающего до двух ошибок, когда, однако, исправляемая ошибка только маскируется, оставаясь в памяти. В продолжение главы представлены результаты анализа функции уязвимости процессора к одиночным сбоям в кэш-памяти, которые получены с использованием аналитических моделей, сгенерированных предложенным методом. Анализ дополнен оценкой эффективности способов помехоустойчивого кодировании для кэш-памяти, позволяющей сформулировать рекомендации по проектированию надежного процессора с кэш-памятью. Полученные результаты дополнены рекомендациями по использованию имитационного моделирования для получения быстрых оценок в ходе проектирования.
Выполним описанные в разделе 2.2.7 шаги. Здесь и далее, в разделе 3.1.2, использованы обозначения, введенные в разделе 2.2.
Опишем последовательность событий, приводящих к обнаруживаемому информационному отказу. Считаем, что в начальный момент времени слово содержит ошибку. При любых обращениях к этому слову, если не происходит самовосстановление, то выполняется маскирование и ошибка продолжает оставаться в памяти. Тогда информационный отказ при обращении может возникнуть после появления второй ошибки в этом слове, если за все время после возникновения первой ошибки не произошло самовосстановление. На рисунке 9 звездочками на оси дискретных событий х показаны моменты возникновения ошибки - начало отсчета 0 и точка j. Вертикальная стрелка показывает обращение по адресу слова с ошибкой, которое приводит к информационному отказу. Штриховка сверху оси показывает отсутствие информационных отказов; а штриховка снизу оси показывает отсутствие самовосстановления. Получается, что отказ произойдет на z-ом обращении, когда перед-ым обращением возникнет повторная ошибка, если только /-ое обращение приведет к информационному отказу (предыдущие i-j обращений не привели к отказу), но предыдущие /-1 обращений не привели к самовосстановлению. информационный отказ без информац. отказа без самовосстановления-/ 0 j і
Вероятность возникновения случайного события q (информационного отказа) на z-ом обращении определяется выражением p(q = herr = j) = (pA(n)-pword fail)x x(1 - PA (n) /W " /W (") PbL recover Г x (48) (1 PA (П) PWord_fall - PA (П) PWord_recoVer - Pblock (П) PTock_recoVer ) , где вероятность возникновения ошибки между обращениями (/-1) иJ равна: РеГГ О) = Fe„ (jt0)- Ferr ((j - 1)t0). (49) Усреднив вероятность безотказной работы при наличии повторной ошибки за / шагов, получаем вероятность отказа на /-ом обращении: p(q = і) = % p{q = i,err = j) perr (j). (50) Тогда показатель уязвимости может быть определен следующим суммированием: VF(k) = %Mp(q = i,err = jyPm(j). (51) 3. Для ускорения расчетов произведем переход от дискретного к непрерывному времени. Тогда, пренебрегая одним тактом, вероятность того, что отказ возникнет в момент времени ТІ = it0, можно записать следующим образом: П(Т Т \ п (тЛ п -(PA{"}Prdrecover+Pblock{"}PUockrecover)Tj/t0 .. P(1i,1j)=PA\n)-Pvoni_faa-e - - X 4. Пусть время наблюдения от момента возникновения ошибки равно t. Тогда, интегрируя имеющееся выражение по времени, получаем вероятность того, что появившаяся в слове ошибка приведет к отказу за время наблюдения: VF(t,n) = 1\lferr(TJ)p(TiJj)dTjdT. (53) 00 1. Опишем последовательности событий, приводящих к информационному отказу. Для упрощения примера рассматривается кэш-память только с одним набором (а= 1, т.е. кэш-память прямого отображения). Считаем, что в начальный момент запись таблицы тэгов содержит ошибку.
Воспользуемся описанием сценариев, представленных в форме деревьев событий в таблицах 5, 6 и 7. Обнаруженный информационный отказ возможен как после накопления двух ошибок, которые могут быть обнаружены, так и после накопления трех ошибок в случае множественного попадания. Соответствующие временные диаграммы представлены на рисунках 9 и 10.
Экспериментальное исследование
Исходные коды разработанных модулей саботажника, контроллера подключения к процессору и соответствующих драйверов размещены в открытом репозитории . Разработанные модули поддерживают оснащение синхронной и асинхронной однопортовой памяти и простой двухпортовой памяти. Для выбранной конфигурации кэш-памяти (с 32-разрядным массивом строк размером 512 байт) для микросхемы семейства Cyclone V аппаратные затраты на реализацию саботажника составляют 114 логических блоков типа ALUT и 76 регистров, включая два 32-разрядных регистра маски и данных, 7-разрядный регистр адреса и 5 регистров для кодирования конечного автомата.
Дополнительно разработан модуль профилирования, позволяющий определить число кэш-промахов и число операций записи. Модуль профилирования позволяет определить характеристики исполняемой программы, необходимые для выполнения сравнения с результатами аналитических оценок. Результаты профилирования хранятся в паре 32-разрядных регистров в СнК, для наблюдения за значениями которых использован встроенный логический анализатор SignalTap II Logic Analyzer. (Оснащение модулем профилирования не является обязательным для проведения экспериментов по внесению неисправностей.)
Система также оснащена необходимыми для проведения экспериментов 32-разрядными таймерами fi_timer и wd_timer.
Запуск экспериментов и получение результатов на инструментальном компьютере реализуется как консольный ввод/вывод с использованием имитации последовательного канала связи со стендом через отладочное соединение по интерфейсу jtag. Для реализации консольного режима через отладочное соединение используется среда Nios II Software Build Tools for Eclipse.
Таким образом, в аппаратной части предложенной методики автономного внесения неисправностей на базе ПЛИС не требуются дополнительные ресурсы встроенной памяти СнК или логические ресурсы для реализации управляющей логики эксперимента.
Информационная составляющая методики внесения неисправностей определяется, как указано в разделе 1.4.3, множеством данных FARM.
Множество вносимых неисправностей F формируется наборами случайных, равномерно распределенных величин, определяющих время, адрес в памяти и битовую маску вносимого сбоя. Формирование необходимых значений осуществляется с помощью программного генератора псевдослучайных чисел.
В качестве множества активаторов A, определяющих функциональную нагрузку системы, выступают исполняемые процессором тестируемые программы. Для выполнения сравнения с результатами аналитических оценок используется синтетическая вычислительная нагрузка, обеспечивающая максимально приближенное к равномерному распределение адресов обращений процессора в кэш-память данных, и гарантирующая обнаружение распространения ошибки. Для обеспечения измерения показателя уязвимости в предельном режиме тестируемая программа выполняется в цикле необходимой длины.
Для определения результатов эксперимента контролируется корректность завершения тестируемой программы и выполняется сравнение образа памяти программ и данных в результате эталонного запуска и после внесения ошибки. Выполняется классификация последствия внесения сбоя по следующим традиционно выделяемым типам: сбой не повлиял на выполнение программы, если тестируемая программа завершилась без исключений и образ памяти после завершения совпадает с эталонным, сбой изменил результат выполнения программы, если тестируемая программа завершилась без исключений, но образ памяти после завершения не совпадает с эталонным, сбой изменил ход выполнения программы, если в ходе выполнения тестируемой программы сгенерировано исключение или программа не смогла завершиться самостоятельно.
Множество результатов экспериментов R формируется статистическим распределением последствий внесения сбоя по указанным типам. Полученные результаты в табулированном виде отправляются в консоль на инструментальном компьютере для последующей обработки оператором эксперимента. Реализованы следующие варианты формирования данных эксперимента: краткий -показывающий соотношение исходов в серии экспериментов, подробный -дополнительно показывающий результат каждого эксперимента в серии, и подробный, дополненный результатами сравнения образа памяти тестируемой программы с эталонным.
Показатель уязвимости, как элемент множества M получаемых в результате анализа характеристик системы, определяется как соотношение результатов первого типа относительно общего числа экспериментов.
Таким образом, данные из подмножества FAR располагаются в памяти тестируемого процессора, и только подмножество M формируется вручную оператором, выполняющим экспериментальное исследование.
Разработанная методика внесения неисправностей для кэш-памяти использована для проверки адекватности аналитической модели, предложенной в Главе 2.
С этой целью в синтетическую вычислительную нагрузку включен параметр, позволяющий для фиксированного размера кэш-памяти менять вероятность записи и вероятность промахов при сохранении равномерного распределения обращений в память.
Таблица 16 содержит результаты проведенного эксперимента для набора из пяти синтетических тестов при размере кэш-памяти данных 512 Б. Значения вероятности промаха, вероятности записи и оценка времени работы программы получены в результате профилирования тестируемой программы. Оценка среднего времени обращения в память получена на основе результатов профилирования.
704