Содержание к диссертации
Введение
Глава 1. Анализ разработок доверенных вычислительных комплексов 19
1.1 Электронные компоненты и реализация доверенных вычислительных комплексов 19
1.1.1 Положение на мировом рынке и доверенность оборудования 19
1.1.2 Оценка разработок 21
1.1.3 Экспортный контроль и индикаторы планирования 23
1.1.4 Классификация электронных компонент 25
1.1.5 Микросхемы процессоров и периферийных контролеров 27
1.1.6 Микросхемы программируемой логики 29
1.2 Аппаратно-программная платформа «Эльбрус» 31
1.2.1 Основные проблемы информационно-телекоммуникационной
отрасли 31
1.2.2 Управление параллелизмом операций 33
1.2.3 Динамическая компиляция и оптимизация 35
1.2.4 Технология защищенного исполнения программ 38
1.3 Анализ многопроцессорных вычислительных комплексов 40
1.3.1 Факторы развития вычислительных комплексов 41
1.3.2 Результаты исследования завершенных разработок 42
1.3.3 Основные проблемы проектирования 45
1.3.4 Методологии разработки модулей 50
1.4 Выводы 52
Глава 2. Выполнение многокритериальной оптимизации 54
2.1 Оптимизация элементов конструкции 54
2.1.1 Используемые подходы и методы оптимизации 54
2.1.2 Структуры многопроцессорного модуля 56
2.1.3 Составные части, этапы и условия их оптимизации 60
2.2 Разработка таблицы выводов серверного процессора 61
2.2.1 Анализ методов разработки таблиц выводов 62
2.2.2 Примеры таблиц выводов фирм Intel и AMD 63
2.2.3 Метод определения параметров таблицы выводов 66
2.2.4 Таблица выводов процессора Эльбрус-4C 68
2.2.5 Оценка метода для определения параметров таблицы выводов 72
2.3 Конденсаторы сети питания серверного процессора 73
2.3.1 Целевой импеданс сети питания 73
2.3.2 Процессы в частотных контурах 75
2.3.3 Паразитная индуктивность 77
2.3.4 Реализации процессоров в корпусе BGA и LGA 80
2.3.5 Метод определения высокочастотных конденсаторов 83
2.3.6 Экспериментальные исследования 84
2.4 Выводы 86
Глава 3. Планирование трассировки 88
3.1 Методы планирования периферии кристалла и трассировки корпуса 88
3.1.1 Критерии при планировании периферии кристалла 88
3.1.2 Регулярное размещение всех типов выводов 90
3.1.3 Нерегулярное размещение выводов земли и питания 91
3.1.4 Двухрядная периферия кристалла 92
3.1.5 Шахматный порядок выводов 93
3.1.6 Чередование выводов однотипных интерфейсов 94
3.1.7 Вращение физических уровней интерфейсов 95
3.2 Применение средств проектирования корпуса микросхемы 96
3.2.1 Функциональность и состав средств проектирования 98
3.2.2 Средства проектирования 99
3.2.3 Метод формирования и оценки топологических рисунков 102
3.2.4 Результаты топологической трассировки 104
3.2.5 Применение 3D моделей 107
3.3 Создание символов для микросхем модуля 110
3.3.1 Тенденции в проектировании 110
3.3.2 Пример взаимодействия систем проектирования 112
3.3.3 Процесс создания символов 113
3.3.4 Создание правил назначения сигналов выводам микросхем 116
3.4 Выводы 118
Глава 4. Обеспечение итеративной отработки решений 121
4.1 Прототипы на основе программируемой логики 121
4.1.1 Функциональная верификация серверных процессоров 121
4.1.2 Обзор аппаратных ускорителей 122
4.1.3 Задачи прототипирования 124
4.1.4 Этапы разработки аппаратуры прототипа 125
4.1.5 Особенности реализации прототипа процессора 126
4.1.6 Разработки прототипов 129
4.2 Стенд тестирования и разбраковки 131
4.2.1 Структурная схема многопроцессорного модуля 131
4.2.2 Требования сквозного проектирования 133
4.2.3 Типовой блок процессора
4.2.3 Четырехпроцессорный модуль 136
4.2.4 Сокет в составе стенда 138
4.3 Методы итеративной отработки решений 139
4.3.1 Метод проработки интерфейсов 140
4.3.2 Метод проработки типовых блоков процессора 142
4.3.3 Проработка компонентов модуля 145
4.4 Выводы 148
Глава 5. Проектные решения для многопроцессорных модулей 150
5.1 Разработка металлополимерного корпуса 150
5.1.1 Особенности разработки 150
5.1.2 Материалы, структура и нормы проектирования 152
5.1.3 Подбор матрицы выводов 154
5.1.4 Применение средств проектирования 156
5.2 Разработка металлокерамического корпуса 160
5.2.1 Конструкция микросхемы процессора 160 5.2.2 Металлокерамические материалы 162
5.2.3 Проектирование таблицы выводов 164
5.3 Конструкции и применение многопроцессорных модулей 167
5.3.1 Комплексы общего применения 167
5.3.2 Компоновка модулей унифицированной конструкции 174
5.3.3 Комплексы специального применения 176
5.4 Выводы 179
Заключение 181
Литература и ссылки
- Положение на мировом рынке и доверенность оборудования
- Составные части, этапы и условия их оптимизации
- Регулярное размещение всех типов выводов
- Обзор аппаратных ускорителей
Введение к работе
Актуальность темы исследования.
В современных условиях большое значение имеет внедрение отечественной вычислительной техники в различных сферах экономики и обороноспособности страны. Важной нишей рынка вычислительной техники являются многопроцессорные вычислительные комплексы (серверы) с общей памятью. Разработка таких доверенных комплексов как специального, так и общего назначения на основе микросхем многоядерных процессоров и контроллеров российской разработки является краеугольной задачей импортозамещения вычислительной техники для обеспечения информационной безопасности систем управления государственного значения. Вместе с тем, чтобы вычислительные комплексы были конкурентоспособными, необходимо разрабатывать и изготавливать их в короткие сроки и с высоким качеством.
Мировой опыт разработки модулей на основе сложно-функциональных микросхем предполагает использование автоматизированных средств конструкторско-технологической разработки, позволяющие выполнить следующее:
оптимизация трасс соединений под кристаллом и микросхемой;
создание модели и визуализация конечной электронной аппаратуры;
применение множества способов представления соединений;
оптимизация выводов микросхемы на основе ограничений;
автоматизация разработки библиотеки компонент;
интеграция множества проектов для элементов конструкций.
В развитие теории и практики конструкторско-технологической разработки электронного модуля на основе сложно-функциональных микросхем внесли значительный вклад такие известные ученые, как Дж. Льениг, Ханг-Минг Чен, Т. Мейстер, Г. Томке, Дж. Парк, Л. Хи, Ш. Элассаад и другие. Среди российских ученых важный вклад в развитие принципов конструкторско-технологической разработки внесли Б. А. Бабаян, В. Б. Бетелин, В. С. Бурцев, Г. Г. Рябов, А. Л. Стемпковский, В. А. Шахнов и многие другие.
Исследование существующих методов конструкторско-технологической разработки модулей, основанных на использовании систем автоматизации проектирования, показало их неполноту, в частности для решения следующих взаимосвязанных задач разработки многопроцессорных модулей:
выполнение многокритериальной оптимизации;
планирование трассировки модуля;
обеспечение итеративной проработки проектных решений;
определение эффективной компоновки модуля.
Кроме того, ряд проектных решений, таких как результаты компоновки и трассировки многопроцессорного модуля с учетом требований устойчивости к механическим, климатическим, электромагнитным и другим воздействиям
зачастую эффективнее осуществлять и принимать с использованием натурных экспериментов. Методы совместного использования натурных экспериментов на макетах и модельных расчетов при проектировании многопроцессорных модулей в открытой печати не обнаружены.
Таким образом, актуальной становится разработка взаимосвязанных
научно-обоснованных технических решений на этапах конструкторско-
технологической разработки многопроцессорных модулей с целью сокращения
сроков проектирования и достижения высоких потребительских свойств и
характеристик аппаратуры отечественных вычислительных комплексов,
внедрение которых вносит значительный вклад в развитие экономики и обороноспособности страны. Особенностью выполненных исследований является то, что при ограниченных сроках разработки вычислительного комплекса на основе микросхем процессоров российской разработки после выпуска инженерных образцов микросхем процессоров требуется за минимальное время получить вариант модуля на их основе. Для выполнения этого требования разработка многопроцессорного модуля вычислительного комплекса проводится одновременно с разработкой микросхемы процессора. При этом оптимальные конструктивные решения для многопроцессорного модуля и микросхемы процессора достигаются только при условии сквозного конструкторско-технологического проектирования.
Объект и предмет исследования
Объектом исследования является высокопроизводительные
вычислительные комплексы на основе многоядерных микросхем процессоров. Предмет исследования – многопроцессорные модули и методы их разработки с учетом современных технологий изготовления и критериев проектирования.
Цель и задачи диссертационной работы
Целью диссертационной работы является изложение научно-обоснованных
технических решений для конструкторско-технологической разработки
многопроцессорных модулей вычислительных комплексов, внедрение которых
вносит значительный вклад в развитие страны и повышение ее
обороноспособности. Достижение поставленной цели предусматривает решение следующих задач:
-
Исследование серийно изготавливаемых многопроцессорных модулей и критериев их проектирования, позволяющих улучшить основные технические характеристики и сократить сроки разработки импортозамещающих высокопроизводительных вычислительных комплексов.
-
Определение структур многопроцессорного модуля в виде взаимосвязанных составных частей и комплекса критериев их проектирования с учетом технологий изготовления.
-
Разработка методов сквозного проектирования составных частей многопроцессорного модуля.
-
Применение комплекса критериев и новых методов при совместной разработке многопроцессорных модулей и микросхем многоядерных высокопроизводительных процессоров в их основе.
-
Разработка эффективной компоновки унифицированных модулей для многопроцессорных вычислительных комплексов специального применения.
-
Разработка многопроцессорных модулей с применением средств автоматизации проектирования и вспомогательного оборудования, включая средства проектирования российской разработки, прототипы, а также стенды тестирования и разбраковки микросхем процессоров.
-
Разработка многопроцессорных модулей с применением методов выполнения многокритериальной оптимизации, планирования трассировки и обеспечения итеративной проработки проектных решений.
-
Реализация многопроцессорных вычислительных комплексов различного применения на основе разработанных модулей с использованием современных стандартов для конструкторско-технологического проектирования аппаратуры вычислительных устройств.
Методология и методы исследования
Для решения поставленных задач в диссертации применялись принципы и методы системного анализа, теории принятия управленческих решений, многокритериальной оптимизации, проектирования интегральных схем и электронной аппаратуры с применением современных систем автоматизации проектирования.
Научная новизна
Научная новизна работы заключается в теоретическом анализе методов и
обобщении практики конструкторско-технологической разработки
многопроцессорных модулей вычислительных комплексов, создании
эффективных структур, процедур анализа и синтеза многопроцессорных модулей на основе микросхем многоядерных процессоров российской разработки. В диссертации получены следующие основные результаты, характеризующиеся научной новизной:
1. Предложены конструктивные структуры многопроцессорного модуля с
элементами конструкции микросхемы процессора, в виде взаимосвязанных составных частей, которые отличаются от существующих тем, что позволяют применить морфологический подход, методы расширения и сужения вариантов проектных решений в рамках многокритериальной оптимизации с учетом технологических процессов изготовления и критериев проектирования.
-
Разработана совокупность методов сквозного проектирования составных частей многопроцессорного модуля, учитывающая в отличие от известных методов, как взаимное планирование этих частей, так и итеративную проработку проектных решений на этапах проектирования микросхемы процессора.
-
Разработаны средства проектирования и методы работы с ними для составных частей многопроцессорного модуля, отличающиеся от существующих тем, что включают автоматизацию выполнения планирования трассировки с учетом реализации модуля на основе микросхем многоядерных процессоров.
-
Впервые предложена компоновка модулей унифицированной конструкции, расширяющая в отличие от существующих типов компоновок возможности масштабирования вычислительного комплекса по количеству многоядерных процессоров, оперативной памяти и периферийных интерфейсов.
Теоретическая и практическая значимость и внедрение результатов работы
Разработанные в работе взаимосвязанные научно обоснованные
технические решения нашли применение при создании с участием автора многопроцессорных модулей вычислительных комплексов на основе микросхем многоядерных процессоров с архитектурой «Эльбрус» и «SPARC v9».
Лично автором разработаны структуры многопроцессорного модуля с
элементами конструкции микросхемы процессора и методы сквозного
проектирования составных частей многопроцессорного модуля. Их
теоретическая значимость определяется расширением методов разработки
многопроцессорных модулей на класс высокопроизводительных
вычислительных комплексов (серверов) и сведением разработки аппаратуры таких комплексов к созданию многопроцессорных модулей в их основе под установку в корпуса (шасси) нестандартных конструкций.
Применение взаимосвязанных решений позволило в среднем на 20% сократить сроки разработки многопроцессорных модулей и проведения комплексного тестирования вычислительных комплексов, в два раза сократить номенклатуру модулей многопроцессорных вычислительных комплексов специального применения и в среднем на 25% снизить их себестоимость при серийном изготовлении. Получен патент на вычислительный модуль и многопроцессорную крейтовую систему из этих модулей.
С применением разработанных технических решений реализованы варианты четырехпроцессорных модулей вычислительных комплексов на основе микросхем процессоров с ядрами оригинальной архитектуры «Эльбрус». Вариант вычислительного комплекса Эльбрус-4.4, конструктором которого является автор работы, отмечен первой премией конкурса «Золотой чип – 2015» в номинации «За успехи в импортозамещении». Другим результатом,
полученным автором работы в качестве главного конструктора является разработка системы автоматизации проектирования «ЛВВ». Данная система используется в процессе разработки многопроцессорных модулей. Получено свидетельство о регистрации программы для ЭВМ.
В соответствии с государственной стратегией импортозамещения
компонентов и процессорных модулей вычислительной комплексов для систем
управления, выполненная работа непосредственно связана с научными
исследованиями предприятия ПАО «ИНЭУМ им. И.С. Брука» и является
значимой для повышения обороноспособности страны ввиду создания на основе
полученных в ней результатов высокопроизводительных отечественных
вычислительных комплексов. Соискатель проводил исследования в рамках
«Приоритетных направлений развития науки, технологий и техники РФ»,
утвержденных указом Президента Российской Федерации от 07 июля 2011 г.
№899 и государственной программы «Развитие электронной и радиоэлектронной
промышленности на 2013-2025 годы», утвержденной распоряжением
Председателя Правительства Российской Федерации от 15 декабря 2012 г. №2396р.
Созданные в работе многопроцессорные модули вычислительных
комплексов, ответственным исполнителем которых является автор работы,
используются в составе более десяти опытных и серийных систем управления и
приняты на снабжение, как для общего, так и для специального применения в
комплексах противовоздушной и противоракетной обороны, гидроакустических
системах перспективных подводных лодок и надводных кораблей.
Потребителями многопроцессорных модулей и вычислительных комплексов на
их основе являются системные концерны российской оборонной
промышленности ПАО «НПО «Алмаз» им. академика А.А. Расплетина», АО «Концерн «Моринформсистема-Агат».
Соответствие паспорту специальности.
Диссертационная работа соответствует паспорту научной специальности 05.13.15 – «Вычислительные машины, комплексы и компьютерные сети» и относится к области исследований «Теоретический анализ и экспериментальное исследование функционирования вычислительных комплексов с целью улучшения их технико-экономических и эксплуатационных характеристик».
Достоверность научных положений и выводов
Достоверность обеспечивается учетом основных условий разработки
модулей на основе высокопроизводительных микросхем многоядерных
процессоров, применением общепринятых математических методов
оптимизации, использованием из практики аналитических и эмпирических
данных, включающих критерии проектирования. Достоверность
подтверждается результатами разработок корпусов многоядерных процессоров, периферийных контроллеров и широкой номенклатуры многопроцессорных
модулей на их основе, актами внедрения с положительными результатами эксплуатации.
На защиту диссертации выносятся:
-
Структуры многопроцессорного модуля с элементами конструкции микросхемы процессора в виде взаимосвязанных составных частей, которые используются для разработки многопроцессорных модулей с сокращением сроков их разработки и улучшением технических характеристик.
-
Этапы совместного выполнения сквозного конструкторско-технологического проектирования микросхемы процессора и многопроцессорного модуля с условиями оптимизации проектных решений.
-
Разработанные в работе средства проектирования составных частей многопроцессорных модулей, позволяющие учесть ограничения современных технологий и критерии проектирования.
-
Расчетно-аналитические методы проектирования корпуса микросхемы процессора с учетом планирования периферии ее кристалла и многопроцессорного модуля.
-
Топологические методы проектирования периферии кристалла для микросхемы процессора с учетом планирования трассировки ее корпуса и применения разработанных средств проектирования.
-
Экспериментальные методы компоновки составных частей многопроцессорного модуля при создании вспомогательной аппаратуры на этапах проектирования микросхемы процессора с целью обеспечения итеративности проработки проектных решений.
-
Компоновка модулей унифицированной конструкции с выводом каналов межпроцессорного обмена для возможности масштабирования вычислительного комплекса по количеству многоядерных процессоров, оперативной памяти и периферийных интерфейсов.
-
Результаты экспертизы и промышленного внедрения разработок многопроцессорных модулей вычислительных комплексов на основе высокопроизводительных микросхем многоядерных процессоров и контроллеров периферийных интерфейсов российской разработки.
Апробация работы
Материалы диссертации докладывались и обсуждались на 19
международных, всероссийских, региональных и межвузовских конференциях и
симпозиумах: международная конференция «Микроэлектроника-2015»
(г.Алушта, Крым, 2015), International Conference on Advanced Technology & Sciences, ICAT (Antalya, Turkey, 2015); IХ международной научно-практической конференции «Современные информационные технологии и ИТ-образование»
(Москва, 2014); ХХI международной научно-практической конференции
«Перспективы развития информационных технологий» (Новосибирск, 2014);
57-й всероссийской научной конференции МФТИ «Актуальные проблемы
фундаментальных и прикладных наук в современном информационном
обществе» (Москва, 2014); 7-я Всероссийская межвузовская научно-
практическая конференция «Актуальные проблемы информатизации в науке,
образовании и экономике» (Москва, 2014); XI Международный симпозиум
«Интеллектуальные системы» (Москва, 2014); международная молодежная
научная конференция XL «Гагаринские чтения» (Москва, 2014),
I Всероссийская научно-техническая конференция «Расплетинские чтения» (Москва, 2013) и многих других.
Публикации по теме диссертации По материалам диссертации опубликовано 39 печатных работ, в том числе 14 статей в рецензируемых журналах, рекомендованных ВАК РФ, патенты и свидетельство о регистрации программы для ЭВМ. Список публикаций приведен в конце автореферата.
Структура и объём работы Диссертационная работа состоит из введения, пяти глав, заключения и списка литературы из 106 позиций. Работа содержит 233 стр., включая 19 таблиц и 56 рисунков.
Положение на мировом рынке и доверенность оборудования
Система экспортного контроля США с 2010 года претерпевает изменения с целью минимизировать ограничения для полупроводниковой электронной промышленности, но с одновременным эффективным повышением контроля над наиболее важными из электронных компонент [5]. Многим странам, в том числе России, ограничивается применение коммерческой вычислительной техники и комплектующих для ряда специальных применений. В частности, правилами ограничивается использование коммерческих электронных компонент и полупроводниковых кристаллов в системах вооружения, включающего любые ракетные комплексы и системы.
Важность контроля над коммерческими поставками иллюстрируется тем фактом, что такие поставки позволяют минимизировать затраты. В соответствии с правилами государственных закупок США (Federal Acquisition Regulation System) для большинства ведомств обязательно применение вычислительных устройств коммерческого применения (Commercial Offhe-Shelf) в случае соблюдения возможных условий: требований по надежности и сервису, обеспечения долгосрочных поставок, информационной безопасности [6].
В последнее время правила экспортного контроля стали широко распространяться на современные фабрики и их инфраструктуру, путем запрета на создание специальных изделий двойного назначения [7]. В то же время, импортозамещение многих зарубежных электронных компонент продукцией российской разработки (с полным циклом изготовления) невозможно из-за
технологического отставания существующих фабрик и их инфраструктуры. Такое положение обусловлено также тем, что оборудование для ряда передовых технологий также попадает под ограничения экспортного контроля [8]. Другой проблемой является то, что для небольшого спроса на микросхемы с нетипичным температурным диапазоном работоспособности или радиационной стойкостью требуются специализированные технологические процессы. Существует устойчивый спрос из-за ограничений экспортного контроля, но объема такого спроса без выпуска микросхем массового применения недостаточно для непрерывной загрузки современных фабрик.
С целью развития высокотехнологичных отраслей необходимо, чтобы российские разработки перспективных электронных компонент были востребованы при создании широкого спектра модулей и систем. В текущей ситуации — это невозможно без определённого протекционизма. Для грамотного выстраивания системы государственной поддержки, в сложившейся непростой ситуации целесообразно выделить основные направления развития и индикаторы для оценки разработок вычислительных устройств.
При этом следует учитывать, что из-за технологического отставания российских фабрик сложно или невозможно получить на них продукцию с характеристиками, приемлемыми для решения задач по созданию информационной инфраструктуры органов государственной власти, современного вооружения или стратегических производств. В связи с этим, ведущие российские производители вычислительной техники ведут полный цикл разработки сложно-функциональных электронных компонентов с последующим их изготовлением на передовых зарубежных фабриках.
С точки зрения информационной безопасности, важно выделить приоритет развития доверенных вычислительных устройств. Требование доверенности не ограничивает разработчиков в выборе площадки для производства, позволяя достигать конкурентного уровня характеристик продукции при сохранении её применимости для решения задач, значимых с точки зрения государства.
Предлагается выделить следующие или направления государственной поддержки или индикаторы планирования: 1. развитие доверенных систем различного назначения и их повсеместное внедрение; 2. развитие собственных архитектур или доверенных платформ с обоснованием их эффективности; 3. развитие и внедрение программного обеспечения российской разработки или доверенного программного обеспечения; 4. применение продукции российской разработки, а также возможного российского изготовления вместо импортных электронных компонент, попадающих под ограничения экспортного контроля; 5. обеспечение значительных объемов выпуска и качественного сервисного обслуживания импортозамещающих вычислительных систем.
Современный модуль на основе микросхемы многоядерного процессора состоит из порядка сотни типов компонентов. Примерно половина типов - это, как правило, чип-компоненты в виде резисторов и конденсаторов различных номиналов. Из оставшейся половины приблизительно треть — это соединители, треть — это источники питания и микросхемы системы синхронизации, а оставшаяся треть - процессоры или другие системы на кристалле (SoC) высокой степени интеграции. Необходимыми компонентами для вычислительных комплексов являются также соединители и датчики в составе корпусов, соответствующих современным стандартам. К электронным компонентам вычислительных комплексов можно отнести жесткие диски, дисплеи или видеомониторы. Как правило, элементы СВЧ электроники, первичной обработки информации и силовой электроники в области вычислительной техники не рассматриваются.
Опыт разработки вычислительных комплексов показывает возможность унификации лишь размеров и типов корпусов для нескольких компонент с малым числом выводов ( 50): дискретной логики, чип-компонент, разъемов стандартных интерфейсов, микросхем синхронизации и источников питания. Электромагнитные, тепловые характеристики, вес, показатели надежности компонент унификации не подлежат, поскольку непрерывно совершенствуются. Существует основная тенденция совершенствования характеристик компонент при повышении быстродействия или пропускной способности.
Составные части, этапы и условия их оптимизации
Матрица выводов процессора IntelXeon С5500 имеет размерность 41 х 43, содержит 1366 вывода и центральную область 21x17 без выводов для размещения конденсаторов со стороны выводов. Габариты микросхемы составляют 42,5 мм х 45 мм, а шаг между выводами равен 1,016 мм по горизонтали и вертикали. Над центральной областью располагается кристалл процессора микроархитектуры Nehalem с габаритами 18,9 мм х 13,6 мм, выполненный по технологическим нормам 65 нм.
Назначение сигналов процессора IntelXeon С5500 выполнено в рамках четырех основных зон. Нулевая зона определена для выводов основного питания
и земли кристалла, а первая зона для трех каналов быстродействующей памяти типа DDR3 с планируемым расположением планок памяти с одной стороны от микросхемы. В первой зоне выводы земли распределены равномерно среди выводов байтов памяти, а выводы питания памяти распределены равномерно среди выводов адреса, команд и управления. При трассировке вычислительного модуля для каждого канала памяти требуется всего один слой. Вторая зона предназначена для канала межпроцессорного обмена, тогда как третья зона - для каналов ввода-вывода. Выводы между нулевой и второй, а также нулевой и третьей зонами являются выводами сигналов управления, синхронизации и диагностики.
Матрица выводов процессора IntelXeon Е5-2400 имеет размерность 43 х 57, содержит 2011 вывода и центральную область 24 х 17 без выводов для размещения конденсаторов со стороны выводов. Габариты микросхемы составляют 45 мм х 52,5 мм. При заданной размерности матрицы такие габариты получаются путем расположения выводов в шахматном порядке с шагом 1,016 мм по горизонтали и 0,8814 мм по вертикали. Над центральной областью располагается кристалл процессора микроархитектуры Sandy Bridge с габаритами 20,9 мм х 20,8 мм, выполненный по технологическим нормам 32 нм.
Назначение сигналов процессора IntelXeon Е5-2400 выполнено в рамках пяти основных зон. Нулевая зона определена для выводов основного питания и земли кристалла. Первая и вторая зона предназначены для четырех каналов быстродействующей памяти типа DDR3, по два канала памяти в каждой и с планируемым расположением планок памяти с двух сторон от микросхемы. Выводы земли и байтов памяти распределены в этой зоне сотами, тогда как выводы питания памяти распределены равномерно среди выводов адреса, команд и управления. При трассировке вычислительного модуля для каждого канала памяти требуется не менее двух слоев. Третья зона предназначена для каналов ввода-вывода, тогда как четвертая зона - для каналов межпроцессорного обмена. Выводы между третьей и четвертой зонами являются выводами сигналов управления, синхронизации и диагностики.
В результате анализа таблиц выводов с размещением кристаллов для популярных многоядерных процессоров, представленных на рисунке 2.2.1, выявлены следующие критерии проектирования таблицы выводов: наличие зоны для выводов основного питания и земли от границы микросхемы до границы кристалла; наличие зоны, свободной от сигнальных выводов, для расположения над ней кристалла, а также размещения конденсаторов со стороны выводов; наличие расстояния около миллиметра между выводами или сквозными переходными отверстиям под микросхемой, которое позволяет провести на любом слое модуля две трассы с зазором и шириной 100 мкм; наличие выводов земли/питания в соседних к сигнальным выводам позициях матричного корпуса; наличие зон выводов и зон коммутационной платы корпуса для различных интерфейсов микросхемы процессора; возможность трассировки каналов памяти, каналов межпроцессорного обмена, каналов ввода-вывода, сигналов управления, синхронизации и диагностики при использовании количества слоев печатной платы модуля, не превышающего числа каналов оперативной памяти микросхемы процессора; наличие фильтрации подводимого питания путем выделения выводов земли и питания аналоговых схем и их подключения к фильтрам на модуле; возможность размещения периферии кристалла, с минимизацией длины трасс на коммутационной плате корпуса.
Аналогичные проектные решения реализованы для процессора AMD Opteron 6100. Отличие от микросхем процессоров от Intel состоит только в расположении выводов основного питания, помещенных среди сигнальных выводов межпроцессорных каналов и канала ввода-вывода. Таблица выводов этого процессора с размещением двух кристаллов представлена на рисунке 2.2.2.
Матрица выводов процессора AMD Opteron 6100 имеет размерность 40 57, содержит 1944 вывода и центральную область 27 10 без выводов для размещения конденсаторов со стороны выводов. Габариты микросхемы составляют 42,5 мм 60 мм, а шаг между выводами равен 1 мм по горизонтали и вертикали. Над центральной областью располагаются два одинаковых кристалла процессора микроархитектуры Istanbul с габаритами 18,9 мм 13,6 мм каждый, выполненные по технологическим нормам 65 нм.
Назначение сигналов выполнено в рамках двух основных зон. Нулевая зона определена для выводов четырех каналов быстродействующей памяти типа DDR3 с планируемым расположением планок памяти с одной стороны от микросхемы. В этой зоне выводы земли распределены равномерно среди выводов байтов памяти, а выводы питания памяти распределены равномерно среди выводов адреса, команд и управления. При трассировке вычислительного модуля для каждого канала памяти требуется не менее одного слоя. Первая зона предназначена для каналов межпроцессорного обмена и ввода-вывода, а также для выводов основного питания и земли. Выводы между нулевой и первой зонами являются выводами сигналов управления, синхронизации и диагностики.
Регулярное размещение всех типов выводов
Обзор аппаратных ускорителей
Разработка коммутационной платы корпуса состоит из этапов создания электрической схемы, размещения кристалла и трассировки. В свою очередь, трассировка коммутационной платы может быть разделена на описанные ниже этап трассировки уходом (escape routing) из-под кристалла, этап топологической трассировки (topological routing) и этап детальной трассировки (detailed routing) с соблюдением технологических норм для высокой плотности трасс [55]. Поддержка этапов создания электрической схемы с размещением кристалла, а также этапа трассировки уходом реализованы в менеджере назначения. Выполнение этапа топологической трассировки и этапа детальной трассировки обеспечивается редактором коммутационной платы. Разработка простых механических конструкций корпуса в FCPacker не предусмотрена.
В различных маршрутах проектирования корпус микросхемы представляется таблицей выводов (матрицей корпуса). Редактор матрицы корпуса предназначен для разработки представления микросхемы при проектировании материнской многослойной печатной платы и модуля на её основе до выпуска проектируемой микросхемы. С помощью редактора можно сформировать матрицу выводов корпуса, создать группы интерфейсных сигналов, а также назначить сигналы на выводы микросхемы с учетом минимизации количества слоев материнской платы и выполнения требований целостности сигналов. Выходные данные редактора матрицы корпуса используются как для маршрута проектирования материнской печатной платы, так и для разработки коммутационной платы корпуса.
Планировщик выводов кристалла предназначен для размещения периферийных элементов ввода/вывода кристалла (I/O cells) и соответствующих им контактных площадок под выводы кристалла (bump pads), включая выводы земли и питания. При размещении контактных площадок используются заранее подготовленные шаблоны расположения выводов (bump patterns) относительно периферийных элементов. Их примеры представлены на рисунке 3.2.3. Рисунок 3.2.3. Примеры возможных вариантов шаблонов.
Существуют возможности автоматической расстановки контактных площадок согласно выбранным шаблонам для всего кристалла или только в указанной области. В процессе выполнения этих операций планировщик позволяет выполнить автоматическую проверку результатов в соответствии с заданными правилами проектирования. Выходные данные планировщика используются как для выполнения других этапов проектирования кристалла в целом, так и для разработки корпуса микросхемы.
Менеджер назначения сигналов используется для установления соответствия между выводами кристаллов и выводами корпуса при произвольном размещении на коммутационной плате кристаллов и компонентов навесного монтажа и их вращении относительно центра. Результат его работы представляется в виде диаграммы назначения. Пример диаграммы назначения с одним кристаллом и несколькими конденсаторами приведён на рисунке 3.2.4.
С помощью менеджера назначения можно в автоматическом и ручном режимах создать соединения между выводами кристалла и выводами корпуса, выделить различные секторы земли/питания и провести автоматическую трассировку уходом. Такая трассировка выполняется от контактных площадок под выводы кристалла до точек на слоях коммутационной платы вне контура кристалла (точек ухода, escape points). Для этого используются заранее подготовленные шаблоны трасс ухода (escape patterns) для рядов выводов кристалла или целого интерфейсного блока. Также имеется возможность создать шаблоны трасс ухода и точки ухода от выводов корпуса под кристаллом, что используется почти во всех проектах микросхем многоядерных процессоров. Точки ухода для выводов корпуса и автоматизация их применения являются отличительной особенностью FCPacker от аналогов. Пример шаблона трасс и точек ухода как для выводов кристалла, так и для выводов корпуса показан на рисунке 3.2.5.
В случае проведения трассировки уходом соединения будут создаваться между точками ухода, точками ухода и выводами кристалла и корпуса. Диаграмма назначения позволяет оценить связанность выводов кристалла и корпуса, внести необходимые коррективы в размещение периферийных элементов и выводов кристалла и подобрать оптимальные трассы ухода, чтобы минимизировать количество слоев коммутационной платы и выполнить требования целостности сигналов. Выходными данными менеджера назначения являются расположение всех компонентов в корпусе, список соединений и трассы ухода. Кроме того, промежуточными выходными данными могут быть задания для топологической трассировки отдельных слоев коммутационной платы или сегментов слоя, выполняемой в средстве проектирования TopoR.
Редактор коммутационной платы предназначен для детальной трассировки коммутационной платы корпуса. С его помощью можно в ручном режиме создать трассы заданной ширины и под заданными углами, выполнить межслойные переходы, нарезать сегменты земли/питания. Возможно провести полуавтоматическое выравнивание трасс согласно требованиям к интерфейсам, а также выполнить заливку свободных участков слоёв металлом и расставить вентиляционные отверстия. В процессе выполнения этих операций возможно осуществлять проверку технологических норм, заданных правилами проектирования. Существует и возможность создать 3D модели областей коммутационной платы для их детальной визуализации и диагностики ошибок проектирования. Выходной информацией редактора коммутационной платы являются файлы послойной топологии и файлы переходных отверстий для последующего изготовления коммутационной платы.
Размещение контактных площадок на кристалле и трассировка уходом от них на коммутационной плате хоть и имеют различные реализации в разных системах проектирования, но всё же являются общепринятыми методами. В то же время, использование топологической трассировки слоёв коммутационной платы в промышленных средствах проектирования является новым методом. Впервые эта задача сформулирована в работе [56]. Для выполнения требований целостности сигналов трассировка от каждой точки ухода до окрестности соответствующего вывода корпуса должна выполняться без межслойных переходов (vias). В работе [56] также представлен и алгоритм топологической трассировки, но без достаточной оценки качества топологического рисунка в каждом сигнальном слое, что является необходимым условием использования в промышленных средствах проектирования.
Во многом топологический рисунок является дополнением диаграммы назначения и больше подходит для планирования трассировки коммутационной платы корпуса при сборке методом перевернутого кристалла (flip-chip).