Серверное оборудование
Компания ComBox Technology является производителем и дистрибьютором серверного оборудования для исполнения (инференса) нейронных сетей в ЦОД.
4xVCA2 сервер
Сервер для исполнения инференса нейронных сетей с IP-видеокамер на базе 4х Intel VCA2 для Enterprise-сегмента.
Сервер для исполнения нейронных сетей и транскодинга видеопотоков для Enterprise-сегмента. До 180 потоков Full HD, 15 FPS в распознавании номеров, марок и моделей транспортных средств на скорости до 250 км/ч.
Спецификация:
- Платформа Supermicro 1029GQ-TRT и БП 2 кВт.
- Intel VCA 2 (VCA1585LMV), 4 шт.
- Модули памяти в Intel VCA2, Kingston DDR4 SO-DIMM 8Gb, 24 шт.
- Модули памяти в платформу, Kingston ECC REG 16Gb, 8 шт.
- SSD M.2 Intel 660p Series, 1Tb, 1 шт.
- CPU Intel Xeon Silver 4414 Skylake 2,2GHz, LGA3647, L3 14080Kb, 2 шт.
8xNUC сервер, rev.1
Сервер для исполнения инференса нейронных сетей с IP-видеокамер на базе 8x Intel NUC для корпоративного сегмента.
Сервер для исполнения нейронных сетей Corporate-сегмента. До 80 потоков Full HD, 15 FPS в распознавании номеров, марок и моделей транспортных средств на скорости до 250 км/ч.
Спецификация:
- Intel NUC8i5BEK (без корпуса с доработанной системой охлаждения), 8 шт.
- Модули памяти DDR4 SO-DIMM AMD Radeon R7 Performance, 8 Гб, 8 шт.
- Дополнительные модули памяти DDR4 SO-DIMM Kingston, 4 Гб, 8 шт.
- SSD M.2 накопитель WD Green, 240Gb, 8 шт.
- Корпус 1U (собственного производства).
- Маршрутизатор MikroTik RB4011iGS+RM (без корпуса с доработанной системой охлаждения), 1 шт.
- Соединительные провода (патч-корды), 11 шт.
- БП IBM 94Y8187, 550 Вт.
Сервер представляет собой решение в форм-факторе 1U с N шт. SBC с инференс-акселератором, расположенными внутри, которые объединены друг с другом на сетевом уровне. В собранном прототипе используется 8 шт. Intel NUC8i5BEK и Ethernet 1000 BASE-T. GPU выступает в роли инференс-акселератора и может быть использован совместно с процессором общего назначения для оптимизации полезной работы.
Основное назначение — совмещенный инференс нейронных сетей на GPU и CPU. Инференс — это непрерывное исполнение нейронных сетей на конечном аппаратно-программном устройстве.
Сейчас для инференса используются специализированные ПЛИС (FPGA), GPU и процессоры общего назначения CPU. Текущие решения на CPU — это серверные материнские платы с 1 или 2 слотами под установку процессоров, например, семейства Intel Xeon. В случае использования CPU, инференс выполняется на логических ядрах процессора, число которых равно числу физических ядер или, при наличии Hyper-threading, увеличено вдвое. Современные многоядерные процессоры являются очень дорогими, а промышленных решений на базе 1 материнской платы с 3-мя и более слотами не существует. Инференс на GPU является значительно эффективнее, чем инференс на CPU, а совместное использование CPU и GPU позволяет увеличить производительность в 3-5 раз. В рамках нашего решения 1U NxSBC удалось многократно сократить стоимость инференса на единицу потока за счет применения SBC с GPU, объединенных на сетевом уровне (NAT). При установке 8-ми SBC в 1U получается 64 логических ядра и 8 GPU, что в данном форм-факторе представляет наилучший показатель.
Одним из вариантов использования решения является распознавание объектов, полученных из видеопотока "на лету" (объектовая аналитика). Вход, в этом случае, чаще всего, представляет собой потоковые данные. На 1 SBC можно направить N потоков, которые далее на сетевом уровне распределяются между конечными исполнительными устройствами для проведения полезной работы (инференса).
Состав сервера: корпус 1U RAC, 8xNUC8BEK by Intel c GPU и модернизированной под серверный формат воздушной активной системой охлаждения, 1 маршрутизатор 1 Гбит/сек, 8 портов внутри, 2 снаружи (основной uplink и резервный вход), блок питания 600Вт, система управления активным воздушным охлаждением.
Один сервер содержит 8 процессоров общего назначение Intel Core i5 8-го поколения и 8 GPU Iris Plus 655. В рамках одного сервера получается 64 логических ядра процессоров общего назначения и встроенные GPU для решения сложных задач. Все устройства загружаются по сети, без использования HDD. Все события в системе логируются и передаются оператору через мессенджер.
Преимущества решения:
- Высокая плотность установки CPU и GPU для серверных решений (32 ядра, 64 потока на 8CPU и 8GPU в корпусе 1U).
- Низкая себестоимость при высокой плотности CPU и GPU на 1U.
- Низкое энергопотребление (до 500Вт при 100% нагрузке).
- Горячее резервирование вычислительных узлов на сетевом уровне.
- Аппаратное декодирование видеопотоков.
- Возможность резервирования блока питания.
- Наличие возможности разделения инференса между CPU и GPU.
- Возможность одновременной работы с различными типами данных (INT8/FP16/FP32).
- Наличие визуальной системы мониторинга состояния вычислительных узлов.
- Возможность соблюдения SLA до 0.9999.
- Наличие централизованной системы управления вычислительными узлами.
- Наличие высокопроизводительного аппаратного сопроцессора по декомпрессии и компрессии потоков.
Примеры применения сервера в инференсе нейронных сетей:
- распознавание лиц (идентификация в СКУД, формирование половозростных портретов в ритейле, розыскные мероприятия и т.п.);
- распознавание марок/моделей ТС (подсчет, статистика, дополнительная мета к номерным знакам);
- распознавание номерных пластин (в системах фото/видео-фиксации, розыскных мероприятиях);
- подсчет пассажиропотоков (учет нагрузки, кол-во вошедших/вышедших).
8xNUC сервер, rev.2
Обновленная версия сервера на базе 8хIntel NUC для инференса нейронных сетей под управлением Intel OpenVINO. Основные отличия:
- 2 БП с возможностью горячей замены
- Горячая замена вычислительных модулей
- Дисплей и управление вычислительными узлами на передней панели
Скачать спецификацию на плату ComBox NUC server
PCIe 64xMyriadX Board
Плата для инференса нейронных сетей в ЦОД на базе чипов Intel MyriadX. Форм-фактор - PCIe x8, 8 блейд лезвий по 8 чипов MyriadX на каждом. Управление и инференс выполняется под управлением Intel OpenVINO.
Скачать спецификацию на плату ComBox x64 Movidius Blade Board
Данное решение - это полноразмерная несущая плата PCIe x4 и 8-ю блейдами, в рамках каждого из которых установлено по 8 чипов Myriad X MA2485. Фактически, это блейд система на шине PCIe, где в рамках несущей платы может быть установлено от 1 до 8 планок по 8 ускорителей инференса на каждой. В итоге - это промышленное масштабируемое решение с высокой плотностью VPU для сегмента Enterprise. Все блейды в системе отображаются как множество плат HDDL по 8 ускорителей на каждом. Это позволяет задействовать множество как под инференс одной задачи с множеством входящих потоков, так и под множество разных задач.
В решении используется PLX на 12 линий PCIe, 8 из которых идут на 8 блейдов, по одной линии на каждый, а 4 на материнскую плату. Далее, каждая линия идёт на PCIe-USB свич, где 1 порт используется для соединения, а 8 проброшены на каждый подключенный Myriad X.
Общее энергопотребление платы с 64 чипами не превышает 100 Вт, но допускается в том числе и последовательное подключение нужного числа блейдов, что пропорционально сказывается и на энергопотреблении.
Итого в рамках одной полноразмерной платы PCIe мы имеем 64 Myriad X, а в рамках серверного решения на платформе, например, от Supermicro 1029GQ-TRT, 4 платы в форм-факторе 1U, т.е. 256 чипов Myriad X для инференса на 1U.
Если сравнивать решение на базе Myriad X с nVidia Tesla T4, то разумно рассматривать топологию ResNet50, в которой VPU дает 35 FPS. Итого мы имеем 35 FPS/Myriad X * 64 штуки = 2240 FPS/плата и 8960 FPS/сервер 1U, что сравнимо с показателями batch=1 nVidia Tesla V100, при стоимости ускорителя на Myriad X значительно меньше. Не только стоимость показывает целесообразность использования Myriad X в инференсе, а в том числе, возможность параллельного инференса различных нейронных сетей, а также эффективность в части тепловыделения и энергопотребления.
Вернуться на главную