Серверное оборудование

Компания ComBox Technology является производителем и дистрибьютором серверного оборудования для исполнения (инференса) нейронных сетей в ЦОД.

4xVCA2 сервер

Сервер для исполнения инференса нейронных сетей с IP-видеокамер на базе 4х Intel VCA2 для Enterprise-сегмента.

Сервер для исполнения нейронных сетей и транскодинга видеопотоков для Enterprise-сегмента. До 180 потоков Full HD, 15 FPS в распознавании номеров, марок и моделей транспортных средств на скорости до 250 км/ч.

Спецификация:

  • Платформа Supermicro 1029GQ-TRT и БП 2 кВт.
  • Intel VCA 2 (VCA1585LMV), 4 шт.
  • Модули памяти в Intel VCA2, Kingston DDR4 SO-DIMM 8Gb, 24 шт.
  • Модули памяти в платформу, Kingston ECC REG 16Gb, 8 шт.
  • SSD M.2 Intel 660p Series, 1Tb, 1 шт.
  • CPU Intel Xeon Silver 4414 Skylake 2,2GHz, LGA3647, L3 14080Kb, 2 шт.

8xNUC сервер, rev.1

Сервер для исполнения инференса нейронных сетей с IP-видеокамер на базе 8x Intel NUC для корпоративного сегмента.

Сервер для исполнения нейронных сетей Corporate-сегмента. До 80 потоков Full HD, 15 FPS в распознавании номеров, марок и моделей транспортных средств на скорости до 250 км/ч.

Спецификация:

  • Intel NUC8i5BEK (без корпуса с доработанной системой охлаждения), 8 шт.
  • Модули памяти DDR4 SO-DIMM AMD Radeon R7 Performance, 8 Гб, 8 шт.
  • Дополнительные модули памяти DDR4 SO-DIMM Kingston, 4 Гб, 8 шт.
  • SSD M.2 накопитель WD Green, 240Gb, 8 шт.
  • Корпус 1U (собственного производства).
  • Маршрутизатор MikroTik RB4011iGS+RM (без корпуса с доработанной системой охлаждения), 1 шт.
  • Соединительные провода (патч-корды), 11 шт.
  • БП IBM 94Y8187, 550 Вт.

Сервер представляет собой решение в форм-факторе 1U с N шт. SBC с инференс-акселератором, расположенными внутри, которые объединены друг с другом на сетевом уровне. В собранном прототипе используется 8 шт. Intel NUC8i5BEK и Ethernet 1000 BASE-T. GPU выступает в роли инференс-акселератора и может быть использован совместно с процессором общего назначения для оптимизации полезной работы.

ComBox 8x Intel NUC сервер для инференса нейронных сетей

Основное назначение — совмещенный инференс нейронных сетей на GPU и CPU. Инференс — это непрерывное исполнение нейронных сетей на конечном аппаратно-программном устройстве.

Сейчас для инференса используются специализированные ПЛИС (FPGA), GPU и процессоры общего назначения CPU. Текущие решения на CPU — это серверные материнские платы с 1 или 2 слотами под установку процессоров, например, семейства Intel Xeon. В случае использования CPU, инференс выполняется на логических ядрах процессора, число которых равно числу физических ядер или, при наличии Hyper-threading, увеличено вдвое. Современные многоядерные процессоры являются очень дорогими, а промышленных решений на базе 1 материнской платы с 3-мя и более слотами не существует. Инференс на GPU является значительно эффективнее, чем инференс на CPU, а совместное использование CPU и GPU позволяет увеличить производительность в 3-5 раз. В рамках нашего решения 1U NxSBC удалось многократно сократить стоимость инференса на единицу потока за счет применения SBC с GPU, объединенных на сетевом уровне (NAT). При установке 8-ми SBC в 1U получается 64 логических ядра и 8 GPU, что в данном форм-факторе представляет наилучший показатель.

Одним из вариантов использования решения является распознавание объектов, полученных из видеопотока "на лету" (объектовая аналитика). Вход, в этом случае, чаще всего, представляет собой потоковые данные. На 1 SBC можно направить N потоков, которые далее на сетевом уровне распределяются между конечными исполнительными устройствами для проведения полезной работы (инференса).

Состав сервера: корпус 1U RAC, 8xNUC8BEK by Intel c GPU и модернизированной под серверный формат воздушной активной системой охлаждения, 1 маршрутизатор 1 Гбит/сек, 8 портов внутри, 2 снаружи (основной uplink и резервный вход), блок питания 600Вт, система управления активным воздушным охлаждением.

Один сервер содержит 8 процессоров общего назначение Intel Core i5 8-го поколения и 8 GPU Iris Plus 655. В рамках одного сервера получается 64 логических ядра процессоров общего назначения и встроенные GPU для решения сложных задач. Все устройства загружаются по сети, без использования HDD. Все события в системе логируются и передаются оператору через мессенджер.

8xNUC сервер для инференса


Преимущества решения:

  • Высокая плотность установки CPU и GPU для серверных решений (32 ядра, 64 потока на 8CPU и 8GPU в корпусе 1U).
  • Низкая себестоимость при высокой плотности CPU и GPU на 1U.
  • Низкое энергопотребление (до 500Вт при 100% нагрузке).
  • Горячее резервирование вычислительных узлов на сетевом уровне.
  • Аппаратное декодирование видеопотоков.
  • Возможность резервирования блока питания.
  • Наличие возможности разделения инференса между CPU и GPU.
  • Возможность одновременной работы с различными типами данных (INT8/FP16/FP32).
  • Наличие визуальной системы мониторинга состояния вычислительных узлов.
  • Возможность соблюдения SLA до 0.9999.
  • Наличие централизованной системы управления вычислительными узлами.
  • Наличие высокопроизводительного аппаратного сопроцессора по декомпрессии и компрессии потоков.

Примеры применения сервера в инференсе нейронных сетей:

  • распознавание лиц (идентификация в СКУД, формирование половозростных портретов в ритейле, розыскные мероприятия и т.п.);
  • распознавание марок/моделей ТС (подсчет, статистика, дополнительная мета к номерным знакам);
  • распознавание номерных пластин (в системах фото/видео-фиксации, розыскных мероприятиях);
  • подсчет пассажиропотоков (учет нагрузки, кол-во вошедших/вышедших).

8xNUC сервер, rev.2

Обновленная версия сервера на базе 8хIntel NUC для инференса нейронных сетей под управлением Intel OpenVINO. Основные отличия:

  • 2 БП с возможностью горячей замены
  • Горячая замена вычислительных модулей
  • Дисплей и управление вычислительными узлами на передней панели

PCIe 64xMyriadX Board

Плата для инференса нейронных сетей в ЦОД на базе чипов Intel MyriadX. Форм-фактор - PCIe x8, 8 блейд лезвий по 8 чипов MyriadX на каждом. Управление и инференс выполняется под управлением Intel OpenVINO.

Данное решение - это полноразмерная несущая плата PCIe x4 и 8-ю блейдами, в рамках каждого из которых установлено по 8 чипов Myriad X MA2485. Фактически, это блейд система на шине PCIe, где в рамках несущей платы может быть установлено от 1 до 8 планок по 8 ускорителей инференса на каждой. В итоге - это промышленное масштабируемое решение с высокой плотностью VPU для сегмента Enterprise. Все блейды в системе отображаются как множество плат HDDL по 8 ускорителей на каждом. Это позволяет задействовать множество как под инференс одной задачи с множеством входящих потоков, так и под множество разных задач.

В решении используется PLX на 12 линий PCIe, 8 из которых идут на 8 блейдов, по одной линии на каждый, а 4 на материнскую плату. Далее, каждая линия идёт на PCIe-USB свич, где 1 порт используется для соединения, а 8 проброшены на каждый подключенный Myriad X.

Общее энергопотребление платы с 64 чипами не превышает 100 Вт, но допускается в том числе и последовательное подключение нужного числа блейдов, что пропорционально сказывается и на энергопотреблении.

Итого в рамках одной полноразмерной платы PCIe мы имеем 64 Myriad X, а в рамках серверного решения на платформе, например, от Supermicro 1029GQ-TRT, 4 платы в форм-факторе 1U, т.е. 256 чипов Myriad X для инференса на 1U.

Если сравнивать решение на базе Myriad X с nVidia Tesla T4, то разумно рассматривать топологию ResNet50, в которой VPU дает 35 FPS. Итого мы имеем 35 FPS/Myriad X * 64 штуки = 2240 FPS/плата и 8960 FPS/сервер 1U, что сравнимо с показателями batch=1 nVidia Tesla V100, при стоимости ускорителя на Myriad X значительно меньше. Не только стоимость показывает целесообразность использования Myriad X в инференсе, а в том числе, возможность параллельного инференса различных нейронных сетей, а также эффективность в части тепловыделения и энергопотребления.

Вернуться на главную
Благодарим за Ваше обращение!
Наш специалист свяжется с Вами в самом ближайшем будущем чтобы обсудить вопросы взаимодействия.