Ускорение ресурсоемкой обработки данных
Your Algorithm In Silicon

Использование передовой реконфигурируемой аппаратуры массивно-параллельной архитектуры intelfpga для ускорения ресурсоемкой обработки данных.
Синтез собственной системы на кристалле для каждой конкретной ускорительной функции – максимальная аппаратная производительность и минимальное потребление.
Обучение

Ускорение ресурсоемкой обработки данных

Область успешных применений платформы: Облачные вычисления и разгрузка центрального процессора в центрах обработки данных, ускорение параллельных вычислений и обработки больших данных, машинное обучение и нейронные сети, системы хранения и архивации данных, системы связи и телекоммуникаций, DPI, VPN туннелирование, системы безопасности и DDoS защиты, финансовые расчеты и анализ, высокочастотный трейдинг, HFT цифровая обработка сигналов, видео и изображений итд.

Известные мировые примеры применения FPGA является ускорение облачных сервисов Azure компанией Microsoft, ускорение обработки интернет запросов компанией Bing, выполнение финансовых прогнозов компанией JP Morgan, вычислительный центр в Израиле Novo-G, вычислительный центр в Техасе TACC, облачные сервисы Amazon, Baidu и Huaiwei итд итп.

Сжатие данных GZIP (EulerLine)
GZIP-EulerLine

Сжатие и восстановление данных алгоритмом Gzip.

Использование FPGA-ускорителя для сжатия и восстановления данных значительно повышает пропускную способность и производительность системы, по сравнению с производительным процессором.

EulerProject предлагает ускоритель EulerLine c подготовленной реализацией GZIP для использования в ЦОДе, например для целей компрессии огромных log файлов.

Полностью аппаратное stand-alone решение, полная разгрузка серверного CPU.

Пропускная способность компрессии текстовой информации 1.5ГБ в сек (пиковая до 2.8ГБ в сек), что примерно в 10x раз выше мощного процессора Intel.

Встраиваемые решения (Embedded)

Встраиваемые FPGA-платформы для ресурсоемкой обработки данных.
Специализированная система-на-кристалле SOC, выполняющая ваши ресурсоемкие задачи.

Синтезируемые и реконфигурируемые в FPGA ядра параллельной обработки данных и периферийный набор позволяют полностью удовлетворить меняющиеся требования заказчика и достичь высокой производительности, сравнимой с заказной микросхемой ASIC. По своей сути, FPGA являются платформой для прототипирования ASIC, на базе которых разработчики проектируют системы на кристалле, процессорные системы, IP-модули и периферийные блоки. Если у устройств на базе ASSP или ASIC выбор процессорных ядер, периферии и IP модулей строго определен или “заморожен в кремнии”, то благодаря самой архитектуре и реконфигурируемым возможностям, в массив FPGA интегрируются любые функции обработки, синтезируется любые периферийные модули и IP-блоки. Ограничением только является логическая емкость ПЛИС. Более того, все эти функции можно реконфигурировать (изменять, дополнять, заменять, исправлять) как в процессе самой разработки прототипа, так и в процессе работы устройства у заказчика «в поле» без внесения изменения в аппаратный конструктив платформы. Более того, наличие встроенной аппаратной процессорной системы ARM Cortex A9 и законченной интеграции средств разработки и отладки в маршрут проектирования, позволяют создавать передовые гетерогенные встраиваемые вычислительные системы на кристалл и удовлетворять требованиям высокопроизводительных и специализированных приложений. Благодаря таким версиям SOC FPGA (system-on-chip), на одной микросхеме можно реализовать и процессор, выполняющим команды и функции управления, и параллельную ресурсоемкую обработку данных. Решения EulerProject на SOC FPGA имееют поддержку стандарта OpenCL, что позволяет абстрагироваться от трудоемкого маршрута проектирования ПЛИС и специфичных языков описания аппаратуры. Таким образом, благодаря пакету поддержки платы OpenCL BSP от EulerProject построение собственной высокопроизводительной системы-на-кристалле для встраиваемой вычислительной системы доступно любому программисту Си. Также предлагаются, специализированные видео модули, облегчающие конструирование передовых систем видеонаблюдения и видео-аналитики.

Нейронные сети и машинное обучение

Глубокое обучение (Deep Learning), машинное обучение (Mashine Learning), интенсивно использующие вычислительные ресурсы, находятся на переднем крае инженерных исследований.

EulerProject ведет разработку собственной универсальной вычислительной платформы "Эйлер" в форм-факторе PCIe (full-size и halfsize) на базе современной ПЛИС IntelFPGA 20нм с поддержкой стандарта OpenCL. Производительность одной платы до 1.5TFLOPS, поддержка входных и выходных потоков данных 1GE, 10GE, 40GE, поддержка различных типов памяти (DDR3/4, RLDRAM, QDR4), высокая энергоэффективность по сравнению с GPU (потребление одной платы 30-50Вт). На начальном этапе создания нейронных сетей рекомендуем использовать Intel® Deep Learning Inference Accelerator совместно с Intel Caffe.

Компания Euler Project является официальным поставщиком в РФ ускорителей Intel® Deep Learning Inference Accelerator. Заказы принимаются с декабря 2017г. Базовый срок поставки 2 месяца. На первые заказы действуют скидки.

Искусственный интеллект

Искусственный интеллект (ИИ) – это, несомненно, будущее вычислений

Аппаратно FPGA Arria 10 обеспечивает до 40 GFLOPS на ватт. ПЛИС Arria 10 располагает несколькими тысячами аппаратных блоков DSP с аппаратной поддержкой плавающей точкой IEEE754. Используется поддержка технологии программирования OpenCL, что позволяет абстрагироваться от трудоемкого и специфичного HDL, для кодирования. Реализация стандарта OpenCL на ПЛИС IntelFPGA имеет ряд технологических особенностей, позволяющих нивелировать узкое место передачи через внешнюю память и организовать потоковый доступ в вычислительное ядро (например, через интерфейс Ethernet) и позволяет ядрам (kernel) передавать данные напрямую друг другу, организовывая конвейерную обработку внутри самой ПЛИС. Благодаря этим улучшениям в функциональности аппаратного и программного обеспечения, Arria 10 способна превзойти существующие платформы на основе графических процессоров. В тестах, выполненных Microsoft с использованием IntelFPGA Arria 10 для реализации сверточной нейронной сети CNN, команда наблюдала значительный прирост производительности (примерно 30-кратный) по сравнениями с реализациями на GPU при меньшем энергопотреблении на порядок.

Выполнение более быстрых и эффективных вычислений позволяет разрабатывать передовые приложения. Глубокое обучение и другие приложения, интенсивно использующие вычислительные ресурсы, находятся на переднем крае исследований. Да, безусловно, графические процессоры смогли раньше занять данную нишу, поэтому они зачастую используются в центрах обработки данных. Выход производительных ПЛИС на рынок решений для центров обработки данных позволит удовлетворить будущие потребности передовых ЦОД в росте вычислительных возможностей и снижении энергопотребления.

Машинное обучение

Машинное обучение становится быстрее и доступнее.

Машинное обучение становится быстрее и доступнее. Наши клиенты используют большие наборы данных для создания умных городов, обеспечения работы интеллектуальных автомобилей и оказания персональных медицинских услуг... И это только начало.

Специалисты по обработке данных, разработчики и исследователи используют машинное обучение для получения ранее недоступной аналитической информации. Самообучающиеся программы помогают этим специалистам изучать работу генома человека, анализировать поведение покупателей и, помимо прочего, создавать рекомендательные системы, системы распознавания изображений и способы предотвращения мошенничества. Теперь вы можете быстро масштабировать свои системы для машинного и глубинного обучения и ускорить получение аналитической информации, используя существующую аппаратную инфраструктуру. Популярные платформы с открытым кодом, недавно оптимизированные для Intel, совместно с нашими передовыми математическими библиотеками делают платформы на базе архитектуры Intel® оптимальным инструментом для подобных проектов.

Успешные проекты FPGA

Поиск Bing оптимизировали с помощью нейросети на FPGA.

В проектировании серверной инфраструктуры для обработки поисковых запросов у каждой компании есть свои ноу-хау. Например, Microsoft в последние годы активно экспериментирует с использованием FPGA (Field-Programmable Gate Array, программируемые пользователем вентильные матрицы).

Для поисковой системы Bing инфраструктура ранжирования разделена на три части: выделение признаков (feature extraction), обработка выражений в свободной форме (free-form expressions) и вычисление результата системой машинного обучения (machine learning scoring). Если верить результатам, опубликованным в научной работе, то в стандартных тестах по классификации изображений ImageNet 1K и ImageNet 22K нейросеть от Microsoft превосходит предыдущие варианты дизайна на FPGA примерно в три раза. В этих двух тестах Catapult Server + Stratix V D5 осуществляет классификацию со скоростью 134 и 91 изображение в секунду, соответственно.

В то же время, существенно улучшены показатели в затратах джоулей на картинку, по сравнению с разными GPU, оптимизированными для этой задачи. Таким образом, серверы Microsoft смогут работать эффективнее и дешевле, чем серверы на стандартных GPU.


В течение последних нескольких лет Microsoft применяет технологии FPGA на всех серверах Azure, создавая, таким образом, реконфигуруемое облако для оптимизации разнообразного набора приложений и функций. Подобное настраиваемое облако обеспечивает более эффективное ( по сравнению с обычными процессорами) выполнение многочисленных сценариев. Сегодня Microsoft уже использует FPGA для ранжирования поиска Bing, оценки нейронной сети (DNN) и ускорения работы с сетью (SDN). Сеть на основе FPGA от Azure уменьшает задержку расчетов и передачи данных более чем в 10 раз, освобождая процессоры для других задач.

Подробно
Ускорение баз данных, IoT

Специалисты по-разному оценивают происходящие изменения. Одни говорят о новой, теперь уже четвертой промышленной революции и переходе к Индустрии 4.0.

Мировой рынок больших данных стабильно растет. Данные создаются лавинообразными темпами. Стремительно приближается время Интернета вещей, когда трафик, сгенерированный машинами, превысит интернет-трафик,сгенерированный людьми. Стали уже повседневностью облачные вычисления, о перспективах которых так многорассуждали всего лишь несколько лет назад.

Мир стремительно дигитализируется, цифровые технологии проникают во все сферы нашей жизни. Специалисты по-разному оценивают происходящие изменения. Одни говорят о новой, теперь уже четвертой промышленной революции и переходе к Индустрии 4.0. Другие, что если отбросить шум маркетологов, то в сухом остатке останется все та же старая, хорошо известная АСУ ТП, и речь просто идет об ее эволюции.

Произошел хорошо описанный Гегелем в философии переход количества в качество. Собираемых данных стало очень много, в том числе из-за значительного снижения стоимости датчиков. Резко упала стоимость хранения данных. В соответствии с законом Мура устойчиво продолжается увеличение мощности компьютеров при снижении их стоимости. Вычислительные мощности, которые обходились в 1955 г. в 10 долл., в 1965-м стоили 10 центов и стоят одну миллиардную цента сегодня. Так, использование технологий больших данных позволило американским страховым компаниям перейти от вероятностной оценки групп к оценке конкретных лиц. Стало экономически эффективным рассчитывать вероятные результаты о здоровье на индивидуальной основе и отказывать людям со слабым здоровьем. В США бизнес-модель медицинского страхования перешла от охвата максимального количества людей к минимальному количеству и продаже страховки только здоровым людям, тем, кто не нуждается в здравоохранении.

Ресурсоемкая обработка видео, изображений, видео-аналитика

Решения на ПЛИС IntelFPGA для ресурсоемкой обработки видео.

Решения на ПЛИС IntelFPGA востребованы индустрией встраиваемых решений видеоаналитики – это такие сферы применения, как распознавание номеров автомобилей, лиц, объектов, перемещения и классификации объектов итд. Команда EulerProject протестировала алгоритм оптического потока п методу Люкаса-Канаде для детектирования движения на своем модуле SOM EULER  для встраиваемых платформ, причем код реализовывался при помощи технологии OpenCL, модуль размером чуть более кредитной карточки и потреблением менее 3Вт, обрабатывал оптический поток разрешением HD SDI фреймрейтом 50 кадров в сек. И это при неполной загрузке ресурсов модуля. Сегодня, подобные решения востребованы в системах автомобильных системах помощи водителю ADAC, и в дальнейшем для создания беспилотного автомобиля. Напомним, что на модуле стоит система-на-кристалле SOC FPGA на базе аппаратной процессорной системы ARM Cortex A9 и массива логики Cyclone-V FPGA, тем самым один модуль способен независимо вести задачи мультимедии, GPS навигатора на двух ядерной процессорной части, в то время как массив FPGA независимо осуществляет расчет радаров, лидаров для детектирования пешеходов и мониторинга слепых зон, видео-аналитику движения по полосам, распознавание дорожных знаков, контроль состояния водителя итд итп. При этом, свойство реконфигурируемости ПЛИС

Решения на ПЛИС IntelFPGA для ресурсоемкой обработки видео и изображений, используются в каждом профессиональном студийном видео и аудио оборудовании. В особенности, это касается обработки видео в больших разрешениях (HD, 4K), здесь и проявляются наилучшим образом свойства массивно-параллельной архитектуры ПЛИС. В связи с стремительным ростом появления различных форматов и разрешений видео-контента, продиктованным растущей популярностью пользователей социальных сетей, ресурсов с видео контентом, а также ростом мультимедийных материалов архивных центров, музеев и выставок становится актуальной и востребованной «облачная» услуга транскодирования видео-материала «на лету», а также его обработка, сортировка и анализ. Ускорители в форм-факторе PCIe EulerProject на базе IntelFPGA отвечают наилучшим образом: легкость установки стандартного форм-фактора PCIe карты в любой сервер ЦОД, массивно-параллельная обработка больших разрешений, поддержка практически всех современных мультимедиа форматов и аппаратное реконфигурирование (подключение) кодека за несколько миллисекунд. И это будет действительно аппаратный кодек («железный»), а не загрузка программного. Кроме того, ровно та же самая аппаратура имеет выдающиеся возможности классификации изображений на с помощью сверточных нейросетей (AlexNet) – последнее тестирование показало результат на одном ускорители распознавание 1,200 изображений в сек при потреблении менее 100Вт. Ожидается, что новая платформа Stratix 10 FPGA увеличит этот результат в 5 раз.

Решения на ПЛИС IntelFPGA востребованы индустрией встраиваемых решений видеоаналитики – это такие сферы применения, как распознавание номеров автомобилей, лиц, объектов, перемещения и классификации объектов итд. Команда EulerProject протестировала алгоритм оптического потока п методу Люкаса-Канаде для детектирования движения на своем модуле SOM EULER для встраиваемых платформ, причем код реализовывался при помощи технологии OpenCL, модуль размером чуть более кредитной карточки и потреблением менее 3Вт, обрабатывал оптический поток разрешением HD SDI фреймрейтом 50 кадров в сек. И это при неполной загрузке ресурсов модуля. Сегодня, подобные решения востребованы в системах автомобильных системах помощи водителю ADAC, и в дальнейшем для создания беспилотного автомобиля. Напомним, что на модуле стоит система-на-кристалле SOC FPGA на базе аппаратной процессорной системы ARM Cortex A9 и массива логики Cyclone-V FPGA, тем самым один модуль способен независимо вести задачи мультимедии, GPS навигатора на двух ядерной процессорной части, в то время как массив FPGA независимо осуществляет расчет радаров, лидаров для детектирования пешеходов и мониторинга слепых зон, видео-аналитику движения по полосам, распознавание дорожных знаков, контроль состояния водителя итд итп. При этом, свойство реконфигурируемости ПЛИС позволяет обновлять, дополнять, корректировать алгоритмы без переработки аппаратного конструктива.

DDOS защита, фаервол, SmartNIC

Современные тенденции развития DDoS-атак и защита от них с помощью систем, основанных на FPGA В настоящее время, когда политическое и экономическое напряжение в странах нарастает, информационная война уже давно идет полным ходом на просторах Интернета и на одном из первых мест стоят всеми хорошо известные DDoS-атаки.

Первое, чем отличаются DDoS-атаки 2016/2017 годов от предыдущих, так это то, что используется несколько векторов уязвимости. Так как для поражения цели и нанесения результирующего ущерба достаточно всего одного вектора, именно поэтому вероятность успешности атаки возрастает, если использовать множество векторов в одной атаке. Когда один вектор атаки будет заблокирован, атакующий злоумышленник запустит следующий. Во время же массивной атаки организация может блокировать четыре или пять атакующих векторов, но будет один вектор атаки, который не сможет быть отражен и нанесет итоговый ущерб. Мошенничество, хакерская активность, а также длинный список требований приватности привел к использованию организациями HTTPS-протокола и шифрованных коммуникаций по умолчанию. Согласно ряду исследований рынка, более 90% предприятий используют HTTPS для любого публично доступного взаимодействия по web. Обычно HTTPS-сообщения расшифровуются на очень поздней стадии внутри сети организации. Интересной особенностью на основании SSL DoS/DDoS-атак является асимметричная природа шифрования SSL, особенность которого в том, что расшифровка сообщения занимает почти в десять раз больше ресурсов, чем его шифрование. Используя эту асимметричную особенность, злоумышленники могут создать очень разрушительную атаку с относительно низкими ресурсами. Используя методы обхода систем защиты, описанные выше, атакующим, используя специальные инструменты, удается доставить вредоносные сообщения глубоко внутрь сети, где серверы и различные модули более уязвимы к высокому объему трафика для наблюдения неприемлемых задержек или полного отключения. SSL-шифрованные атаки – это новый тренд, который будет возрастать с годами и по прогнозам в 2017 году более половины DDoS-атак будут SSL-шифрованными. Система Euler Project Defence объединяет в одном решении классический IPS и автоматическую защиту от DDoS атак, работающую без вмешательства оператора при отражении атаки. Отличительными особенностями являются высокая производительность (атака может достигать 25 000 000 пакетов в секунду, и автоматически отбивается за 18 секунд!) и отсутствие ущерба работе легитимных пользователей во время атаки.

Анализ и захват трафика, DPI

Плата PCI EulerLine (ссылка) устанавливается в «разрыв» и осуществляет мониторинг всех пакетов по заданному набору правил, проходящих через ускоритель без задержки трафика на потоках 10GE, 40GE, 100GE.

Потоки, которым мы доверяем, либо решение по ним уже находится в таблице по FPGA, проходят насквозь чипа с небольшой задержкой, остальные копируются на CPU и там делается обработка. FPGA может снимать часть нагрузки с CPU и искать подозрительные сигнатуры у себя, например, по заданным правилам или алгоритму. На процессоре обрабатывается только тот трафик, который интересен — FPGA отбирает по заданным критериям пакеты (например, HTTP-запросы или SIP трафик) и копирует их на CPU, всё остальное (торренты, видео и пр.) проходят через FPGA без значительной задержки. Все эти три варианта могут быть скомбинированы в различных вариациях.

Основные сферы применений для сферы телекоммуникаций, ЦОД

  • Ускорение сетевых маршрутизаторов: DPI анализ и DDOS защита (10-100Гбит), сетевая карта с аналитикой (SmartNIC, DPI): 2M правил, строка 16-640 бит.
  • Ускорение обработки данных: Анализ транзакций и данных: до одновременных 150 млн. сравнений (строка 16-640 бит) на потоке до 100Гбит сек.
  • Прочие применения: Шифрование каналов связи 10-100ГБ, Архивация данных GZIP, Поиск данных по Фильтру Блума, ускорение SQL запросов, Восстановление (подбор) пароля.
  • Аппаратная ускорительная платформа: Вычислительные и телекоммуникационные ускорители Алмаз-СП в форм-факторе PCIe (full-size, half-size).
  • Встраиваемое аппаратное ускорительные ядра Exact Match Search Engine и Access Control List Search.
  • Вычислительная система: Гетерогенная: host - x86, PCIe ускоритель. Программирование ускорителя: baremetalHDL или под стандартом OpenCL.
  • Предполагаемая бизнес-модель кооперации: EulerProject - разработка и производство ускорительной аппаратуры, написание пакетов поддержки платы BSP OpenCL и интеграция IP ядер Exact Match Search Engine и Access Control List Search.

Системы DPI

Системы DPI предназначены для глубокого анализа трафика.

Основное преимущество глубокого анализа – выявление большего числа угроз, причем не только по явным признакам (традиционный подход определения угроз по заголовкам), но так же и по сомнительному содержанию внутри пакетов.

Потенциальные потребители DPI-систем

провайдеры мобильного и фиксированного широкополосного доступа, которые при помощи данных систем решают следующие задачи:

  • анализ трафика в сети оператора на принадлежность к определенному протоколу и/или услуге;
  • учет трафика с привязкой к протоколам и услугам;
  • управление трафиком в целях оптимального использования сетевых ресурсов;
  • предоставление дополнительных услуг (VAS);
  • ограничение доступа к ресурсам по реестру Роскомнадзора, а также предоставление услуги «Чистый Интернет».

На мировом и российском рынке представлено несколько производителей данного класса систем. Основной пласт – это исключительно программные комплексы для анализа данных. Программно-аппаратные комплексы, чья аппаратная часть изначально спроектирована с учетом особенностей использования платформы и нагрузок на основные узлы, при этом показывает значительно лучшие результаты по быстродействию систем. Таким образом, для крупных и нагруженных операторов связи предпочтительно использование именно программно-аппаратных комплексов. В РФ представлено несколько разработчиков программного DPI.

Создание универсальной совместимой с ними аппаратной платформы позволит увеличить и скорость работы данных решений, и степень их доверенности. Те отечественные комплексы, которые позиционируются как российские, в качестве аппаратных платформ используют разработки иностранных компаний, с разной степенью локализации.

Внедрение ускорителя DPI EulerLine позволит в состав российского телекоммуникационного комплекса создать базовое инфраструктурное решение, которое может производиться на территории РФ. Также данное решение может быть полезно для крупных корпоративных заказчиков, имеющих свои крупные узлы сетей передачи данных в территориально распределённой структуре, особенно использующей общие каналы связи. Оптимальный путь развития: заключение партнёрских соглашений с собственниками программных решений c использованием аппаратной платформы DPI EulerProject.

Ускорение вычислений

Успешный передовой мировой опыт: Microsoft Azure, Bing, Baidu, Amazon, IBM, Intel, NYSE, NASDAQ, JP Morgan, ЦОД Huaiwei, Селектел, Яндекс.

Решения на ПЛИС IntelFPGA.

Прототипирование, обработка сигналов
  • Моделирование мультидоменных систем
  • Исследование и оптимизация работы системы
  • Совместная работа между командами и разными континентами
  • Генерация эффективного кода
  • Исследование и оптимизация компромиссов реализации
  • Моделирование совмещенных систем
  • Автоматизация тестирования
  • Выявление проектных ошибок
  • Поддержка сертификации и Стандартов
Высокочастотный трейдинг, финансовый анализ

Высокочастотному трейдингу (HFT) уделяется большое внимание в последнее время, и он становится важнейшим игроком на финансовых рынках

Под термином HFT понимается набор техник при торговле акциями и деривативами, когда большой поток заявок отправляется на рынок с раунд-трипом меньше миллисекунды. Цель высокочастотников, это подойди к концу дня без каких-либо позиций ценных бумаг в наличии, а получать прибыль от своих стратегий покупая и продавая акции на очень высокой скорости. Исследования показывают, что HFT трейдеры держат акцию в среднем всего 22 секунды. Aite Group утверждает, что HFT оказывает существенное влияние на рынок, более чем 50% сделок по акциям в США было совершенно HFT в 2010 году, при этом рост только за 2009 год составил 70%.

HFT трейдеры используют несколько вариантов стратегий, как например — стратегия по обеспечению ликвидности, стратегия статистического арбитража и стратегия по поиску ликвидности . В стратегии по обеспечению ликвидности, высокочастотники пытаются заработать на спреде спроса-предложения(bid-ask), который отражает разницу, по которой продавцы готовы продать, а покупатели купить. Высокая волатильность и широкий bid-ask спред могут обернуться прибылью для HFT трейдера, и в то же время он становится поставщиком ликвидности и сужает bid-ask спред, как бы исполняя роль маркетмейкера. Ликвидность и маленький ask-bid спред являются важными вещами, поскольку они снижают торговые издержки и позволяют точнее определить стоимость актива. Трейдеры, которые используют арбитражные стратегии, используют корреляцию между ценами производных инструментов и их базовых активов. Стратегии по поиску ликвидности исследуют рынок в поисках крупных заявок, путем посылки небольших приказов, которые помогают обнаружить большие скрытые заявки. Все стратегии объединяет одно, для работы им требуются бескомпромиссно низкие временные задержки, поскольку только самые быстрые HFT компании в состоянии воспользоваться возникающими на рынке возможностями.

Электронная торговля акциями происходит путем посылки запросов в электронной форме на биржу. Заявки на покупку и продажу затем сопоставляются на бирже, и осуществляется сделка. Выставляемые заявки видны всем участникам торгов через так называемые фиды. Фид – это сжатый или несжатый поток данных, поставляемый в реальном времени некой независимой организацией, как например Options Price Reporting Authority (OPRA). Фид содержит финансовую информацию по акциям и передается с помощью мультикаста участникам рынка через стандартизированные протоколы, в основном через Ethernet посредством UDP. Стандартным протоколом поставки рыночных данных является Financial Information Exchange (FIX) Adapted for Streaming (FAST), который используется на большинстве бирж.

Для того чтобы добиться минимального времени задержки, HFT движок должен быть оптимизирован на всех уровнях. Для уменьшения времени задержки при передачи по сети используется collocation, когда HFT сервер устанавливается рядом со шлюзом биржи. Фид с данными должен распространятся с минимальными задержками до серверов HFT. Эффективная обработка UDP и FAST пакетов также является необходимой. И наконец, решение о создании заявки и ее передача должны осуществляется с наименьшими возможными задержками. Для достижения этих целей был разработан новый HFT движок, реализованный на плате FPGA. Благодаря использованию FPGA, появилась возможность снять нагрузку по обработке UDP и FAST с центрального процессора и перенести ее на специально оптимизированные блоки платы. В представленной системе, на аппаратном уровне реализован весь цикл обработки, за исключением принятий торговых решений, включая крайне гибкий движок с поддержкой микрокода для обработки FAST сообщений. Подход дает значительное снижение задержек более чем на 70% по сравнению с софтверными решениями и в то же время позволяет гораздо проще изменять или добавлять обработку новых протоколов, чем интегральные схемы специального назначения(Application-specific integrated circuit).

Связь с нами

АО «Алмаз-СП»
127025, Москва, ул.Образцова, д.7, строение 2
+7 (495) 221-69-21