SOIN Technology (SOINTECH) официально представила SOINAWE-RVE1300 — корпоративный высокопроизводительный сервер ИИ-инференса, разработанный совместно с ESWIN Computing. Система интегрирует четыре карты-ускорителя EBC7702-P02 (всего восемь специализированных ИИ-процессоров), выдаёт до 1520 TFLOPS в FP8 и формирует единый пул общей памяти 96 ГБ на базе интерконнекта Ethernet Mesh, позволяя запускать большие языковые модели до 80 млрд параметров или несколько моделей по 20 млрд одновременно. Сервер глубоко интегрирован с собственным движком SOIN AWE (Agentic Workflow Engine), полностью совместим с сикчуанскими (Xinchuang, отечественные ИТ) ИИ-ускорителями, а также с основными отечественными СУБД и промежуточным ПО, и поставляется в полностью частном развёртывании, при котором данные не покидают контур предприятия, — автомобилестроению и другим требовательным к безопасности отраслям предоставляется готовая к работе цифровая ИИ-основа.
Обзор продукта: стоечный 4U, созданный для инференса
SOINAWE-RVE1300 выполнен в стоечном формате 4U и несёт четыре карты-ускорителя EBC7702-P02 с восемью специализированными ИИ-процессорами в сумме. Интерконнект Ethernet Mesh образует единый пул общей памяти, опирающийся на два хостовых CPU Intel Xeon, 512 ГБ памяти DDR4-3200 ECC и 4 ТБ накопителя PCIe 4.0 NVMe. Гибкая ячеистая топология Ethernet наращивает общую память до 96 ГБ, существенно снижая требования к квантизации и повышая точность моделей. Поддерживаются сценарии «один пользователь/одна модель» и «много пользователей/много моделей»: один корпус выдерживает LLM-нагрузки корпоративного масштаба.
Ключевые спецификации
| Параметр | Значение |
|---|---|
| ИИ-ускоритель | 4 × EBC7702-P02 (8 AI processors in total) |
| Общий объём видеопамяти | 96 GB (Ethernet Mesh unified shared memory pool) |
| CPU | 2 × Intel Xeon Silver 4309Y (32 threads in total) |
| Оперативная память | 512 GB DDR4-3200 ECC RDIMM |
| Накопители | 4 TB PCIe 4.0 NVMe SSD |
| Производительность ИИ | FP8: 1520 TFLOPs; FP16: 520 TFLOPs |
| Сеть | 2 × 10G RJ45, dedicated IPMI management port |
| Порты ввода/вывода | 5 × USB 3.1 Type-A, 1 × USB 3.1 Type-C, COM, VGA |
| Блок питания | 1+1 redundant 2200 W server PSU |
| Операционная система | Ubuntu 22.04 |
| Охлаждение | All air-cooled |
Измеренная производительность LLM-инференса
Измеренная производительность инференса популярных open-source LLM на SOINAWE-RVE1300 (Batch=32, TP=8, задействованы все восемь ИИ-процессоров):
| Модель | TTFT | Скорость потока | Суммарная пропускная |
|---|---|---|---|
| Qwen 3 32B | 94 ms | 22.8 t/s | 729.6 t/s |
| QwQ 32B | 133 ms | 25.2 t/s | 806.4 t/s |
| Qwen 2.5 72B | 223 ms | 15.4 t/s | 492.8 t/s |
| DeepSeek R1 Distill Llama 3.3 70B | 159 ms | 15.9 t/s | 508.8 t/s |
| Llama 3.3 70B | 159 ms | 15.9 t/s | 508.8 t/s |
Результаты показывают устойчивую пропускную способность свыше 500 tokens/s даже на моделях класса 72B и более 729 t/s на моделях класса 32B — этого достаточно, чтобы уверенно обслуживать сотни одновременных пользователей в интеллектуальных Q&A, помощи в кодировании и поиске по знаниям.
Шесть преимуществ продукта
· Высокая вычислительная мощность: до 1520 TFLOPS (FP8) вычислений глубокого обучения на открытой архитектуре набора команд RISC-V, свободно изменяемой и сопровождаемой;
· Безопасность и надёжность: полностью open-source стек ПО без закрытых «чёрных ящиков» — код можно независимо аудировать, отвечая требованиям проверок безопасности и комплаенса;
· Гибкое масштабирование: интерконнект на стандартном Ethernet ломает барьеры проприетарных решений и масштабируется от 1 до тысяч узлов, позволяя построить настоящий ИИ-суперкомпьютер экза-масштаба;
· Гибкость ПО: полный стек от высокоуровневых фреймворков до «железа», сочетающий удобство разработки с глубокой оптимизацией оборудования;
· Высокая производительность: собственный формат BLOCKFP даёт точность, близкую к классической плавающей запятой, сокращая на 50 % требования к пропускной способности памяти и хранилищу, резко ускоряя обработку данных на том же оборудовании;
· Высокая экономичность: высокая плотность вычислений, энергоэффективность и гибкое горизонтальное масштабирование снижают аппаратные, энергетические и эксплуатационные затраты крупных ИИ-развёртываний на всём жизненном цикле.
Глубокая интеграция с движком SOIN AWE: агенты «из коробки»
SOINAWE-RVE1300 поставляется с предустановленным собственным движком SOIN AWE (Agentic Workflow Engine). AWE превращает отраслевые графы знаний, логику бизнес-процессов и паттерны принятия решений предприятия в переиспользуемые технологические агентные активы. В сочетании с высокопроизводительным инференсом RVE1300 предприятия могут быстро создавать агентные приложения для НИОКР, производства и бизнес-аналитики — не выстраивая ИИ-инфраструктуру с нуля — получая интегрированный стек «вычислительный фундамент + агентный движок».
Полная совместимость с экосистемой сикчуан (Xinchuang)
Для предприятий, работающих в среде сикчуан (программная инновация отечественного ИТ), SOINAWE-RVE1300 поддерживает гибкую комплектацию сикчуанскими ИИ-ускорителями и прошёл адаптацию совместимости с основными отечественными СУБД, серверами приложений и сообщениями/кэш-промежуточным ПО:
· СУБД: Oracle, DM (Dameng), KingbaseES, GBase, Shentong (OSCAR), Huawei GaussDB;
· Серверы приложений: TongWeb, BES, Apusic;
· Сообщения промежуточного ПО: TongLINK/Q, Apache Kafka, RabbitMQ;
· Кэш и распределённые транзакции: Redis, Seata.
Благодаря этой адаптации RVE1300 бесшовно встраивается в существующую сикчуан-ИТ-архитектуру предприятия, продвигая одновременно импортозамещение и интеллектуальную модернизацию — без возведения новых изолированных систем и дублирования инвестиций.
Безопасность и соответствие корпоративных данных: данные не покидают контур
Для клиентов автомобильной, финансовой и государственной сфер с жёсткими требованиями к суверенитету данных: как бы ни был способен модель, ценность теряется, едва данные покидают контур. SOINAWE-RVE1300 отвечает на это уровне архитектуры:
· Данные внутри контура: полностью локальное развёртывание в дата-центре предприятия — инференс моделей, векторный поиск и обращение к базам знаний завершаются внутри контура; конструкторские чертежи, технологические параметры и бизнес-данные никогда не пересекают границу предприятия;
· Открытость и аудируемость: открытый набор команд RISC-V и полностью open-source стек ПО без закрытых «чёрных ящиков» позволяют независимый аудит кода и устраняют зависимость от зарубежных облачных сервисов и неподконтрольных цепочек поставок;
· Полностековая автономность: чипы, серверы, движок и платформа полностью под собственным контролем, а в сочетании с экосистемой отечественных СУБД и промежуточного ПО это отвечает требованиям проверок безопасности и сикчуан-комплаенса отраслей критической инфраструктуры;
· Тонкие права и аудит: в связке с системой прав и журналами аудита движка AWE — сквозной контроль над тем, кто использует какую модель, к каким знаниям получает доступ и какие оставляет следы.
Создан вокруг автомобильных сценариев: ИИ остаётся внутри предприятия
Многие клиенты SOIN Technology представляют автомобильную отрасль, и SOINAWE-RVE1300 специально спроектирован под сценарии автомобильных НИОКР и эксплуатации:
· Инженерная база знаний и интеллектуальный Q&A: разработка автомобиля затрагивает десятки тысяч технических стандартов, конструкторских спецификаций, отчётов об испытаниях и документов прошлых моделей. Развёрнутый в интранете автопроизводителя, RVE1300 питает локального агента инженерной базы знаний — инженеры на естественном языке находят пункты стандартов, сравнивают исторические конструкции и готовят проекты документов для ревью, при этом ключевые инженерные данные полностью остаются внутри сети предприятия;
· Интеллектуальное кодирование и эффективность НИОКР: в связке с движком AWE и ассистентом кодирования модель кода класса 72B обслуживает инженерную команду локально — генерация, ревью и предложения по рефакторингу, а измеренная пропускная способность поддерживает одновременную работу всей организации;
· Мультимодальный контроль качества и дизайн-ревью: сложные ИИ-модели, объединяющие текст, изображение и звук, уверенно работают на RVE1300, поддерживая выявление дефектов внешнего вида и многомерное интеллектуальное дизайн-ревью;
· Генерация ИИ-видео и маркетинговые материалы: создание качественного динамического контента из текста или изображений для продвижения автомобилей и маркетинга — неопубликованные конструкции и кампании не покидают контур;
· Структурированное управление массой чертежей и документов: движок AWE кристаллизует автомобильные графы знаний и логику бизнес-процессов в переиспользуемые агентные активы, так что экспертиза накапливается вместе с платформой и переиспользуется всей организацией.
Три ключевых сценария применения
· LLM-инференс: высокопроизводительный инференс больших языковых моделей — надёжный вычислительный фундамент для интеллектуального диалога, создания контента и поиска по знаниям;
· Мультимодальные модели: эффективная обработка сложных ИИ-моделей, объединяющих текст, изображение и звук, унифицируя многомерное понимание и интеллектуальный анализ;
· Генерация ИИ-видео: стабильная работа новейших моделей генерации и обработки видео, быстрое создание качественного динамического контента из текста или изображений для кино, телевидения и маркетинга.
С выходом SOINAWE-RVE1300 в трёхкомпонентной цифровой ИИ-основе предприятия от SOIN Technology — «ИИ-оборудование + агентный движок AWE + сикчуан-экосистема ПО» — закрыт ключевой элемент. SOIN Technology продолжит сотрудничество с партнёрами экосистемы, такими как ESWIN Computing, предоставляя клиентам автомобильной и других отраслей безопасную, соответствующую требованиям и находящуюся под собственным контролем интеллектуальную инфраструктуру — чтобы корпоративные LLM-приложения по-настоящему работали в своих дата-центрах, на своих данных, внутри своего контура.