近年来，在AIoT数据量快速成长、硬件效能提升、绿色低碳意识抬头等趋势影响下，边缘AI应用的系统架构也出现改变。随着越来越多企业将AI模型训练由云端转移至边缘端，边缘AI服务器（Edge AI Server）的市场需求快速扩大。

过往，企业大多会先在云端进行AI模型训练，再将训练好的模型部署到边缘端，由边缘装置进行模型推论，并定期将终端数据及预测结果传回云端。如今，随着硬件技术更新迭代，边缘装置的运算量能愈来愈强，可以满足AI模型训练的运算需求，再加上AIoT数据量快速成长，大幅增加数据由边缘端传输到云端的成本，致使企业开始思索「在边缘端进行AI模型训练的可行性」。对此，研华整合软硬体及服务打造完整的边缘AI服务器解决方案，协助企业资金更有效率地导入AI技术。

AI模型训练在云端还是边缘？

研华嵌入式物联网事业群产品经理郭祐伸建议，企业可以根据AI应用类型与AI模型参数大小、数据量、数据的机密等级等因素，决定是要在云端或边缘端进行AI模型训练。如果AI模型参数较大，边缘端的运算能力不足，导致进行AI模型微调训练所耗费的时间过长，就比较适合放在云端高速运算。另外，若企业用来训练AI模型的数据属于重要机密，便不适合上传到云端，又或者AI模型微调训练的数据太大致使传输至云端的成本过高，就可以通过边缘端设备进行AI数据预处理（Data Mining）或AI微调模型训练（Finetune）。

以生成式AI应用为例，企业除了发展客服机器人来服务客户，也开始结合知识管理系统、机台维修手册等数据用来优化员工作业效率，如：加快资料检索速度、协助新进工程师快速进入工作等。由于内部资料有机密性，通常不适合上传到云端，企业便可在边缘端部署边缘AI服务器来进行大型语言模型（LLM）微调训练。

另一方面，当企业微调训练生成式AI（GenAI）的大型语言模型（LLM）时，会消耗相

当大量的內存（VRAM），若VRAM內存容量不足，将产生无法进行LLM模型微调训练的问题，最终需要再额外添购更多专用显示卡来扩充VRAM容量，对企业而言是高成本的负担。因此，如何降低不断成长的生成式AI模型参数所需的VRAM扩充成本并兼顾数据安全保密性便是生成式AI应用能否快速普及的关键。

硬件、软件、服务，三大面向打造整体解决方案

为满足企业在边缘端进行AI模型训练与推论的需求，研华除了研发AIR-500系列边缘AI服务器，提供高频高效能的硬件设备，更结合软件与服务，从三大面向打造一站式边缘AI应用解决方案，一次满足企业的各种需求，加速企业导入AI应用。

多种硬件规格，满足多产业的AI应用需求

AIR-500系列是针对边缘端高性能AI推理与特定大小参数AI模型微调训练的应用需求而设计，除了满足工控市场基本要求的系统EMC测试与安规认证，亦提供10年长供货保证。此外，针对AI高速运算时产生的热能，研华特别加强散热设计，确保在环境温度40℃以内稳定运作，避免超过AI加速卡的最高工作温度，同时提供适合应用在被动式散热AI加速卡专用的散热风扇模块，让企业无论采用哪一种AI加速卡，都不必担心会有过热而降频的问题，确保设备运作性能最大化。

 郭佑伸产品经理指出，AIR-500系列产品提供510、520及530三种规格。其中AIR-520是研华首度将服务器等级芯片平台导入至边缘系统，它能额外扩充最多4张单槽显卡或2张双槽显卡，具备相当强大的AI运算能力，整合群联“aiDAPTIV+”技术，最高可以支持大型语言模型LLaMA2 70B的地端微调训练，满足企业在边缘端进行AI模型训练的需求。

群联独家专利的AI人工智慧运算方案“aiDAPTIV+”，是通过群联独创整合SSD的AI运算构架，将大型AI模型做结构性拆分，并将模型参数随应用时间序列与SSD协同运行，以达到在有限的GPU与VRAM资源下，最大化可执行的AI模型，能发挥既有硬件构架下的最大效益。

AIR-530可进行大量高速的数据传输，通过NVIDIA SmartNIC芯片可将网络频宽拉高至200 GbE，适合高速数据串流的AI应用，例如：医疗内视镜系统、布建多台监控摄像机的场域等。AIR-510提供丰富的I/O接口，适合需要整合多元装置的AI应用，例如半导体设备的光学检测机、物流业的包裹分检机等。

结合软件与服务，加速企业导入

AI应用软件方面，研华也针对AI应用需求代理相关软件，如：Intel针对模型训练的辅助工具Intel Geti、NVIDIA针对AI算法开发的最佳化服务NVIDIA AI Enterprise，可协助企业打造完整的Edge AI应用环境。

服务方面更是涵盖全方面。首先，研华在全球各地设立的服务中心，可以根据在地客户需求提供服务，如弹性调整设备规格。其次，研华提供完整技术支持，如企业可向研华购买CPU、DRAM、SSD、显卡等周边元件，也可以由研华协助安装Window、Ubuntu等操作系统，让企业收到设备后插电就能使用。再者，研华一直与芯片商紧密合作，可以在第一线提供客户技术顾问服务，如今更成为台湾IPC产业第一家获得NVIDIA AI Enterprise软件平台认证的全球经销商，研华计划培育近200名边缘AI应用专家，期能建立更强大的技术支持，从更多方面协助客户导入AI应用。

展望未来，AIR-500系列产品的发展将依循研华“产业驱动”（Sector-Driven）策略，依照各产业的特殊需求开发相关功能并直接内嵌于产品之中，甚至推出产业专用机，让各行各业都能快速部署AI应用，大步迈向AIoT的新时代。

相关产品现已上市，如需了解更多产品和服务相关信息，欢迎拨打研华嵌入式服务专线400-001-9088。

关于研华（Advantech）

研华成立于1983年，以“智能地球的推手”作为企业品牌愿景，一直专注于工业物联网、嵌入式物联网及智慧城市三大市场。为迎接AIoT与人工智能发展大趋势，研华以Sector Driven策略全面展开布署并聚焦七大产业，长期深耕行业市场，提升核心竞争力；同时，也以AIoT + Edge Computing边缘硬件平台产品群、工业物联网软件平台WISE-IoT，再加入产业AI解决方案及行业知识，融合成为产业整合应用的协同共谱之经营模式，以协助伙伴客户串接产业链。研华业务分布全球27个国家，拥有近8,800名员工，以强大的技术服务及营销网络，为客户提供本土化响应的便捷服务。此外，研华积极推进产业伙伴共创，加速AIoT生态圈布建与发展。（公司网址：www.advantech.com.cn）

关于研华IoT嵌入式平台事业群（EIoT , Advantech Embedded IoT Group）

研华嵌入式物联网平台事业群提供全系列嵌入式计算机板卡、智能系统、外围模块、软件服务经销以及客制化设计导入服务，涵盖全产品研发设计、制造与全球销售与服务，并专注垂直产业发展。为迎接物联网、大数据与人工智能的发展，我们还提供从边缘运算(EdgeComputing)到云服务(Cloud Services) 的物联网整合解决方案，包含AIW无线解决方案、IoT Gateway 网关、EIS边缘智能服务器及WISE-PaaS/DeviceOn智能化设备维运管理软件、WISE-PaaS物联网软件平台及主流第三方云服务平台，更针对人工智能应用推出一系列Edge AI模块，推理系统及产业解决方案，专注产业物联网解决方案开发及区域深耕。（服务专线/QQ：400-001-9088）

如需了解更多信息,请访问 (研华（中国）公司)官网 http://www.advantech.com.cn