• 最佳的人工智能解决方案

许多行业都在追求人工智能，希望通过更先进的自动化和机器学习来提升自己的业务。现今有无数的例子，包括制造商尝试使用具有人工智能的机器视觉系统来进行缺陷分类，以及使用具有人工智能的光学字符识别从老旧设备中采集数据。然而，人工智能仍处于起步阶段，硬件和软件解决方案的复杂性和多样性可能会让人难以应付。

为了获得最佳的解决方案，系统架构工程师首先需要决定是否需在传感器附近（例如边缘侧）或在云端进行大量的人工智能演算。若再加上性能、大小、重量和功耗 (SWaP) 等需求，则会影响到决定该解决方案的方向。为了实现人工智能边缘计算性能的最大化， 最佳的解决方案通常会使用异构计算平台，也就是会有两种或两种以上不同类型的计算核心，

例如：

●        通用型 CPU

●       现场可编程逻辑门阵列 (FPGA)

●        图形处理单元 (GPU)

●        特殊应用集成电路 (ASIC)

  人工智能边缘计算的优势

随着物联网的演变，原本很简单地将数据抛向云端进行分析，已经发展到利用智能设备进行复杂的推理和模式匹配；而在智能设备上就近处理人工智能算法有很多优点，包括：

• 更快速的响应：不需再向云端发送数据进行人工智能处理，可最大限度地减少传输延迟。

• 更稳固及安全：减少通过网络发送数据来降低数据被篡改的风险。

• 提升移动的灵活度：减少因无线网络不稳定造成的影响（例如收不到信号或服务中断），在移动系统上就近执行人工智能功能。

• 节省通信成本：只传输少量的数据，减少网络服务的花费。

  人工智能设计的挑战

人工智能领域的多样性令人眼花缭乱。系统架构工程师将人工智能计算引入到各种应用的数据输入之中，如影片、文本、语音、图片和传感器数据，目的是改进系统的决策逻辑。他们必须从一系列决策过程中进行选择，而这些决策过程来自于各种深度学习框架（如 TensorFlow、Torch 和 Caffe ）和具有不同层数的神经网络（如循环和卷积）。特定的神经网络和框架的组合，将在专门的计算核心上运行，非常适合于特定任务，如图像处理、字符识别和对象分类。

许多人工智能计算需要海量的存储设备、平行计算和低精度计算。系统架构工程师面临的挑战是在符合成本效益的前提下，设计一个最佳的人工智能平台， 且该平台需满足其对于速度和准确性的要求，并提供有价值的信息。对于部署在边缘侧的平台，系统架构工程师必须面对额外的需求，例如严苛的环境和严格的 SWaP限制。

•  

• 人工智能设计的解决方案

在设计人工智能平台时，系统架构工程师应该考虑使用异构计算架构，交互运用多种核心类型，包括 CPU、GPU、FPGA 和 ASIC。同一科技的目标是在最适合的核心上运行人工智能计算，与同类平台相比，可以更快速地计算并降低特定功能的耗电量。

尽管开发异构平台要比同类平台复杂，但同一科技简化了设计过程来提供混合核心的异构平台，如图 1 所示。系统架构工程师可以根据人工智能计算的需求，配置同一科技的平台，减少开发工作，并从这种可扩展的解决方案中获益。

图 1 同一科技面向人工智能应用的异构架构选择

• 计算核心的比较

针对用于处理人工智能计算的不同核心类型，以下简要概述了其优劣势。表 1 提供了其它相关信息。

•       通用型  CPU

通常，每个人工智能平台都有一个 CPU 来管理平台运行以及功能丰富的应用程序，可能还有一个用户接口。此外，CPU 可以有效地处理不同格式的数据（例如，影片、文本、图片等）、提取、转换和加载 (ETL) 程序。

•       图形处理单元  (GPU)

GPU 是一种高度任务并行、专门用于图形处理的核心，其架构非常适合人工智能计算。通过使用成百上千个小核心来执行复杂的数学和统计计算，GPU 可以同时进行深度神经网络 (DNNs) 的学习和推理；但是，GPU 占用空间大，功耗也高。

•        现场可编程逻辑门阵列(FPGA)

FPGA 具有可编辑的逻辑门，可以为特定的应用进行编程设定；还可根据需求，在现场重新修改程序，从而提供高度的灵活性。

•       特殊应用集成电路  (ASIC)

ASIC 是专为特定应用而设计的定制逻辑芯片。这些核心可以快速执行复杂性和重复性的计算，但是它们的设计成本昂贵（一次性的工程开发成本很高），并且耗时（一到两年）。

•        视觉处理器 (VPU)

VPU 是适用于计算机视觉和图像处理的定制化 ASIC，其功耗低、内存占用少。适合于已学习过的模型，不太适合学习本身，比如机器学习。

•     张量处理器 (TPU)

是 Google 第一款用于边缘核神经网络计算（如推理）的 TPU。采用客制化的 ASIC 专用芯片，能有效进行效能优化，为 Google 的深度学习框架 TensorFlow 而设计。

表 1 人工智能应用中的核心类型比较

  人工智能应用案例

同一科技致力于帮助系统架构工程师将异构计算平台上运行的人工智能推向边缘计算，如图 2 所示。以下是一些计算机视觉的例子

·           自动光学检测  (AOI)

自动化光学检测用于在生产过程中发现产品缺陷，帮助工厂人员快速解决产品良率和质量问题。采用凌华科技高效边缘计算平台的 AOI 机器，提供近乎实时的缺陷检测和识别，同时进行人工智能计算来累积领域知识 (Domain  Knowledge)，以便更准确地对缺陷进行分类。

·           光学字符识别  (OCR)

·           另一种计算机视觉应用是光学字符识别，能从无法连网的老旧设备中通过采集显示器上的图像读取数据。凌华科技异构计算硬件所采用的嵌入式  GPU 能进行人工智能演算，大大提高了 OCR 工作的速度和准确性。

·           自主移动机器人  (AMR)

新一代自主移动机器人利用 VPU 加速的人工智能计算，实现了视觉导引和防撞。这些功能通过简单的软件更新即可调整工厂平面图或更改流程，从而引导他们正确移动并执行新的任务。未来的移动机器人将由主控软件  (Fleet software) 控制， 并根据机器人的忙碌程度和位置将任务分配给机器人，从而提高机器人的效率、生产率，以及与其它机器人和人类之间协作的能力。

图 2 同一科技致力于协助系统架构工程师在边缘侧的异构计算平台上运行人工智能应用

  具备人工智能的边缘设备

同一科技为物联网提供创新的嵌入式边缘计算解决方案。现在，同一科技通过人工智能优化的异构计算平台，将嵌入式计算提升到了一个新的层次。凌华科技异构计算平台由基于 GPU  和 VPU 的板卡、系统和服务器组成，使系统架构工程师能够构建并优化用于人工智能推理和训练应用的系统架构，如图 3 所示。除了对功耗和长生命周期的支持外，凌华科技的硬件还针对了深度学习推理、模式匹配和自动机器学习所需的数据，提供了高性能的快速处理。随着人工智能向边缘计算发展，凌华科技异构计算平台实现了边缘设备与系统之间的数据实时传递，最终实现更好的决策。

图 3. 同一科技异构计算平台由 基于 GPU 和VPU 的板卡、系统和服务器产品组成

。

同一人工智能计算机平台