随着移动计算和物联网（IoT）应用程序的爆炸性增长，数十亿移动和物联网设备正在连接到互联网，在网络边缘生成大量数据。因此，在云数据中心收集大量数据会产生极高的延迟和网络带宽使用。
因此，迫切需要将人工智能（AI）的前沿推向网络边缘，以充分释放大数据的潜力。Edge AI是边缘计算和AI的结合，它是最先进的AI应用程序的关键概念
边缘AI概述
什么是边缘AI
边缘AI是边缘计算和人工智能的组合，可以直接在连接的边缘设备上运行机器学习任务。
大数据和物联网驱动边缘AI
今天，在物联网（IoT）时代，需要收集和分析连接在设备上所生成的大量数据。这导致一边要实时生成大量数据，一边还需要人工智能系统去分析理解数据。
传统的人工智能分析理解数据是基于云计算的，因为需要能够执行深度学习计算任务的高端硬件，但云计算加剧了分析理解数据的延迟，导致通信成本增加，并引发了隐私问题。
什么是边缘计算
为了解决云的局限性，需要将计算任务移动到网络边缘，更靠近数据生成的位置。边缘计算是指尽可能靠近数据源计算。 因此，边缘计算可用于扩展云，因为它通常以边缘云系统的形式实现，其中分散的边缘节点将处理过的数据发送到云端。
边缘AI在边缘设备上实现机器学习
边沿AI，或者叫边缘Intelligence，是边缘计算和AI的结合；它运行AI算法，在硬件上本地处理数据，即所谓的边缘设备。
因此，边缘AI提供了一种设备端人工智能形式，以利用低延迟、高隐私性、更鲁棒性和更高效地使用网络带宽，并快速响应。 边缘AI的使用是由机器学习、神经网络加速和还原等新兴技术驱动实现的。ML边缘计算为多个行业实现人工智能系统提供了可能性。这也是李开复在《ai未来》说的现在人工智能是一个发明和专家的年代到实干和数据的年代，我国互联网创业公司的竞技场选拔出了世界上最精明强悍的企业家，创造了世界上最丰富的数据生态环境，人工智能专家不断涌现，我国政府的人工智能计划在新的投资热潮中激流勇进，引导了创业、创新的新方向
什么是边缘设备
边缘设备是能够在设备上执行计算任务的终端设备或边缘服务器。
边缘设备处理收集连接在传感器的数据，例如提供视频流的相机，基本上，大多数具备计算机功能的设备都可以作为边缘设备，从笔记本电脑和手机到个人电脑、嵌入式计算机或物理服务器。流行的边缘计算平台是x86、x64或ARM。 对于较小的原型，边缘设备可以是SoC（芯片上的系统），例如流行的树莓派或英特尔NUC系列。此类SOC设备集成了计算机的所有基本组件（CPU、内存、USB控制器、GPU）。更坚固、更坚固的边缘设备示例包括NVIDIA Jetson tx2或Jetson nano、Google Coral平台等。
与传统计算相比，ML任务需要非常强大的人工智能硬件。然而，我们可以让人工智能模型往往变得更轻（参数更小，占用内存小）、更高效。计算机视觉流行的对象检测算法示例包括YOLOv3、YOLOX或YOLOv7。现代神经网络有一个特别轻量级的版本，该版本针对在边缘运行ML进行了优化（特别是tiny模型，例如YOLOv7-tiny）
边缘AI的优势
边缘计算能够将人工智能处理任务从云端带到接近终端的设备，以克服传统云的内在问题，如高延迟和缺乏安全性。 因此，将人工智能计算转移到网络边缘，通过新的产品和服务为人工智能应用程序开辟了新的机会。
1.数据传输量降低
数据由边缘设备处理，只有数量少得多的处理数据发送到云端。通过减少小单元和核心网络之间连接的流量，可以增加连接的带宽以防止瓶颈，并减少核心网络中的流量。
2.实时计算速度
实时处理是边缘计算的基本优势。边缘设备与数据源的物理接近使实现更低的延迟成为可能，从而提高了实时数据处理性能。它支持延迟敏感的应用程序和服务，
3.隐私和安全
由于通过网络传输敏感用户数据使其容易被盗和失真，因此在边缘运行人工智能可以保持数据的私密性。边缘计算可以保证私有数据永远不会离开本地设备（设备端机器学习）。
4.高可用性
边缘计算具备分散和离线功能，能够在网络故障或网络攻击期间提供临时服务。因此，将人工智能任务部署到边缘可以确保关键任务或生产级人工智能应用程序（设备端人工智能）所需的更高可用性和整体鲁棒性。
5.成本优势
将人工智能处理移动到边缘具有很高的成本效益，因为只有经过处理的、非常有价值的数据才会发送到云端。虽然发送和存储大量数据仍然非常昂贵，但按照摩尔定律，边缘的小设备在计算上变得更加强大。 总体而言，基于边缘的ML可以在没有基于云计算的自然限制的情况下进行实时数据处理和决策。随着数据隐私和GDPR等监管变化的重要性日益增加，边缘ML可能很快就会成为企业在产品和服务中使用人工智能的唯一可行方式。
边缘计算与雾计算
雾计算是思科引入的一个术语，它与边缘计算密切相关。雾计算的概念基于将云扩展到更接近物联网终端设备，目的是通过在网络边缘附近执行计算来提高延迟和安全性。
雾和边缘计算的主要区别在于数据的处理位置：在边缘计算中，数据要么直接在传感器连接的设备上处理，要么在物理上非常靠近传感器的网关设备上进行处理；在雾模型中，数据在远离边缘的地方，在使用局域网（LAN）连接的设备上进行处理。
边缘深度学习
执行深度学习任务通常需要大量的计算能力和大量的数据。低功耗物联网设备，如典型的相机，是数据来源。然而，它们有限的存储和计算能力使其不适合深度学习模型的培训和推断。
边缘AI技术通过结合深度学习和边缘计算提供了解决方案。边缘设备或服务器被放置在这些终端设备附近，用于部署在物联网生成的数据上运行的深度学习模型。ML边缘计算是计算机视觉（CV）应用程序最重要的趋势之一，这些应用程序涉及大量数据，如视频图像和自然语言处理（NLP），需要实时处理。
