BOB半岛体育云原生大数据计算服务MaxCompute，500CU*H 100GB 3个月

　　云原生大数据计算服务 MaxCompute，5000CU*H 100GB 3个月

　　云计算（cloud computing） 是分布式计算的一种，指的是通过网络“云”将巨大的数据计算处理程序分解成无数个小程序，然后，通过多部服务器组成的系统进行处理和分析这些小程序得到结果并返回给用户。、

　　近年来，云计算赋能大数据处理，用户仅需要将数据上传至云端，利用云计算中心的超强高效计算平台，便可以集中处理计算需求。目前的智能物联网设备，通常也是通过将数据通过网络上发至云端，由云端进行统一的处理这种模式进行的。

　　然而，物联网设备与日俱增所带来的智能数据的爆炸增长，无疑使得云计算这种集中处理的计算模式暴露出各种问题。其中主要是问题显现在两个方面。

　　一方面，云计算在集中处理数据前，需要各个边缘侧的设备将数据全部上传，这意味着，数据传输的过程将占用巨大的带宽。尤其是在人工智能应用如火如荼发展的现状下，模型的训练与推理所需要的巨大数据加剧了核心网络的压力。物联网的高速发展更使得数据的増长远远甩开网络带宽的增速，传统的云计算模式遇到了带宽与延迟的瓶颈。延迟不仅仅严重影响了用户体验，更是对无人驾驶等对延迟零容忍的产业产生致命打击。

　　另一方面，云计算模式将数据都传输至云端大大增加了隐私泄漏的风险，无论是云运营商的恶意使用还是数据被截取，都将造成严重的危害。基于对计算模式的新的需求，催生了边缘计算模型的产生。

　　边缘计算(Edge Computing) 是利用网络边缘侧的计算能力进行数据的处理。

　　边缘计算目前还没有一个公认的定义，不同的研究者都在试图描述和理解边缘计算，边缘计算产业联盟进行了如下描述：边缘计算是提供网络、计算、存储、应用核心能力的靠近数据产生处的网络边缘的开发平台。这个平台可以满足行业在快速联接、实时响应、数据处理、安全与隐私保护等各个方面的需求。

　　来自韦恩州立大学的施巍松教授进行了如下描述：边缘计算是一种新的计算模型，它在网络边缘执行计算，其中边缘是指数据产生处和云端各种路径之间的任意计算和网络资源。边缘的数据一边连接云服务BOB半岛体育，另一边连接物联网服务。所有相关的对边缘计算的描述之中，都倾向于把边缘计算定义为一种新的计算范式，它使得数据的计算从网络剧里或者空间距离上更接近数据的采集端。

　　其中所提及的边缘侧，则是指从数据产生的设备到云端这一条通路中，任意的一个具有计算等功能实体。边缘计算因为其新的特性，相对于云计算，也有了一些优势，最突出的优点就是边缘侧由于更加接近数据产生的设备，相比于需要进行无法预计的数据传输成本的云计算，这天生便增加了其实时性。一旦数据的计算处理工作由边缘侧承担BOB半岛体育，那么从前需要上传至云端的数据将变少或者消失至零，这又大大减少了核心网络的流量从而释放网络带宽的压力。对于数据隐私的保护，则也是在数据源头处处理的巨大优势。

　　随着物联网技术的发展，集中式的云计算架构无法把资源利用、数据融合、应用兼容、统一运维等物联网问题全部解决，给网络带宽、计算能力、存储容量带来巨大压力。

　　（１）在网络边缘处理大量临时数据，不再全部上传云端，这极大地减轻了网络带宽和数据中心功耗的压力；

　　（２）在靠近数据生产者处做数据处理，不需要通过网络请求云计算中心的响应，大大减少了系统延迟，增强了服务响应能力；

　　（３）边缘计算将用户隐私数据不再上传，而是存储在网络边缘设备上，减少了网络数据泄露的风险，保护了用户数据安和隐私。

　　随着物联网趋势的不断加深和 5G 等网络建设的持续发展，消费物联网和产业物联网设备都将与日俱增。目前的智能物联网设备大都采取通过将数据通过网络上发至云端，由云端进行统一的处理。然而广泛的智能终端接入和海量的感知数据在传输过程中占用的巨大带宽，将数据直接传输至云端也增加了隐私泄漏的风险。在边缘侧进行计算可以减少了核心网络的流量从而释放网络带宽的压力，也完成了一定的数据保护，但是其资源受限会导致的无法满足模型精度需求。

　　云边协同计算继承了云计算与边缘计算的优势，以同时达到高精度、低消耗、快响应、低延时的应用场景需求。

　　云计算负责边缘节点难以胜任的计算任务，同时，通过大数据分析，负责非实时、长周期数据的处理，优化输出的业务规则或模型，并下放到边缘侧，使边缘计算更加满足本地的需求，完成应用的全生命周期管理。

　　边缘计算主要负责那些实时、短周期数据的处理任务以及本地业务的实时处理与执行，为云端提供高价值的数据；

　　在更多的场景下，云计算与边缘计算形成一种互补、协同的关系，边缘计算需要与云计算紧密协同才能更好地满足各种应用场景的需求。

　　云边协同是融合通信、算力、数据存储、应用服务的分布式开放平台，相对于云侧的全局性、长周期、高时延、大数据的计算特点。边缘计算的短周期特性可以更好地支持本地业务。因此边缘侧与云侧并不是简单的替代关系，而是互补协同的合作关系。通过对资源协同、数据协同、应用协同、服务协同等协同领域构建统一高效的协同框架，实现云边互补，资源融合。

　　云边协同的推理机制不同于传统的云边协同，除业务、数据、服务等协同外增加了算法协同。算法协同具备算力资源分配、准确率验证、模型分区调用等机制。云边协同的推理机制弥补边缘侧算力不足导致的低准确率现象，避免数据短时增长带来的算力波峰，减少云侧带宽压力，提升服务速率，解决数据不出域问题，有效地提高了系统稳定性和资源的整体使用效率。

　　云边协同，架构如图 1.1所示，即云计算和边缘计算互相协同，彼此优化补充，就好像章鱼大脑和爪子的关系。通常可以将章鱼与边缘计算进行类比，章鱼的大脑可以与云计算进行类比，章鱼的神经元分布在脑部的仅有四成左右，足部则可以类比边缘计算，占据六成的神经元。那么章鱼的足部思考并就地解决问题，大脑则专注于处理“更高层次”的问题。由于物联网设备，天生具有在边缘侧采集数据的特性，一旦为其计算进行赋能，使得应用在数据源处进行数据的处理，从而减少与云端的交互，将大大解放传统的云计算模式下的网络压力；边缘侧处理了大多的数据，那么当需要借助云端能力时，只需要传输数据运算的中间结果取代之前直接的数据传输，隐私泄漏的风险也因此大大降低.

　　边缘计算的快速发展，并不意味着要彻底放弃云计算。相反，越来越多的应用场景需要在云计算的基础上协同边缘计算技术，才能发挥更好的效果。云计算的优势在于处理长周期、计算密集的任务数据，因此可以有效应对需要大量数据分析的业务领域；而边缘计算的优势在于处理短周期、实时性的任务数据，因此可以更好地应用于注重实时性的本地业务领域。针对于云计算与边缘计算之间的协同关系，主要有两种协同方式。

　　在这种模式下，由云计算中心负责接收终端设备所上传的任务数据，并进行数据计算、模型训练，以及任务预测。然后，中心云将部分计算与预测结果发送至边缘服务层，并指导边缘层进行资源部署与任务调度。

　　在这种模式下，首先由边缘服务层来接收终端用户所上传的任务数据，并对其进行计算；然后BOB半岛体育，边缘服务层会及时将任务的处理结果回传至终端设备。若边缘服务层的计算能力有限，不能满足用户任务的实际需求，则边缘服务层会将任务继续卸载至中心云服务器中处理。

　　云边协同的设计应该兼顾传统云计算与新兴边缘计算两种计算范式，因此对其架构进行直接进行设计太过于庞大，同时也忽略了其作为一个新的计算平台的基本需求。由于云边协同源于云端与边缘端，云与边缘的设计并非单一的层次，因此云边协同的研究也应该结合云的多层次与边缘计算的多层次。其中云计算的发展相对成熟，应用也更为广泛，现代的云计算通常被划分为基础设施即服务的IaaS 与平台即服务的 PaaS 两个领域，广义上还包括软件即服务的 SaaS。边缘计算层次的划分通常也与云计算对应，即边缘侧的基础设施即服务、平台即服务以及软件即服务。本文依据云计算与边缘计算的层次对目前云边协同的研究进行了划分，如图 1.3 所示，分为基础设施协同、平台协同与软件协同。

　　云端和边缘端因为其物理实体的存在，都对应着相应的资源提供相应的能力，比如计算能力，存储能力等。但是又由于每个设备的资源与能力并不相同，想要调度起来或者进行能耗的评估就需要统一的管理。

　　Li等人对云边协同下基于负载平衡的资源管理问题进行了研究BOB半岛体育，为了保证数据完整性以及降低成本，提出了基于成本的资源扩展和收缩模型，又为了改善负载不平衡问题，提出了新的数据迁移模型。

　　Li等人提出了接入云、分布式微云与核心云的划分，在城市中部署微云系统，将远程的核心云上的服务迁移至本地，终端用户即可从微云获取之前在核心云的服务。而为了优化微云间的调度，提出了一种基于粒子群优化的多节点系统的资源调度与分配策略。

　　Li 等人也提出了一种资源管理策略，以保证边缘设备不过载，并优化成本消耗。同时也提出了一种副本分配策略，更好的保证数据一致性。

　　平台层一般包括数据管理以及应用的管理。云边协同架构下数据处理通常由边缘节点承担，而数据处理作为后续数据问题工作的第一步是十分重要的。

　　Carrizales 等人设计了一种方法，对每个内容的哈希值进行索引，从而进行重复消除。这样处理可以为后续的数据分析等工作减轻工作量，也同时增加了数据的安全性与可靠性。经过验证，该方法对于降低风险有一定的可行性。

　　Lopez等人基于特征选择，提出了一种基于特征相关性和特征归一化的网络流量分类快速预处理方法，该方法减少了数据处理的时间，对数据进行实时处理，以有效的防御网络攻击。

　　Zhao 等人出了一种面向自动驾驶的边缘流数据处理框架，该框架基于Spark-Streaming的建立，可以预测传感器数据到达率的变化，提前调整流批量间隔，并通过边缘节点实现实时流处理。该框架可以在边缘计算节点区域的地理覆盖范围内，实现对自主驾驶车辆传感器数据的数据流变化的监控和预测，同时最小化端到端延迟，同时满足应用吞吐量要求。

　　除了数据预处理，数据存储也是数据管理中重要的部分，考虑到边缘节点的存储能力有限，深度学习应用部署于云边协同框架时，如果减少模型大小以适应边缘受限是很重要的研究方向。

　　Tao等人在物联网数据框架—云边缘协作存储（CECS）基础上进行了改进，提出了一种新的数据搜索与共享的方案，它允许用户生成公钥和私钥对，并自行管理私钥，并且使用可搜索公钥加密来实现更安全、高效和灵活的数据搜索，该方案在保护数据安全的情况下，也同时降低了通信与计算的成本。

　　由于应用的部署需要特定的运行环境，但是云边协同框架下，由于普通边缘节点通常采用一些低功耗的处理器，而边缘基站等也会采用高版本的处理器，云端可提供的能力远远超过一个边缘节点，那么不同位置不同类型的应用，都会提供不同的部署环境。容器的出现，颠覆了传统云厂商应用的部署与调度，也催生了一些优秀的容器编排工具，如 Kubernetes。

　　为了使得应用更好的在不同配置的设备间更好的部署与调度，以适应云边协同这种分布式的架构，研究者们也进行了大量的研究。

　　Xiong 等人介绍了一种类似于 Kubernetes 边缘计算环境中的基础设施 KubeEdge，其在边缘上提供了网络协议基础设施和与云中相同的运行时环境，允许应用程序与运行在边缘节点和云服务器上的组件进行无缝通信，实现了云边协同架构下容器在云与边缘间的调度。

　　Zhang等人则是提出了一种动态规划的算法 E-ODD。在应用部署的过程中，当设备没有足够的计算资源时，它会将一些可移动的任务卸载到云上，以占用额外的资源。但是，当难以占用云资源或设备上的计算资源过多时，设备会将任务迁移回去。

　　Deng 等人参照目前云端微服务的部署模式，提出以微服务形式在云边协同框架下部署应用，并设计了一种在资源约束和性能要求下优化应用程序部署成本的方法。

　　对应传统云计算直接提供相应应用部署环境的 SaaS 平台，许多的云厂商也在边缘计算这种计算范式出现之后，提供了专门针对边缘计算的服务，Google在全球范围内部署了 1000 多边缘服务器，并推出了针对边缘的方案；Alibaba 在我国部署了 500 多边缘服务器，也可以针对低延迟需求应用提供边缘服务； Amazon 则是针对低延迟需求应用提供边缘服务。众多云厂商都在边缘开始发力。

　　边缘资源的增长，平台的搭建，无疑为特定应用环境的部署提供了极大的便利。Bhattacharjee 等人设计了一款事件驱动的大数据即服务产品BOB半岛体育，用于物联网分析生命周期管理，简化了物联网应用的部署。

　　Chen 等人则针对资源有限的边缘服务之间的协作进行了研究，提出了一种协作服务部署和应用程序分配算法来描述最终的边缘服务部署策略，涉及边缘节点和服务的放置，以及应用程序在边缘节点的分配，它通过设计最小资源占比获得最少的边缘节点数量，然后平衡计算负载。

　　实际中，在电力物联网领域，图像视频相关应用已经越来越广泛，智能化图像的处理、任务调度将成为未来的关键。广泛的智能终端接入和海量的感知数据在促进电力物联网智能化应用进一步提升的同时，也带来了带宽资源约束和网络传输延迟等技术瓶颈。

　　在应用过程中，如果使用基于云数据中心的智能云计算方式，无法满足就地处理与实时智能分析的业务需求；如果使用边缘计算，由于边缘设备的算力有限，无法满足延时约束和模型精度需求。采用基于云边协同的智慧物联体系，以同时达到高精度、低消耗、快响应、低延时的应用场景目标，实 现新型电网物联体系。

　　同样，在正在高速发展的车联网领域，如今海量实时数据，车辆行驶安全服务需要在毫秒级延时的情况下处理，而车载设备有限的计算和存储能力难以满足大量计算需求和低时延的限制，不仅如此，车联网还具有节点高速移动、拓扑结构动态变化等特点，传统的云计算并不能满足其时延敏感型计算任务。车联网借助云边协同，可以根据实际的环境条件和限制对计算任务进行选择，在构建的云边协同网络中完成绝大部分的计算，并通过路侧单元等传输手段，实时将结果发送给请求车辆。

　　云边协同中，边缘侧负责实时处理的部分，并与云端交互关键数据，云侧则负责实时性需求低的密集计算任务等。云边协同由于其继承了云计算算力强大与边缘计算延迟低等的优势引起一众研究。目前，针对云边协同的研究大都在物联网，智能交通等方面，它和传统应用的目标一致，即减少延迟、降低消耗最终实现更好的用户体验。

　　【6月更文挑战第17天】边缘计算与云计算互补而非替代。边缘计算在物联网、视频监控等场景中处理实时、局部数据，强调实时性与效率；云计算则专注非实时、全局数据分析，提供弹性与扩展性。两者协同工作，优化数据处理，驱动技术创新。

　　云计算是一种互联网分布式计算和交付模式，所有的数据统一放在数据中心进行计算和处理；边缘计算使处理能力更接近消费者:服务器不位于中央数据中心，且所有数据都从那里推出，边缘计算可能会将计算能力分配给最终用户设备、基站或更小的区域中心，以减少延迟。

　　边缘计算是指在靠近物或数据源头的一侧，融合网络、计算、存储、应用核心能力的分布式开放平台，就近提供边缘计算服务，满足应用的实时性和数据保护等方面的需求。

　　《边缘云技术演进与发展白皮书》——五、边缘云分布式云管系统技术演进——02 多维协同—— 1.边边协同

　　《边缘云技术演进与发展白皮书》——五、边缘云分布式云管系统技术演进——02 多维协同—— 1.边边协同

　　《边缘云技术演进与发展白皮书》——五、边缘云分布式云管系统技术演进——02 多维协同—— 2.云边协同

　　《边缘云技术演进与发展白皮书》——五、边缘云分布式云管系统技术演进——02 多维协同—— 2.云边协同

　　阿里云推出AIoT边缘计算产品家族 共28个场景一体机产品覆盖6大领域

　　High&NewTech：带你解读云计算、雾计算(Fog Computing)、边缘计算(Edge Computing)的前世今生（一）