引言：在2017年阿里云栖大会•北京市高峰会的互联网大数据盛典中，来源于阿里云服务器的高級技术专家李雪峰产生了题材为《金融业等级数据管理平台的多租户隔离实践活动》的演说。在共享中，李雪峰最先详细介绍了根据传统式IaaS单租户构架做隔离时遭遇的问题；随后，他关键介绍了MaxCompute PaaS方面的多租户的构架及其MaxCompute在安全性隔离层面的主要实践活动。

查看原文

IaaS单租户大数据产品构架

根据IaaS单租户大数据产品构架如上图所述所显示，构架最底层通常运用HDFS2完成；根据HDFS2以上构建Hadoop Yarn或MESOS等資源监管服务平台；在其以上再完成实际的估算实体模型，如MR、Hive、HBASE及其Spark等。在这里类生态环境保护中，IaaS服务平台通常做为同一租户存有，当用户造成新要求时，根据IaaS服务平台申请办理一批群集（虚机），再这种群集上布署对应的开源系统商品。从隔离的视角考虑，这类绿色生态遭遇下述问题：

最先，IaaS单租户大数据产品构架在具体运用时具有一定的逻辑问题。使用人开展数据统计分析时，必须掌握应用的每一种商品的实际逻辑性，例如运行SQL时，必须了解Hive的逻辑性，应用Spark时，必须学习培训spark的相应专业知识。当应用商品数量较较少时，应用成本费还可以获得合理操纵；当必须不同产品互相帮助应用时，学习培训成本费便出几何倍数提升。而且，通常2款不一样的开源系统商品中间的逻辑模型相互之间无法识别，当碰到身份验证等问题时，逻辑问题更为突显。

次之，每一种开源系统商品在运行等级上均有其本身的优先界定。在应用同一种开源系统商品时，每日任务的优先会依照开源系统商品本身的优先管理体系开展运行，高优先的日常任务会比低优先级队列的工作获得越来越多的資源，运行的时间也会获得更好的确保。当与此同时应用几款开源系统商品时，根据IaaS单租户大数据产品构架没法保证运行优先的全局性最优控制。

最终，以上这种开源系统商品通常会提供用户自定逻辑性，例如MR或Hive提供的UDF。当用户自定的编码在大数据产品内运行时，会产生一定的安全隐患。例如，Hadoop Yarn在运行用户自定编码时，只是应用非常简单的Linux Container体制开展隔离。应用这类体制运行隔离时，用户的编码思维和Hadoop本身进程是运行在同一个核心（kernel）下的，换句话说假如这一部分用户编码逻辑性包括的进攻程序流程可以危害设备kernel，则在同一个核心下运行的大数据产品进程也会随着遭受危害。一般来说，大数据产品的一个Job会依据数据信息分块的尺寸与此同时运行在群集的大多数设备、乃至全部设备上。这样的事情下，安全性的风险性便变大至全部群集。一种偏激的情形是：当运用一个核心的系统漏洞进攻一台设备取得成功时，当所上传的Job分块充足大时，很有可能会导致全部测算群集偏瘫。

在了解到以上问题以后，MaxCompute通过单独自研总体系统架构图，提供了PaaS方面的多租户工作能力。

MaxCompute PaaS多租户构架

图中是MaxCompute PaaS多租户构架平面图。从图上可以看得出，MaxCompute运行在奔月电脑操作系统上，取决于奔月伏羲控制模块提供统一資源监管；取决于奔月 ** 控制模块提供统一储存；取决于奔月女娲控制模块提供一致 ** 。MaxCompute通过提供同一套测算模块为顶层提供了多种多样测算形状，包含SQL、MR、图计算、PAI、准即时等。

现阶段，这套测算模块早已为金融业用户在公共性云端提供了相对的计算水平。

在处理MaxCompute多租户这一问题时，关键是以三个方面下手：

一是逻辑性隔离。从租户的视角考虑，每一个租户都是有自已单独的逻辑模型，有着自已单独的自然资源及其根据同样的逻辑模型完成的统一受权实体模型。

二是資源隔离。针对不一样租户的每日任务，在MaxCompute运行时，可以完成统一的、全局性最优化的线程同步工作能力及其資源隔离工作能力。

三是运行隔离体制。现阶段，MaxCompute提供了用户自定逻辑性的作用（如Python UDF），为用户自定逻辑性在MaxCompute上运行提供了一套健全的运行隔离体制。

下边来详细分析下MaxCompute提供的这三种隔离体制。

MaxCompute 逻辑性隔离

现阶段，针对同一个MaxCompute案例，无论其运行在多少个物理学群集上，都能在思维层提供统一的租户管理体系。针对这套租户管理体系，同一个租户的数据资料主视图和管理权限实体模型是唯一的，并与租户模型关联。在具体应用中，MaxCompute上的租户相匹配于MaxCompute的Project，在其中Project包括租户全部的資源、特性及其管理权限等信息内容。

如上图所述所显示，Project由特性（Properties）、主题风格（Subject）、实体线（Object）三部份构成。在其中特性包含Quota、Owner、Payment Account、Region等信息内容；在Project内部结构全部的受权浏览都必须以User ID为主题风格，根据这种主题风格，MaxCompute提供了人物角色实体模型用以完成受权集聚；上文所提及的估算实体模型（MR、Hive等）要使用的資源最后都落身于Project中的某一实体线上，例如SQL实体模型相匹配于Table实体线、UDF相匹配Function实体线。

根据以上提供的逻辑模型，MaxCompute提供了一套完善的身份验证、受权体制用以监管管理权限。最先，全部管理权限均来自Project Ower，做为Project的使用者，它有着该Project内的所有管理权限，一切用户应用该Project开展估算时，最先必须Project Owner对它进行受权（实际建立是运用GTANT句子）；当该用户浏览Project时，它会以User ID的地位开展读写能力表、建立函数公式、加上删掉資源等实际操作；这种实际操作被真真正正实行以前，会根据统一的ACL逻辑性对现阶段User ID是不是具备相对的授权开展分辨。

图中得出了MaxCompute对不一样类别目标适用的实际操作方法，大量详尽操作指南请参照官方网文本文档。

MaxCompute 資源隔离

MaxCompute 的测算模块取决于奔月电脑操作系统提供資源运行、隔离工作能力。

如上图所述所显示，当不一样每日任务Job-0、Job-n 递交到奔月伏羲控制模块时，伏羲的智能监控系统会依据无需用户的运行等级来布置任务的运行等级，这与上文提及的Project中的特性相对性应。伏羲控制模块将不一样的每日任务Job-0、Job-n转换为伏羲每日任务；随后生产调度到测算群集的连接点上；最后在预估群集上，同一个server上面与此同时运行好几个租户的每日任务，这种每日任务均以伏羲Worker形状运行。

针对这其中的一台设备，当该机器上的伏羲模块接到Worker Plan后，它会依据Worker所相匹配用户的quota值去配备现阶段这台设备上的Cgroup的主要参数。这样一来，就确保不一样用户递交的Job最后在物理学机里运行的Cgroup配备主要参数不一样。现阶段，MaxCompute取决于Linux Kernel提供的Cgroup工作能力来整体规划某一特殊进程在物理学机里所得的的CPU、Memory等資源。

MaxCompute 运行隔离

最终来剖析下MaxCompute为了更好地安全性运行用户自定逻辑性所提供的运行隔离体制。当伏羲运行用户自定编码逻辑性时，它会获取一个隔离的自然环境，把用户的编码运行在隔离的进程中。该进程对与伏羲来讲与别的进程无差，但其运行自然环境是在隔离系统软件中；也便说针对伏羲来讲，这一进程是一般的进程，但针对untrusted code进程是隔离的。

运行隔离又可以分成进程隔离、机器设备隔离和互联网隔离。

进程隔离

在进程隔离层面，针对单独进程来讲，如果是运行的untrusted code（有可能包含故意进攻的编码）进程，有可能会对测算服务平台导致危害。对于这一问题，MaxCompute提供了双层隔离嵌入计划方案便于避开这类潜在性的安全隐患。在最内部结构，MaxCompute提供了语言表达级沙盒，包含java sandbox和python sandbox，这类语言表达等级的沙盒为用户编码提供了最里层的隔离，例如java UDF 现阶段可以保证限定载入实际的类，python UDF可以保证变量等级的限定；外边一层，MaxCompute提供了进程隔离，它取决于现阶段Linux Kernel提供的核心体制完成进程的隔离，应用的核心体制包含namespace、cgroup 、 ** p-bpf等；最两侧，MaxCompute完成了一层轻量的虚拟化技术，它的建立基本原理是根据深层订制Linux Kernel及其一个降到最低的Hypervisor，从而提供十分轻巧的vm虚拟机（创建時间仅为好几百ms）。这样一来，untrusted code最后会以hypervisor方式运行在物理机；换句话说，针对伏羲来讲，它见到的只是是hypervisor的进程，但针对untrusted code，它看见的是一套隔离自然环境。

机器设备隔离

此外，MaxCompute也为用户自定编码提供了硬件加速器工作能力，例如PAI是适用立即GPU浏览。现阶段，MaxCompute通过PCIE passthrough方法将GPU卡立即passthrough到VM内部结构，容许guest进程立即根据PCIE总线及其guest kernel 内的GPU driver来浏览GPU。

这类VM根据PCIE总线浏览GPU的建立方法相比于在物理机立即浏览GPU，特性相仿；另一方面，在物理学机里不用安裝GPU driver，避开掉了GPU driver对服务平台可靠性和稳定性危害。

互联网隔离

在一些商品上，MaxComputer为用户编码逻辑性提供了互联网隔离工作能力。在伏羲拉上的VM中间保持了一层互联网络。这种VM可以根据互联网络开展立即通讯，这也为在VM内部结构运行一些开源代码提供了较好的兼容模式。与此同时，从上面能够看见，用户自定的编码逻辑性并非立即浏览物理学互联网的；而伏羲拉上的tursted code包含MaxCompute架构上的源代码是利用物理学互联网开展通信网络的，这类作法确保了MaxCompute架构在通信网络上的低延迟。

大量技术性干货知识敬请期待云栖社区知乎机构号：阿里云服务器云栖社区 - 知乎问答