阿里、蚂蚁、晟腾、中科加禾精彩分享 AI 基础设施洞见,现购票可享受 9 折优惠 |AICon 了解详情
写点什么

Container 容器技术开源项目综述

  • 2020-03-12
  • 本文字数:5706 字

    阅读完需:约 19 分钟

Container容器技术开源项目综述

2015 年容器大火,围绕着容器技术的发展也涌现了许多新项目。同时,许多“老”项目也开始支持容器作为运行环境。下面介绍这些项目:

一、规范标准类

容器使用了 Linux 内核的特性,Docker 的成功也主要在于其充分挖掘了此类特性。但 Docker 流行之后,社区开始思考怎么定义一套完整的容器规范标准,使容器的规范不再局限于 Docker。同时,Docker 仅仅定义了一个容器,多容器的互联也需要规范标准。下面提到的项目是目前主流的标准,有的并非为容器而生,但也在为容器规范化做出努力。


1. OCF


OCF(Open ContainerFormat)是由 OCI(Open Container Initiative)发布的一套容器规范和运行时环境,其初步版本基于 Docker 镜像和运行时,但是最终目的是定义一套不受任何软硬件平台、不受任何公司和项目束缚的容器标准。OCI 由各大厂商组成,包括谷歌、红帽、华为等。OCF 对标准容器规范指定了 5 条规则:


  • 标准化操作:例如,创建容器、删除容器、打包容器等操作都必须标准化;

  • 内容无关性:不管容器内部内容是什么,上述操作不能有任何行为上的变化;

  • 平台无关性:在任何 OCI 支持的平台上,上述操作都必须能够无差别执行;

  • 为自动化而设计:标准容器是为自动化而生,其规范必须满足自动化条件;

  • 企业级交付:标准容器需要适用于企业级流水线交付任务。

  • 下面简要介绍 OCF 标准。目前,OCI 定义一个容器包含如下内容:


  1. config.json

  2. runtime.json

  3. rootfs/

  4. config.json 表示与容器相关的配置,例如启动容器之后执行的命令,容器的环境变量等

  5. runtime.json 表示与 host 相关的配置,例如对 cgroup、namespace 的支持

  6. rootfs 表示容器可见的根目录,即容器中的“/”目录。OCF 对其内容不作约束,常见的子目录有 lib, bin 等等。

  7. 任何基于 OCF 规范实现的命令行工具,都可以解析上述内容并管理容器,例如runC,TODO。

  8. 目前为止,OCI 主要精力集中在容器运行环境,之后,OCI 还将对容器打包、验证、分发等模块进行标准化。总而言之,OCI 是继 Docker 大火之后,社区对容器标准的一种尝试,现在已经得到非常多大公司的认可。


2. appC


appC 是 CoreOS 提出的容器运行标准,早于 OCF 标准。CoreOS 目前是 OCI 成员之一,在大力推进 OCI 的发展,appC 和 OCI 最终可能会合并为一个标准。不同于 OCI,appC 更加成熟,其内容除了容器运行时环境,还包括:


  • 打包规范:appC 定义了如何将一个应用打包(tar 文件),如何保持环境变量、挂载点等内容。相比之下,OCF 仅定义了目录结构。

  • 镜像验证:appC 定义了如何验证镜像内容未被修改过,如何保证镜像安全传输;

  • 镜像传输:appC 定义了镜像传输的机制,包括 https, bittorrent 等,这一点与 Docker 的 centralized hub 有明显的区别。

  • 目前基于 appC 规范已经有不少实现,如 Jetpack, Kurma, rkt 等。其中 rkt 是 CoreOS 对 appC 的标准实现。


3. Nulecule


Docker 对应用的打包方式仅仅局限于单个容器层面,我们可以使用 Dockerfile 描述一个容器配置,然后打包、分发镜像,之后该容器便可以在任何 Linux 机器上运行。但是,Docker 缺少一个多容器运行的标准:既如何描述一个由多容器组成的应用。目前一些基于 Docker 的集群管理系统已经能够支持多容器的部署,比如 Docker Swarm,Kubernetes,但是这些系统并没有定义一个标准的、通用的、可移植的格式。此外,此类系统的特点是将多容器应用的部署当做系统的状态,即他们更多的是强调应用的调度、互联、监控,而非应用的部署。缺少复合应用的支持,使 Docker 的许多特点黯然失色,因为实际生产环境中的应用必然是由多应用构成的。例如:我们现在可以很方便地部署一个 redis 容器,但是部署 redis cluster 容器很困难,更不用说基于 redis cluster 的应用。


红帽公司在 2015 年提出了 Nulecule,该项目定义了一个多容器应用部署的规范,包括应用的元数据、依赖、参数配置等等。应用发布者只需要依照 Nulecule 的规范提供应用的构成方式,然后将此构成方式打包成 Docker 镜像发布。Nulecule 的打包方式可以参考:https://github.com/projectatomic/nulecule/tree/master/spec/examples/template。


具体来讲,Nucecule 包括以下文件:


  1. Dockerfile

  2. artifacts

  3. (1)kubernetes

  4. (2) pod.json

  5. (3)service.json

  6. Nulecule

  7. README.md


  • Dockerfile 将该目录所有文件打包成 Docker 镜像;

  • Nulecule 文件是具体的应用描述,例如每个组件的容器镜像,还包括上面提到的依赖、参数配置等;

  • artifacts 目录包括底层集群管理系统所使用的配置文件。

  • Nulecule 本身只是一个规范文档,红帽公司基于 Nulecule 实现了 Project Atomic,包括命令行工具 atomic。运行一个应用和运行一个容器的方式几乎相同,例如:使用下述命令即可启动一个应用:“atomic run company/myapp:v0.1”。其中镜像company/myapp:v0.1为前文提到的打包后的 Docker 镜像。


4. TOSCA


TOSCA(Topology and OrchestrationSpecification for Cloud Applications),是 OASIS 维护的一套用于描述应用和基础设施的标准,包括服务组件类型、组件关系、操作方式(例如,部署,补丁,关机)等等。这些描述独立于创建服务的供应商、任何特定的云服务提供商或托管服务的技术。采用 TOSCA 标准的项目主要有 OpenStack Heat,Cloudify 等。


TOSCA 并非为容器而生,有人将 TOSCA 和 Nulecule 做对比,认为 Nulecule 可以粗略地理解成容器版的 TOSCA 。尽管有相似之处,但 TOSCA 包含了大量规范细则,涉及面非常广。


5. Cloud Native


经过长期发展,云计算领域逐渐认识到应用架构模式已经成为云计算发展的瓶颈,因此,国外几乎所有互联网公司联合成立了 Cloud NativeComputing Foundation,来促进云计算的发展,旨在提高企业对上述模式的采纳程度。简单来讲,cloud native 指的是:


  • 容器为载体:使用容器作为应用运行、交付的载体,可以提高开发效率、增大代码重用率、简化部署等;

  • 动态管理:建立一套中心管理系统(私有云或公有云)来动态调度容器、机器资源,提高运维效率,机器使用率;

  • 微服务架构:利用服务依赖解耦合来提高敏捷性,降低代码维护开销。

二、项目类

本节综述了目前开源社区和互联网公司围绕容器技术开发的相关项目。这里只列举出了较为完善和流行的项目。


1. Docker Machine


Docker Machine 是 Docker 公司为解决 Docker 安装、环境配置等问题而开发项目,现在已经支持 10 余种云平台和虚拟机软件,包括 AWS、OpenStack、VirtualBox 等。创建一个支持 Docker 的机器只需要使用命令:“docker-machine create –d virtualbox default” 。Docker Machine 屏蔽了底层资源的复杂性,使得开发人员可以自动化创建、删除机器资源,尽可能地避免在平台差异性上消耗精力。


2. Swarm


Swarm 是 Docker 公司为解决容器集群化而开发的项目。Swarm 将多台主机抽象成一台主机,用户可以像使用一台主机般使用 Docker。例如,当使用命令“docker run app”时,Swarm 会根据集群状态将容器调度到一台远程的服务器运行,用户同样可以使用“docker ps”来查看当前容器状态。对于用户而言,Swarm 的调度是透明的。


Swarm 极大程度地兼容了 Docker 的 API,同时有效地调度集群资源,向容器集群化迈出了一大步。Swarm 还在不断开发中,需要解决容器互联、数据共享等迫切问题。


3. Compos


Compose 是 Docker 公司解决容器编排的项目,其前身是 Fig 项目。Compose 解决的问题类似 Nulecule 规范,既如何部署多容器应用。不管是 Docker 本身也好,Machine、Swarm 等项目也好,都集中在了单容器应用,Compose 很大程度上是对前面项目的补充。用户向 Compose 提交一个 yaml 文件,包含所有容器的配置,例如各自的端口、容器互联信息等;Compose 根据该文件内容,启动容器。Compose 的具体格式,可以参考:https://docs.docker.com/compose/yml


4. Mesos


Mesos 是一套资源管理与调度平台,目前可以支持上千台机器的管理任务。Mesos 对资源的管理方式是独有的两层调度:Mesos 核心调度器负责管理所有机器资源,并为上层 Framework 提供计算资源。Framework 是第二层调度器,它根据核心调度器提供的资源判断是否满足需求,如果满足需求,则运行 Framework 所管理的任务;否则重新像核心调度器申请资源。常见的 Framework 有 Marathon, Chronos,分别负责长时间运行的服务和 Cron 任务,其他 Framework 还包括常用的大数据平台,例如 Spark、Hadoop 等。


5. Kubernete


Kubernetes 来自于 Google 内部的大规模集群管理工具 Borg,根据官方说法“Kubernetes 代表了 Google 过去十余年设计、构建和管理大规模容器集群的经验”。简单地说,Kubernetes 是一个管理跨主机的容器化应用的系统,支持多容器部署、高可用性、应用弹性伸缩、跨主机网络、负载均衡、服务发现等应用级功能,同时支持集群自恢复机制、资源调度、资源隔离、监控等集群级功能。Kubernetes 是目前唯一遵循“一切皆容器”的项目,既所有功能都是基于“应用容器化”实现,并稳定而快速地发展着。


6. Hyper


Hyper 是 HyperHQ 公司发布了的一个开源项目,初衷是结合 Docker 容器和虚拟机的优点,可以在 hypervisor 上运行 Docker 镜像的引擎。根据 Hyper 官方的说法,他们与 Docker 的核心区别在于 Hyper 没有使用 Container 技术,而是通过 VM 直接运行 Docker 镜像,是一个完全基于虚拟化的解决方案。


7. Containerd


Containerd 是 docker 公司开源项目,旨在为 runC 提供守护进程。Containerd 沿袭了 docker C/S 的结构,server 守护进程的核心是一个 eventloop,负责监听容器的创建,销毁,快照等事件;client 名为 ctr,通过 gRPC 与 server 通信。


Containerd 还处在非常早期的阶段,功能还并不完善。docker 公司发布该项目的主要是表明其对容器生态环境的支持,也同时汲取 runC 高级特性对 docker 进行互补。


8. Clear Container


Clear Container 是由 intel 推出的 Clear Linux( Clear Linux 是 Intel 提供的面向云场景的 linux 发行版)中的一项技术,通过将虚拟机和容器结合起来,旨在提供安全容器。官方宣称目标是让用户可以充分使用虚拟机的隔离,同时拥有容器的部署能力。

三、最小 OS

1. RancherOS


RancherOS 是 Rancher Labs 的一个开源项目,其宗旨是开发一个支持 docker 的最小化操作系统。在 RancherOS 中,所有应用都采用容器,包括系统程序 udev, rsyslog 等;同时,RancherOS 用 docker daemon 取代了传统的初始化系统如 sysvinit、systemd。承载初始化任务的 docker daemon 称为系统 Docker,该系统 docker 会创建一个特殊的系统服务容器,即用户 Docker,来负责管理用户的 docker 容器,避免了用户对系统 docker 容器的直接操作。具体系统结构可以参加 github 项目主页:https://github.com/rancher/os


2. CoreOS


CoreOS 本身是 Linux 的一个发行版,但与其他发行版(如 Centos、Ubuntu)有着很大的区别:CoreOS 是为容器集群而生。不同于许多基于 Linux 做容器管理、编排系统的项目,CoreOS 将这些功能并入了操作系统中。这样,每个装有 CoreOS 的主机就可以随时随地加入一个 CoreOS 集群而不需要额外配置。对开发人员而言,无论集群中有多少 CoreOS 主机,操作方法都是相同的。


CoreOS 主要开发了两个项目来达到这一目的:etcd 和 Fleet。etcd 是分布式的键值存储系统,主要负责 CoreOS 集群中节点间的服务发现和配置共享;etcd 提供多种功能来保证集群的高可用性。Fleet 是分布式的 systemd 系统。对用户而言,与操作单机 systemd 无差别,fleet 会将用户的 systemd unit 动态分发到集群中。


3. Project Atomic


Project Atomic 是红帽公司开发的操作系统,专门为运行容器而作了优化。Project Atomic 采用 docker 运行容器、kubernetes 管理容器,使用 systemd 做系统服务,rpm-ostree 做系统包管理。其中 rpm-ostree 实现了 Atomic 升级,是红帽主推的功能之一。它的核心原理是升级操作系统是原子操作。Atomic 会将需要升级的内容保存在专门的目录,分开存储,如此以来,Atomic 可以将操作系统的变更进行版本控制,当出现问题,可以快速回滚到上一个版本。


4. Ubuntu Core


snappy Ubuntu 是一个专为云平台和智能设备打造的全新 ubuntu 操作系统。Canonical 公司对 Ubuntu Core 的核心优势做出以下几点评论:


  • 安全——Snappy 应用受 Canonical 的 AppArmor 内核安全系统限制,该系统提供了严格的、基于 MAC 的隔离和人性化的安全配置文件。

  • 可靠性——Snappy 可以提供可靠的更新,在自动修复安全问题的同时,它还能够更快地更新云上的服务器。

  • 更好的开发体验——创建 snappy Ubuntu 应用比传统打包方式简单许多。

  • 扩展性——Ubuntu Core 支持许多模块化框架,它们可以由与 Canonical 合作的供应商提供。

  • ubuntu core 包含四层:Application,Framework, Ubuntu Core 和 Enablement 层。Application 层将所有应用进行了隔离,因此用户可以下载安装任意的应用;fromework 曾用来扩张 ubuntu core,例如 docker 即是 ubuntu core 中的一个 framework,为 ubuntu core 提供运行容器的框架。Ubuntu Core 层即 Canonical 提供的最小 OS,用户可以通过 snappy 命令行安装多个 ubuntu core,来对系统进行原子更新。Enablement 层是硬件层,由设备提供商或者 Canonical 公司提供。

  • Canonical 公司有意将 snappy 安装模式引入到新的 ubuntu 桌面系统,使 snappy 包管理和 debian packages (deb)共存。至于是否 snappy 会代替 dpkg,还有待时间的考量


5. Microsoft Nano


Nano 是 Windows Server 带来一个全新的 Nano Server 选项。这是微软配合 Docker 所产生的一个底层的 OS. 据微软称,Nano Server 体积非常苗条、极为精简,极佳优势,剥离了 GUI,专注于云基础设施、云应用程序以及容器。


6. Vmware Photon


Vmare Photon 是 Vmware 为 vSphere 而优化的 Linux 发行版,专门为运行容器而生,支持多项容器技术如 docker, rkt 和 pivatal gardencontainer。Vmware Photon 的设计也遵循了其他最小化 OS,具有运行快,体积苗条,强化容器安全等优点。Photon 的主要使用对象是采用了 Vmware 虚拟化技术的客户 - Photon 可以使他们轻松地在已有的基础设施中运行容器,并得到企业级的支持。


本文转载自才云 Caicloud 公众号。


原文链接:https://mp.weixin.qq.com/s/K87oQxEQ73EsnfT1Z6cXUA


2020-03-12 22:53826

评论

发布
暂无评论
发现更多内容

SecureFX for Mac(ftp文件传输工具)

晴雯哥

又一个小而美的涵盖多个实际场景的高并发项目完结了

这我可不懂

软件开发 TDD 测试驱动开发

三策略,六步骤,Jenkins 迁移到极狐GitLab CI 的终极指南

极狐GitLab

ci DevOps gitlab 持续集成 jenkins

小程序转换工具—Antmove 使用教学

FN0

小程序 Antmove

代码迭代:软件开发者在众包平台的发展之路

知者如C

MatrixOne 实战系列回顾 | 建模与多租户

MatrixOrigin

分布式数据库 云原生数据库 MatrixOrigin MatrixOne HTAP数据库

五个提升SQL语句性能的小窍门,进一步提升查询性能

高端章鱼哥

数据库 sql

大数据的技术运用:探索未来的无限可能性

EquatorCoco

大数据 技术应用 城市智能化 医疗健康

MatrixOne完成与欧拉、麒麟信安的兼容互认

MatrixOrigin

分布式数据库 云原生数据库 MatrixOrigin MatrixOne HTAP数据库

有限元分析初学者需要关注哪些问题?

思茂信息

仿真软件 仿真技术 有限元分析 有限元仿真 有限元技术

AppLink上的小鹅通能实现什么操作呢?

RestCloud

APPlink

弹性云主机支持多种规格

天翼云开发者社区

云计算 云主机 云平台

情感语音识别技术的发展趋势与前景

来自四九城儿

软件测试 |人工智能数据生成,ChatGPT引领测试新风潮

测吧(北京)科技有限公司

测试

Live Home 3D Pro for mac(3D家居设计软件) 4.8.3永久激活版

mac

3D家居设计软件 苹果mac Windows软件 Live Home 3D Pro

你这些网站都不知道,怎么摸好鱼?

秃头小帅oi

前端 低代码 在线 程序选

避免defer陷阱:拆解延迟语句,掌握正确使用方法

伤感汤姆布利柏

专家分享——CAE仿真软件学习心得

智造软件

仿真 CAE 仿真软件 CAE软件 altair

交易所开发:加密货币交易平台开发的见解

区块链软件开发推广运营

交易所开发 dapp开发 区块链开发 链游开发 公链开发

云电脑运行原理分析

天翼云开发者社区

虚拟化 云平台 云电脑

持续集成指南:GitHubAction 自动构建+部署AspNetCore项目

EquatorCoco

GitHub 持续集成 集成测试

Xmind for Mac(思维导图软件) 24.01永久激活版

mac

XMind 思维导图软件 苹果mac Windows软件

MatrixOne 支持多样化生态工具,持续提升开发者体验

MatrixOrigin

分布式数据库 云原生数据库 MatrixOrigin MatrixOne HTAP数据库

IP代理如何助力你的营销业务?如何选择?

Geek_ccdd7f

分布式应用服务的拆分

快乐非自愿限量之名

分布式 开发应用 应用开发

来听B站音乐UP主从容老师讲解GuitarPro和Earmaster

淋雨

Guitar Pro EarMaster 吉他 声乐 视唱

超过5000+企业使用的ETL平台

RestCloud

ETL

亲身体验云原生顶会北美 KubeCon,5个要点和4个 Fun Facts

小猿姐

Kubernetes 云原生 cncf KubeCON

聚焦数据安全,神州数码联合多方发布《数据分类分级自动化建设指南》

科技热闻

MySQL索引入门

互联网工科生

MySQL 数据库

计算网络之MSTP协议与VRRP协议

不在线第一只蜗牛

计算机网络 计算机知识 协议解析

Container容器技术开源项目综述_开源_才云科技_InfoQ精选文章