最新发布《数智时代的AI人才粮仓模型解读白皮书(2024版)》,立即领取! 了解详情
写点什么

Concourse:可扩展的开源 CI 管道工具

  • 2016-05-05
  • 本文字数:1505 字

    阅读完需:约 5 分钟

Concourse 是一个开源的 CI 管道工具,它使用 yaml 文件对管道进行配置,以及设置无需配置的安装。Concourse 最近发布了第一个主要版本,目前已经可以下载1.1.0 版本。根据由 Pivotal 所赞助的团队所说,Concourse 的主要优点在于为管道提供明确的、第一级的支持;在容器中运行相互隔离的构建工作、可避免使用雪花型构建服务器、以及能够方便地访问构建日志等等。

Concourse 同时也表示,概念上的简单性是 Concourse 的另一个额外的优势:

Concourse 的最终目标是以尽可能少的独立变化部分提供一种具有表达性的系统。Concourse 设立了三种核心概念:任务、资源以及包含这两者的作业。

任务(Task)是执行的基本单元,表现为在一个全新启动的容器中所运行的脚本。容器已经经过了预处理,因此其中包含了一个输入与输出目录,任务脚本可在这些目录中运行。

资源(Resource)则表现为版本化资源的抽象位置,例如某个 repository。资源也可用于对进入或退出某个管道的外部依赖进行建模,或是表示更抽象的概念,例如时间触发器等等。资源的变更可被检测(检查)、获取(获得)以及发布(推送)。不同的资源类型(例如 Git、AWS S3 或触发器)可用于封装用于管道的各种样板代码,为 Concourse 的扩展提供了一个可适配的接口。

作业(Job)是由资源与任务构成的,通过构建计划实现。作业可由资源的变更所触发,也可以选择手动触发,以实现人工批准流程。下面的脚本展现了一个简单的作业:

复制代码
jobs:
- name: hello-world
plan:
- task: say-hello
config:
platform: linux
image_resource:
type: docker-image
source: {repository: ubuntu}
run:
path: echo
args: ["Hello, world!"]

一个作业计划的执行实例被称为一次构建(Build),Concourse 中的构建是可重复使用的,因为其中的任务在新的容器中也将重新运行。因此,构建的工作线程不会受到之前运行结果的变更所影响。此外,如果某次构建失败了,也可以通过一个名为 Fly 的 Concourse 命令行工具在某个容器中再一次在本地运行,通过这种方式实现更快的开发周期。此外,

通过使用 Fly 中的 Intercept 特性,运行在某个构建中的容器即使在运行期间(甚至是刚刚完成任务的短时间之内)也能够进行访问,这将极大地帮助用户进行调试。

管道就是通过作业实现的资源流变化的结果可视化展现。在一个部署过程中可定义多个管道,这些管道是相互隔离的。他们支持类似于 GoCD 方式的输入与输出,并且可在 yaml 文件中完成所有配置。

据 Concourse 团队所说,促使他们创建另一个 CI 工具的动力在于他们对现有的工具不太满意。举例来说, Jenkins 依赖于插件以及基于点击的配置,因此重建实例就是一个艰难的任务。而 GoCD 的问题在于“很难找到如何配置某些东西的信息,并且执行的层次结构很深又非常复杂。”

虽然 Concourse 可用于 CI 与 CD,但现有的资源缺乏某些更专注于部署的实现,因此持续交付与部署任务的实现就需要由用户来完成。此外,目前的仪表板提供的运维信息不够充分。不过,由于指标数据对于理解系统的表现与行为至关重要,因此“Concourse 可提供系统本身的健康状况指标,以及与正在运行的构建相关的各种指标。运维人员可以深入了解这些指标,以观察系统的健康状况。” Concourse 本身的管道指标都是公开暴露的。

Concourse 利用了 Pivotal 与 Cloud Foundry 中的某些术语和工具,例如通过Garden API 对于运行中的容器进行抽象,或是通过BOSH 实现发布的管理。因此,如果用户熟悉这些生态系统,对于Concourse 的上手将有所帮助。为了帮助用户克服新上手时在技能上的缺陷,可参考在线文档以及使用指南

查看英文原文 Concourse: Scalable Open Source CI Pipeline Tool

2016-05-05 19:003319
用户头像

发布了 428 篇内容, 共 172.0 次阅读, 收获喜欢 38 次。

关注

评论

发布
暂无评论
发现更多内容

Sync Folders Pro for Mac(文件夹数据同步工具) v4.6.7永久激活版

mac

苹果mac Windows软件 Sync Folders Pro 文件夹同步工具

Databend 开源周报第 115 期

Databend

大模型训练:自定义深度学习模型的策略与实践

百度开发者中心

大模型训练 文心千帆

如何将模型原点设置到模型的中心

3D建模设计

模型原点设置 原点归零 原点坐标

OmniGraffle Pro for mac(专业图表绘制软件) v7.22.1永久激活版

mac

苹果mac Windows软件 OmniGraffle Pro 专业绘图软件

大模型训练:数据与算法的关键融合

百度开发者中心

人工智能 模型训练 大模型

「我在淘天做技术」一篇文章告诉你商品团队在做哪些有意思的事?

阿里技术

校园招聘 商品域

Mac电脑网页视频处理工具iTubeGo中文免激活版

mac大玩家j

视频处理工具 视频编辑器 在线视频工具

专注二次元的 Niji 模型上线独立 APP;华为整体销量已超越苹果丨 RTE 开发者日报 Vol.68

声网

HTX 与 Zebec  Protocol 展开深度合作,并将以质押者的身份参与 ZBC Staking

西柚子

Kafka架构详解

tyrande

kafka 系统设计 架构设计 消息列队

深耕全面预算管理 拥抱企业数字未来

智达方通

自动化 全面预算管理 全面预算管理系统

高效利用内存资源:掌握Redis内存管理与淘汰策略

树上有只程序猿

redis 内存管理

万字长文详解低时延股票交易系统的设计

tyrande

交易所 事件溯源 股票系统 低延时

大模型训练中的Delta Tuning优化方法

百度开发者中心

人工智能 深度学习 大模型训练

iPaaS混合集成平台,打造数字化生态

RestCloud

数据同步 数字化升级 ipaas

精彩再现!LLUG 深圳场成功举办 | 附活动资料下载

OpenAnolis小助手

开源 演讲 龙蜥社区 LLUG Linux中国

cad设计绘图工具:AutoCAD 2024 for Mac

展初云

设计 Mac软件 cad AutoCAD 2024下载

Java基础面试题【Spring】一

派大星

Java 面试题

Java时间处理---Java8中时区相关类库介绍

程序员万金游

Java 面试 #java #程序员 #JavaSE

腾讯云大数据ES:使用Elastic APM监控SpringBoot服务的最佳实践

腾讯云大数据

ES

Linux 如何进行内存分配

这我可不懂

Linux

HTX 与 Zebec  Protocol 展开深度合作,并将以质押者的身份参与 ZBC Staking

大瞿科技

7天狂揽 1.3w star 的 MetaGPT,他们的目标让软件公司为之一惊

鼎道智联

GPT

当 BACnet 遇上 IoT,你将体验到不一样的大楼

华为云开发者联盟

云计算 后端 物联网 华为云 华为云开发者联盟

YouTube for mac(YouTube客户端)

iMac小白

YouTube客户端 YouTube mac

如何优化模型渲染性能

3D建模设计

性能提升 渲染优化

程序员常用的19款办公软件和开发工具推荐!

彭宏豪95

效率工具 开发工具 科技 办公软件 软件开发工具

HarmonyOS音视频开发概述

HarmonyOS开发者

HarmonyOS

大模型训练对深度学习图片检测速度和精度的影响

百度开发者中心

深度学习 大模型训练 千帆大模型平台

OpenHarmony页面级UI状态存储:LocalStorage

OpenHarmony开发者

OpenHarmony

Concourse:可扩展的开源CI管道工具_DevOps & 平台工程_Grischa Ekart_InfoQ精选文章