AICon 上海站|日程100%上线,解锁Al未来! 了解详情
写点什么

Knative 实战:基于 Kafka 实现消息推送

  • 2019-11-11
  • 本文字数:1582 字

    阅读完需:约 5 分钟

Knative 实战:基于 Kafka 实现消息推送

背景

消息队列 for Apache Kafka 是阿里云提供的分布式、高吞吐、可扩展的消息队列服务。消息队列 for Apache Kafka 广泛用于日志收集、监控数据聚合、流式数据处理、在线和离线分析等大数据领域,已成为大数据生态中不可或缺的部分。


结合 Knative 中提供了 KafkaSource 事件源的支持, 可以方便的对接 Kafka 消息服务。


另外也可以安装社区 Kafka 2.0.0 及以上版本使用。

在阿里云上创建 Kafka 实例

创建 Kafka 实例

登录消息队列 Kafka 控制台, 选择【购买实例】。由于当前 Knative 中 Kafka 事件源支持 2.0.0 及以上版本,在阿里云上创建 Kafka 实例需要选择包年包月、专业版本进行购买,购买之后升级到 2.0.0 即可。


部署实例并绑定 VPC

购买完成之后,进行部署,部署时设置 Knative 集群所在的 VPC 即可:


创建 Topic 和 Consumer Group

接下来我们创建 Topic 和消费组。


进入【Topic 管理】,点击 创建 Topic, 这里我们创建名称为 demo 的 topic:



进入【Consumer Group 管理】,点击 创建 Consumer Group, 这里我们创建名称为 demo-consumer 的消费组:


部署 Kafka 数据源

部署 Kafka addon 组件

登录容器服务控制台,进入【Knative 组件管理】,部署 Kafka addon 组件。


创建 KafkaSource 实例

首先创建用于接收事件的服务 event-display:


apiVersion: serving.knative.dev/v1kind: Servicemetadata:  name: event-displayspec:  template:    spec:      containers:      - image: registry.cn-hangzhou.aliyuncs.com/knative-sample/eventing-sources-cmd-event_display:bf45b3eb1e7fc4cb63d6a5a6416cf696295484a7662e0cf9ccdf5c080542c21d
复制代码


接下来创建 KafkaSource:


apiVersion: sources.eventing.knative.dev/v1alpha1kind: KafkaSourcemetadata:  name: alikafka-sourcespec:  consumerGroup: demo-consumer  # Broker URL. Replace this with the URLs for your kafka cluster,  # which is in the format of my-cluster-kafka-bootstrap.my-kafka-namespace:9092.  bootstrapServers: 192.168.0.6x:9092,192.168.0.7x:9092,192.168.0.8x:9092  topics: demo  sink:    apiVersion: serving.knative.dev/v1alpha1    kind: Service    name: event-display
复制代码


说明:


  • bootstrapServers: Kafka VPC 访问地址

  • consumerGroup: 设置消费组

  • topics:设置 Topic


创建完成之后,我们可以查看对应的实例已经运行:


[root@iZ2zeae8wzyq0ypgjowzq2Z ~]# kubectl get podsNAME                                    READY   STATUS    RESTARTS   AGEalikafka-source-k22vz-db44cc7f8-879pj   1/1     Running   0          8h
复制代码

验证

在 Kafka 控制台,选择 topic 发送消息,注意这里的消息格式必须是 json 格式:



我们可以看到已经接收到了发送过来的 Kafka 消息:


[root@iZ2zeae8wzyq0ypgjowzq2Z ~]# kubectl logs event-display-zl6m5-deployment-6bf9596b4f-8psx4 user-container
☁️ CloudEvent: valid ✅Context Attributes, SpecVersion: 0.2 Type: dev.knative.kafka.event Source: /apis/v1/namespaces/default/kafkasources/alikafka-source#demo ID: partition:7/offset:1 Time: 2019-10-18T08:50:32.492Z ContentType: application/json Extensions: key: demoTransport Context, URI: / Host: event-display.default.svc.cluster.local Method: POSTData, { "key": "test" }
复制代码

小结

结合阿里云 Kafka 产品,通过事件驱动触发服务(函数)执行,是不是简单又高效?


这样我们利用 Knative 得以把云原生的能力充分释放出来,带给我们更多的想象空间。欢迎对 Knative 感兴趣的一起交流。


实操视频演示


00:00 / 00:00
    1.0x
    • 3.0x
    • 2.5x
    • 2.0x
    • 1.5x
    • 1.25x
    • 1.0x
    • 0.75x
    • 0.5x
    网页全屏
    全屏
    00:00


    作者介绍


    元毅,阿里云容器平台高级开发工程师,负责阿里云容器平台 Knative 相关工作。


    本文转载自公众号阿里巴巴云原生(ID:Alicloudnative)


    原文链接


    https://mp.weixin.qq.com/s/YRpxBNcKlWXdRuMrYaAzig


    2019-11-11 08:002639

    评论

    发布
    暂无评论
    发现更多内容

    光神经网络ONN:直接对光信号进行神经网络处理

    Zilliz

    软件测试/测试开发 | 接口测试中如何使用Json 来进行数据交互 ?

    测试人

    json 软件测试 自动化测试 接口测试 测试开发

    荣誉+1,OpenMLDB 荣获 InfoQ 2022 年度杰出开源运营团队

    第四范式开发者社区

    人工智能 机器学习 数据库 开源 特征

    Linux Radix Tree详解

    Linux内核拾遗

    数据结构 Linux内核 Radix Tree

    ING国际银行基于Volcano的大数据分析平台应用实践

    华为云开发者联盟

    云计算 云原生 后端 华为云 企业号 1 月 PK 榜

    技术人职场系列-务虚与务实

    CatTalk

    技术人生 职场发展

    华为云发布CodeArts Check代码检查服务,守护软件质量和安全

    IT科技苏辞

    华为云服务治理 | 微服务常见故障模式

    IT科技苏辞

    2022年15款实用有趣的小程序推荐

    FN0

    小程序 小程序商城 小程序模版

    HummerRisk V0.9.0:增加RBAC 拓扑图,云检测、漏洞、主机等模块增加规则

    HummerCloud

    开源 云原生安全

    华为云服务治理 | 服务治理的一般性原则

    与时俱进的时代

    2022年的魔力象限领导者,为什么是华为数通?

    白洞计划

    华为

    一个专科生的 2022 年终总结——默默努力,成为更好的自己

    程序人生 年终总结 成长感悟 自学之路

    KaiwuDB 首席解决方案专家 金宁:1.0 时序数据库核心功能解读

    KaiwuDB

    时序数据库 海量数据高吞吐 复杂查询

    高效节能 | 智慧灯杆综合管理解决方案

    AIRIOT

    物联网 智慧灯杆

    DTSE Tech Talk 第18期丨统计信息大揭秘,数仓SQL执行优化之密钥

    华为云开发者联盟

    数据库 sql 后端 华为云 企业号 1 月 PK 榜

    火出圈的《中国奇谭》,如果浪浪山的小妖怪们也用WorkPlus

    BeeWorks

    华为云代码检查插件(CloudIDE版本)使用指南

    与时俱进的时代

    90%开发都会忽略的性能调优点:针对返回大数据量的接口,10分钟内找到提升带宽瓶颈的突破口

    KINDLING

    Java 性能调优 响应时间 ebpf 排障

    数据中心的浪浪山

    脑极体

    软件测试/测试开发 | 接口自动化测试中如何对xml 格式做断言验证?

    测试人

    软件测试 自动化测试 接口测试 测试开发 接口自动化

    软件测试/测试开发 | 接口自动化测试如何搞定 json 响应断言?

    测试人

    json 软件测试 自动化测试 接口测试 测试开发

    简述JavaScript异步函数 async/await

    devpoint

    JavaScript Async await es7

    爆竹声响又是一年春节到 归心似箭阖家团圆享美食

    极客天地

    【表面缺陷检测】表面缺陷检测数据集汇总

    机器不学习我学习

    SAST-静态应用安全测试

    华为云PaaS服务小智

    模块七--王者荣耀商城异地多活架构设计

    闲人Eric

    架构实战营

    2022年度 FinClip 扩展SDK推荐!

    FN0

    小程序 sdk SDK 教程

    别忘记我:通过局部-全局内容建模进行文本擦除方法

    合合技术团队

    图像识别 图像处理 文本 图像擦除

    以数据赋能AI量产落地,澳鹏团队在浦东AI智能创新应用大赛斩获佳绩

    澳鹏Appen

    人工智能 数据标注

    【Dubbo3终极特性】「流量治理体系」一文教你如何搭建Dubbo3的控制台服务Dubbo-Admin

    码界西柚

    dubbo RPC Dubbo3 Dubbo-Admin

    Knative 实战:基于 Kafka 实现消息推送_语言 & 开发_阿里云容器平台_InfoQ精选文章