Apache Pulsar x Apache Flink Meetup·| 杭州站

2019年3月23日 13:00 ~ 2019年3月23日 18:00
不限制人数
ApachePulsar
活动票种
    付费活动,请选择票种

    第三方登录:

    活动内容收起

    活动介绍

    Apache Pulsar是下一代的云原生流数据平台。历时两年,Apache Pulsar 从孵化到茁壮成长。18年9月成为顶级项目后,Apache Pulsar社区的伙伴们开始了硅谷以外的布道之旅,从此在中国社区开始了不平凡的历程。从18年10月北京Meetup为社区小伙伴讲解了Apache Pulsar的技术细节,Pulsar在生产线上的生产实践;到12月上海Meetup为大家介绍如何使用Pulsar打造实时数据Pipeline,解构Pulsar强大的生态组件 - Functions/IO, Schema 以及最新发布的Pulsar SQL。现在Apache Pulsar社区联合Apache Flink社区杭州开启中国之旅第三站,这次的强强联合会带给大家什么惊喜呢?朋友们,来杭州一起探秘吧!


    Apache Pulsar大事记

    • 2016.12  Yahoo开源了Pulsar

    • 2017.06  Pulsar进入ASF孵化

    • 2018.02  Apache Pulsar 2.0发布,Pulsar Functions横空出世

    • 2018.08  Apache Pulsar 2.1发布,Pulsar Connector、Tiered Storage正式亮相

    • 2018.09  Apache Pulsar毕业成为ASF顶级项目

    • 2018.09  Apache Pulsar 2.2发布,Pulsar SQL亮相

    • 2018.10  Apache Pulsar Meetup | 北京站

    • 2018.12  Apache Pulsar Meetup | 上海站

    • 2019.02  Apache Pulsar 2.3发布

    • 2019.03  Apache Pulsar x Apache Flink Meetup | 杭州站


    活动日程安排

    Apache Pulsar Apache Flink meetup·杭州站

    13:00-13:30

    签到

    13:30-14:00

    翟佳

    Introduction of Apache Pulsar

    14:00-14:30

    郭斯杰

    Pulsar 2.3.0 特性解析

    14:30-15:15

    李鹏辉

    从3000万到60亿+:智联的Apache Pulsar之路

    15:15-15:20

    社区小伙伴们

    Lightening Talk - Pulsar Community

    15:20-15:40

    中场休息

    15:40-16:40

    赵开兴 / 郭斯杰

    Elastic Batch Processing on Pulsar and its tiered storage using Flink

    16:40-17:25

    冉小龙

    Go in Apache Pulsar

    17:25-17:55

    会后交流

    17:55-18:00

    合影


    演讲详情


    1. Apache Pulsar介绍及2.3特性解析

    翟佳 | 郭斯杰

    Apache Pulsar 和 Apache BookKeeper 的PMC成员和Committer


    摘要

    Apache Pulsar是下一代分布式流数据平台。Apache Pulsar被yahoo开源并在2018年9月毕业成为Apache基金会的顶级项目,并逐渐从最初的一个消息系统演化成集消息、存储和函数式轻量化计算的流数据平台。今年2月下旬Apache Pulsar正式发布了的2.3.0版本。从消息系统模块的功能加强到轻量化计算模块可用性的提高,Apache Pulsar 2.3.0版本通过近500个commits,增加了一系列新的特性和功能。

    本次分享先简单介绍下Apache Pulsar是什么,它的发展简史,然后重点介绍Apache Pulsar在2.3.0中加入的新的功能和Features,包括Pulsar functions in Kubernetes, 新的Pulsar IO Connecters,新的基于Token的认证方式,Python客户端中Schema的支持和状态存储API等。


    2. 从3000万到60亿+:智联的Apache Pulsar之路

    李鹏辉 | 智联招聘平台架构组工程师, Pulsar Committer


    摘要

    智联在2018年初下定决心打造智联的事件中心。从最开始选型,到Pulsar落地生产,到现在60亿+消息量。智联围绕Apache Pulsar打造的事件中心开始在智联内部发挥了重要的作用。智联总结了线上实践经验和最佳实践方案。在不同场景中合理使用Pulsar以及各个场景需要注意的方方面面。

    本次主要分享Pulsar在智联落地生产的经历和实践经验,以及围绕Pulsar进行数据平台开发的规划和展望。


    3. Elastic Batch Processing on Pulsar and its tiered storage using Flink

    赵开兴(纯庚)| 阿里巴巴 技术专家,北京大学硕士,2018年加入阿里巴巴计算平台事业部,带领一个团队负责阿里云实时计算产品的技术支持工作,对Apache Flink和阿里云实时计算产品的技术特点、应用场景、应用过程可能遇到的问题有丰富的经验和理解。

    郭斯杰 | Apache Pulsar 和 Apache BookKeeper 的PMC成员和Committer


    摘要

    批流融合是大数据计算的趋势。批流融合包含两个层面:计算和数据。Apache Flink是批流融合的通用大数据计算框架,它提供了批流统一的计算API和引擎。Apache Pulsar是云原生的分布式消息流数据平台,采用存储和计算分离,以及分片层级存储的架构。因为其分层分片存储的架构以及批流统一的数据抽象,为批流融合的弹性计算提供了很好的数据基石。Apache Flink和Apache Pulsar的结合可以很好地做到批流融合的大数据计算,也是业界广泛看好的一个方向。我们之前在一些分享中,主要从流的角度在探讨Pulsar和Flink的结合。在这次分享中,我们主要从批的角度来探讨Pulsar和Flink的结合,以及Flink如何使用Pulsar的层级存储进行计算。

    演讲内容包含:

    • 什么是Flink

    • 主要特点 & 场景

    • Pulsar的分片存储和层级存储

    • Pulsar Flink Batch Connector - 集成和实现

    • 下一步社区规划


    4. Go in Apache Pulsar

    冉小龙 | Go语言爱好者,开源爱好者,Apache Pulsar Contributor。曾就职于PingCap和比特大陆,现在在Apache Pulsar社区,主要负责Apache pulsar的pulsar-client-go项目。


    摘要 

    Go语言的优势和Go社区的不断壮大,带动了对go client的大量需求,目前Apache Pulsar社区提供了基于cgo封装的pulsar-client-go,但是cgo本身存在如下问题:

    1. 我们在使用cgo进行封装时遇到诸多问题;

    2. cgo本身性能上的问题以及难于debug,导致pulsar-client-go对go社区不够友好。

    以上两点促使我们基于原生的Go语言对pulsar-client-go进行封装。本次我要和大家分享我们在使用cgo进行封装pulsar-client-go时遇到的问题,如何对java client接口进行抽象,如何使用Go语言对pulsar-client-go进行再封装及项目的状态、规划和安排。


    线上直播,请参见大咖说:

    http://www.itdks.com/Home/Live/detail?id=18035


    想更多了解 Pulsar,欢迎阅读:


    更多有关演讲嘉宾和演讲内容的提前预览,请关注我们的微信公众号 ApachePulsar

    apachePulsar - 副本.JPG

    杭州meetup交流群,请扫描加群。二维码失效后,可以联系ApachePulsar公共号管理员。

    meetup.jpeg


    举报活动

    活动标签

    最近参与

    您还可能感兴趣

    您有任何问题,在这里提问!

    全部讨论

    还木有人评论,赶快抢个沙发!

    活动地点(查看大图)

    微信扫一扫

    分享此活动到朋友圈

    活动日历   03月
    25 26 27 28 1 2 3
    4 5 6 7 8 9 10
    11 12 13 14 15 16 17
    18 19 20 21 22 23 24
    25 26 27 28 29 30 31