东华大学人工智能 Data Talk 精品系列—大数据平台&架构技术实践
收起
东华大学人工智能 Data Talk 精品系列
—— 大数据平台 & 架构技术实践
当数据成为企业的重要资产和金矿,并且成为指导商业发展的重要力量,社会上每一个人、组织以至政府都越来越重视数据的力量!
对于企业,随着业务的不断发展,数据量不断增大,如何让数据产生更大的价值,为业务发展服务?
本次大数据技术沙龙,东华大学联合DataFun技术社区邀请到网易、爱奇艺、星环科技等知名企业的大数据一线专家们,分享他们在不同业务领域的大数据实践和经验。
欢迎大数据技术工作有关的技术经理、架构师、产品总监、技术总监、数据科学家、CIO、CTO、软件工程师、算法工程师等参加活动。
主办方: 东华大学、DataFun社区、上海微鼎
协办方:上海市计算机学会人工智能专委会 、上海交大校友会IT协会、 东华大学校友会、码力兄弟、中生代技术、助通科技、中国零售行业CIO联盟、ALB直评、海上技术力量 、IT高管会 雅各布专栏、 IT大咖说
合作社区:清华大学数据科学研究院、大数据文摘
时间:2018年12月8日,13:00~17:00
地点:(上海长宁)延安西路1882号 东华大学 旭日新楼 428 报告厅
联系电话:62378463 13817853348 齐老师
活动微信:chinaviprice 注明:姓名+公司+职务
议程安排:
13:00--14:00 签到
14:00--15:00 网易 时间序列大数据平台应用实践
15:00--15:10 合影 休息
15:10--16:10 爱奇艺 大数据OLAP架构的实时演变
16:10--17:10 星环数据 大数据云的数据交换共享平台的架构探索
17:10--17:30 自由交流时间
详细介绍:
范欣欣 网易资深大数据工程师
嘉宾介绍:范欣欣,网易数据科学中心资深工程师,专注于HBase、TSDB等大数据系统的开发运维,主导网易工业互联网平台建设。
分享主题:时间序列大数据平台应用实践
演讲议题介绍:介绍时间序列大数据在互联网领域以及工业领域的主要应用场景,以及网易时间序列大数据平台的系统架构,最后介绍网易时序数据库针对时序数据所做的核心优化、功能特性等。
李光跃 星环数据服务团队资深工程师
嘉宾介绍:李光跃 星环数据服务团队资深工程师,现主要负责容器云平台上数据相关技术的研究,内容大致涵盖数据共享交换,数据治理,数据资产化等。
分享主题:大数据云的数据交换共享平台的架构探索
演讲议题介绍:容器技术的兴起催生出一系列基于容器的应用,而容器云正是其中的重要应用之一,在容器云中,大数据云是当前发展火热的方向之一。星环在过去的几年中,一直着力于容器技术(Docker,Kubernetes)的探索,并成功的将Hadoop平台包括自身的诸多产品全部云化,在这其中做了非常多的优化和改进使得大数据服务在容器中能够稳定且高效的运行,比如有状态容器本地存储,存储感知调度,数据局部性优化计算等等。由于容器独特的存储,网络的隔离性,多租户实现在容器云平台上体现的尤为简单,但是同时,这也为数据共享交换带来了难度,比如大数据平台本身的安全机制,容器空间的相互隔离,巨量数据流转以及业务层面的合规性要求等等。在原有的数据交换架构并无法满足容器云上数据交换需求的情况下,星环探索了全新的数据交换的架构设计,最终实现了多租户场景下的,租户和云平台间以及租户和传统大数据平台安全数据共享交换。
在本次分享中,将会着重分享分布式文件系统,分布式数据库上的数据共享交换的架构和实现。主要从多租户模型,权限管控,数据管理,任务调度和生命周期管理,工单审批/通知系统以及数据应用等对架构进行阐述,同时描述该架构在高性能、高可用、高并发的方面所做的工作以及下一步迭代改进的方向。
林豪 爱奇艺资深研发工程师
嘉宾介绍:林豪,爱奇艺资深研发工程师,2015年硕士毕业于上海交通大学,目前负责爱奇艺大数据OLAP服务,专注于推进Kylin、Impala、Kudu和Druid在爱奇艺的落地与优化,完善OLAP分析的服务矩阵。
分享主题:爱奇艺大数据OLAP架构的实时演变
演讲议题介绍:传统Hadoop分析模型往往是批处理,查询速度和数据延时制约了业务的分析,爱奇艺从2016年开始推进大数据分析的实时化,提供一系列产品覆盖了大部分业务实时分析的需求,包括离线报表(Kylin)、Ad-hoc分析(Impala)、实时分析(Kudu)和事件流(Druid)。本次分享介绍爱奇艺实时架构的演变,落地过程的技术实践,及其对业务的影响。
说明:
因场地有限,请带2张名片、持有效票二维码参加活动。拒绝空降。
欢迎大数据技术工作有关的技术经理、架构师、产品总监、技术总监、数据科学家、CIO、CTO、软件工程师、算法工程师等参加活动。
合作热线:62378463 13817853348 微信 :chinaviprice 齐老师
欢迎各政府机构、高校、企业、协会、社群、商会、技术大牛、技术极客、场地方 等各界朋友交流、合作!
主办方:
东华大学 教育部直属全国211重点大学。国家级虚拟现实内容制作应用型人才教育实训基地。面向社会开设人工智能技术研修班,有机器学习、深度学习等专业课程,师资力量雄厚,专家团队资源雄厚。同时开设大数据技术、区块链技术、虚拟现实技术培训课程。与国外著名科研机构、国际著名企业深度合作,常年开展海外技术研学交流。
DataFun定位于最“实用”的数据科学社区,主要形式为线下的深度沙龙、线上的内容整理。希望将工业界专家在各自场景下的实践经验,通过DataFun的平台传播和扩散,对即将或已经开始相关尝试的同学有启发和借鉴。DataFun的愿景是:为大数据、人工智能从业者和爱好者打造一个分享、交流、学习、成长的平台,让数据科学领域的知识和经验更好的传播和落地产生价值。
DataFun社区成立至今,已经成功在全国范围内举办数十场线下技术沙龙,有超过一百五十位的业内专家参与分享,聚集了万余大数据、算法相关领域从业者。
上海微鼎 专注信息技术服务十五年,提供人工智能、大数据技术、区块链技术、虚拟现实技术高端培训服务。累计培养和服务技术人才数万人次。与业界众多知名企业长期紧密合作。同时提供技术研发、咨询顾问服务等。与国外著名科研机构、国际著名企业深度合作,常年开展海外技术研学交流。
协办方:
合作伙伴: