专访阿里巴巴林伟:三项世界级挑战背后的思考、实践和经验

  • 时间:
  • 浏览:9
  • 来源:大发彩神8下载最新版—大发快三官网大发彩神

林伟:希望从事实时统计的开发者(Galaxy次责),這個次责适合所有用户

林伟,阿里巴巴大数据事业部资深架构师,原微软Cosmos/Scope核心开发人员, 现负责阿里巴巴大数据计算平台总体架构,该平台是阿里巴巴核心计算分析平台,承担阿里内部内部结构绝大数计算任务。林伟作为一名分布式系统研究员,在国外一流会议OSDI, SIGMOD, NSDI, VLDB发表多篇论文。是大数据存储,分布式计算,数据查询优化,分布式调度等领域的专家。具有10多年研究和开发经历,分别打造微软和阿里内部内部结构大型数万台级别数据中心的计算平台。

论坛火热报名中,成功预约报名,享受峰会始于了后全套资料下载并可参加抽奖。

12月6日晚20:00,来自阿里巴巴的资深架构师林伟将在在线论坛上发表《阿里大规模数据计算与处理平台》的演讲。

云栖社区:在你看来,分布式系统采集应该具备那些关键内部结构?有那些原则可遵循?都还可以分享下思路经验?

林伟:多看OSDI, SOSP, ATC, SIGMOD,VLDB等paper,一阵一阵是来自于产业界的paper。一齐多读code(现在开源code太大,是有一个 很好的素材),最好带我觉得际那些的大问题去改写。通过paper去了解当当我们当当我们进行這個选用面前的理由。

林伟:采集也不 怎么才能 才能 在有限的环境中,在有限性能的硬件条件上,做到良好的平衡,使得业务主要场景取得最好性能,具体都还可以参考我在今年云栖大会的分享。

云栖社区:对于架构师的成长,有那些建议否则 经验分享?以及请你推荐一本最喜欢的技术书籍(书单更佳)

为了帮助当当我们当当我们更好地了解讲师及议题,评估本次演讲,云栖社区对讲师进行了采访。

c) 更加整合多种计算框架使得用户业务不利于把多种计算办法有机整合在一齐,比如流计算,离线,graph,机器学习等等;

云栖社区:在本次在线峰会上,该内容适合那些听众?

a) 低成本,高性能:当当我们当当我们没办法继续提供计算平台性不利于够支持海量数据处理,下降当当我们当当我们享用大数据分析带来成本。使得大数据分析不利于走进平常百姓。這個会要求更好的更强的查询优化器,现在都有這個方向花大力气;

林伟:双11当天,大数据增量计算平台Galaxy承担了海量数据实时统计计算,最难的是怎么才能 才能 保证分类的实时统计和汇总统计之间数据的一致性。当当我们当当我们在实现全部在分布式场景里支持可逆操作的增量计算,這個在行业内也是领先的

受访嘉宾:

以下为采访正文:

今年双11,阿里云大数据平台扛住了巨大的技术挑战,主要体现在两方面:实时数据处理技术方面,包括日志数据和交易数据的实时采集、采集、计算,最终在媒体直播大屏上实时渲染和展示,整个链路的稳定性保障压力是巨大的。双11期间阿里云实时大数据系统完成了三项世界级的挑战:1.低延时,从零点第一笔交易处在,到媒体大屏上显示出统计结果,整个处理过程仅延时仅几秒钟;2.高性能、高吞吐,最高处理效率达到千万条/秒,流计算的整体性能比去年提升了N倍;3.高可用,全天服务不降级、无故障,扛下了高峰期所有的流量。而在超大规模的离线数据处理方面,双11期间,阿里云MaxCompute扛下了单天数据处理峰值上百PB,以及百万级的调度作业,这对于作业调度、计算性能、系统稳定性等都有极大的考验。本次分享,林伟将为当当我们当当我们介绍到双11前中后大数据计算平台对于整个双11的成功提供了那些不可或缺的支持。

林伟:阿里云大数据平台在双11承担了海量数据分析服务,各个部门会在计算平台上对于相关数据进行深入分析从而保障双11成功进行,比如价格监测,是是不是真正的实惠,仓储预算,用户群体画像,行为分析,交易风险控制等等

云栖社区:随着业务的飞速发展,你认为阿里云大数据平台的下一步发展的方向将是那些呢?

云栖社区: 都还可以简要介绍下双11期间阿里云大数据平台具体承接了那些业务吗?

d) 开发者友好:更好编程,编译,调试,更好进行实验等等。

b) 机器学习: 更加强大的机器学习框架,不利于利用更好各种计算资源比如GPU/FPGA等等来加速机器学习过程;

云栖社区:“今年双11,阿里云实时大数据系统完成了三项世界级的挑战”,性能显著提升的面前,阿里云大数据平台在技术上做了那些关键的优化?

林伟:下一步的发展会聚焦在如下方向: