作者：转自新智元（微信号：AI_era）
原创好文授权发布于魔窗公众号（magic-window），未经答应，推辞转载。
新智元报道
编辑：胡祥杰
新智元启动新一轮大雇用：COO、实行总编、主编、高级编译、主笔、运营总监、客户司理、咨询总监、行政助理等9大岗位全面开放。
简历投递：jobs@aiera.com.cn
HR微信：13552313024
新智元为COO和实行总编提供最高超百万的年薪鼓励；为骨干员工提供最完备的培训体系、高于业界均匀程度的工资和奖金。
加盟新智元，与人工智能业界首脑携手改变天下。
【新智元导读】12月18日腾讯大数据公布推出头向呆板学习的第三代高性能盘算平台——Angel，并预计于2017年一季度开放其源代码。腾讯首席实行官马化腾在朋侪圈发文称：“AI与大数据将成为将来各范畴的标配，等待更多业界偕行一起开源携手相助。”将于2017年开源的Angel是对标Spark的呆板学习盘算平台。蒋杰说，从前Spark能跑的，如今Angel快几十倍；从前Spark跑不了的，Angel也能轻松跑出来。本文内容包罗新智元对蒋杰的专访，以及蒋杰在大会上演讲的笔墨实录和PPT。
12月18日，腾讯大数据公布推出头向呆板学习的第三代高性能盘算平台——Angel，并预计于2017年一季度开放其源代码，鼓励业界工程师、学者和技能职员大规模学习利用，引发呆板学习范畴的更多创新应用与精良生态发展。
可以看到，人工智能已经成为腾讯的一个紧张战略方向。腾讯CEO马化腾18日晚在微信朋侪圈转推了这一消息，并写道：“AI与大数据将成为将来各范畴的标配，等待更多业界偕行一起开源携手相助。”
腾讯18日在腾讯大数据技能峰会暨KDDChina技能峰会上公布这一消息，腾讯副总裁姚星，腾讯数据平台部总司理、首席数据专家蒋杰老师出席了峰会并发演出讲。
姚星表现：“人工智能的发展在已往60年中几经沉浮，本年终于发出了璀璨光芒，很大的缘故起因就是跟云盘算和大数据有关，这是一种演进发展的肯定结果。如那边理惩罚好大数据，如安在有限的盘算资源上对这些大数据举行深入发掘和分析，这是将来整个财产发展和升级的一个大课题。我信托大数据将成为这次财产升级的底子，核心算法将成为这次财产升级的魂魄。”
“面对腾讯快速增长的数据发掘需求，我们盼望开辟一个面向呆板学习的、能应对超大规模数据集的、高性能的盘算框架，而且它要对用户充足友爱，具有很低的利用门槛，就如许，Angel平台应运而生。”蒋杰表现：“呆板学习作为人工智能的一个紧张种别，正处于发展初期，开源Angel，就是开放腾讯18年来的海量大数据处理惩罚履历和先辈技能。我们毗连统统毗连的资源，引发更多创意，让这个好平台渐渐转化成有代价的生态体系，让企业运营更有效、产物更智能、用户体验更好。”
Angel是腾讯大数据部分发布的第三代盘算平台，利用Java和Scala语言开辟，面向呆板学习的高性能分布式盘算框架，由腾讯与香港科技大学、北京大学连合研发。它采取参数服务器架构，办理了上一代框架的扩展性题目，支持数据并行及模子并行的盘算模式，能支持十亿级别维度的模子练习。
不但云云，Angel还采取了多种业界最新技能和腾讯自主研发技能，如SSP（StalesynchronousParallel）、异步分布式SGD、多线程参数共享模式HogWild、网络带宽流量调治算法、盘算和网络哀求流水化、参数更新索引和练习数据预处理惩罚方案等。这些技能使Angel性能大幅进步，到达常见开源体系Spark的数倍到数十倍，能在千万到十亿级的特性维度条件下运行。
在体系易用性上，Angel提供丰富的呆板学习算法库及高度抽象的编程接口、数据盘算和模子分别的主动方案及参数自顺应设置，同时，用户能像利用MR、Spark一样在Angel上编程，我们还建立了拖拽式的一体化的开辟运营流派，屏蔽底层体系细节，低落用户利用门槛。别的，Angel还支持深度学习，它支持Caffe、TensorFlow和Torch等业界主流的深度学习框架，为其提供盘算加快。
自本年初在腾讯内部上线以来，Angel已应用于腾讯视频、腾讯交际广告及用户画像发掘等精准保举业务。
新智元专访腾讯数据平台负责人蒋杰
新智元：Angel已经是第三代，此次更新与前两代有何差别？
蒋杰：腾讯大数据平台发展的历经了3代：2009-2011年是第一代，以Hadoop为底子而开辟，只支持批量盘算的场景，这个阶段重点建立平台可扩展性、性能及可用性等，不绝增大集群的规模，规模化的发展；第二代是及时化，从2012年到2014年。基于Spark及Storm来建立，支持在线分析和及时盘算的场景；第三代是客岁开始，进入自研阶段，重要建立呆板学习平台，提供高性能的盘算及深度学习的本领。
新智元：为什么会选择开源？开辟者可以用Angel来干什么？
蒋杰：腾讯大数据平台来自开源的社区，受益于开源的社区中，以是我们天然而然地盼望回馈社区。开源，让开放者和开辟者都能受益，创造一个共建共赢的生态圈。在这里，开辟者能节省学习和操纵的时间，提拔开辟服从，去花时间想更好的创意，而开放者能受益于社区的力气，更快美满项目，构建一个更好的生态圈。我们不停都在回馈社区，开放了很多源代码，作育了几个项目标committer，这种开放的脚步不会克制。Angel重要面向呆板学习的场景，特别实用于大规模的数据盘算。
新智元：Angel的发展目标是什么？最大长处是什么？
蒋杰：Angel的定位是一个能盘算更大模子、速率快到飞起来、又能对用户充足友爱、形象善良的平台，我们盼望它将来可以支持腾讯等企业级大规模呆板学习任务，并创造出一个有代价的呆板学习型生态。Angel能支持更大量级的数据，性能更好，更低的利用门槛，它是一个已经在工业级应用得到验证，并有丰富的配套流程和工具的平台。
新智元：Angel是腾讯内部主流的呆板学习框架吗？在腾讯内部的利用环境怎样？如今在腾讯的应用包罗哪些？
蒋杰：Angel定位于大规模呆板学习的盘算，自本年初上线以来，已应用于腾讯视频、腾讯交际广告、用户画像发掘等精准保举业务，结果非常显着。如今根本上全部的BG都有业务在利用而且用户越来越多。
新智元：你个人怎么对待国外的开源平台，比如本年最火的TensorFlow？
蒋杰：国表里很多企业都有本身的呆板学习平台，阐明各人面对的题目都根本雷同，企业把项目开源，有助于推动整个呆板学习范畴的快速发展。至于TensorFlow，它是Google开源的呆板学习体系，用来更换DistBelief，提供了数据流编程模子，重要的上风在于为深度学习提供了通用的算子和GPU并行盘算，如今TensorFlow开源出来的版本比力实用于单机多卡的环境。Google的技能不停受到天下的追捧，以是TensorFlow社区非常活泼，信托后续会更火。
腾讯副总裁姚星先容腾讯AI实行室
姚星：各人早上好，非常高兴本日参加KDDChina技能峰会。已往的20年是信息期间快速发展的20年，信息财产的发展远超其他财产。信息财产的发展提拔了人类的生存品格，也深深影响着我们这一代人。信息财产的高速发展离不开盘算本领的提拔，无论是我们利用的处理惩罚器盘算本领还是网络传输本领，在过往20年发展中都保持了“摩尔定律”的趋势，使得我们互联网产物深入千家万户，得到了广泛应用。随着互联网产物渗出率的渐渐趋稳，互联网财产以后的发展趋势在那边？什么样的技能、业务形态会引领后续的财产发展？时至本日，我想答案毫无疑问是人工智能。人工智能在过往的60年发展中几经沉浮，起起落落，在本年散发出璀璨的光芒，人工智能的鼓起是大数据、云盘算科学进步的产物。充实利用盘算资源，对海量大数据通过算法举行进一步的发掘分析，这是互联网产物和财产的将来发展趋势。大数据是底子、核心算法是魂魄。腾讯公司通过18年的发展本日已经成为了天下级的互联网公司。已往我们在产物体验上更加关注的是简单、好用。通过简单的方式提拔人们的沟通服从，通过简单的方式让人们轻松享受数字内容期间。在技能上，我们已往更加关注的是工程技能，也就是海量性能处理惩罚本领、海量数据存储本领、工程架构分布容灾本领。将来腾讯必将发展成为一家引领科技的互联网公司，我们将在大数据、核心算法等技能范畴上举行积极的投入和布局，和相助搭档共同推动互联网财产的发展。
腾讯公司是一家消息平台+数字内容的公司，本质上来讲我们也是一家大数据公司，本日我们每天产生数千亿的收发消息，高出10亿的分享图片，高峰期间百亿的收发红包。每天产生的看消息、听音乐、看视频的流量峰值高达数十T。这么大的数据如那边理惩罚好，利用好简直是极具挑衅的。在大数据上腾讯也承袭开放生态理念与相助搭档一起共建大数据生态，在云、付出、LBS、安全方面，与生态相助搭档共建底子办法，与相助搭档一起助推财产升级。
本年腾讯创建了AI实行室，我们建立的是四个底子的研究方向，包罗盘算机视觉、语音辨认，天然语言处理惩罚，以及呆板学习。我们也建立了四个业务发展方向：起首我们会聚焦于内容AI，重要聚焦于搜刮和个性化保举，除了文本以外的深度内容再加上富媒体内容的深度明白。第二个是游戏AI，这是基于腾讯业务本质特性相干的。我们会打造竞技类游戏相干的AI本领。第三个方向我们会构建交际AI，这是基于我们腾讯最重要的交际平台的AI。信托在将来的产物形态上会出现智能音响也好，智能助手也好。第四个是云AI，我们会把我们的图象辨认本领、语音辨认本领、天然语言处理惩罚本领以及大数据呆板学习的平台开放给更多的用户利用。腾讯的AI任务是终极打造广义通用AI，实现每个民气中的“明白”。使得我们的小朋侪更加的“被明白”，使得我们的成年人更加的“被掩护”，使得我们的老年人更加的“被照顾”。
如今AI整个行业还处于早期阶段，固然在某些垂直范畴已经大概到达了某些人类的均匀智能程度，但是这与人的综合智能还相差甚远。无论我们有怎样先辈的算法模子，我们都必要重新练习数据。无论我们有怎样深层的网络模子，本质上都是通过算力办理题目。这和人与生俱来的智能，以及“创造力”、“闻一知十”、“归纳总结”本领都相差甚远。但是我们也看到了积极的方向，比如Deepmind的Reinfocement强化学习的发展进步，OpenAI的Gan天生对抗网络的发展。这些积极的发展使得AI的范畴发展日新月异。
我信托在与会的各位专家和各位从业精英的积极投入和参加下，AI的发展必将气愤发达、势不可挡！末了预祝大会圆满乐成！谢谢！
蒋杰演讲笔墨记录与PPT
各人好，很多人已经知道腾讯得到了本年的Sortbenchmark的排序的4项冠军，很多朋侪来问我，腾讯是怎么做到的，背后支持的毕竟是什么样的技能？
本日，我借这个机遇，跟大伙来讲讲背后的一些故事。
信托很多人看过我们在很多都会机场投放的这个广告，这个广告内里画的是一个竞走的选手，排序比赛，就跟奥运会的百米竞走一样，都要很快。但我想说的是，着实我们更像一个长跑选手，我们在赛马拉松，这场马拉松，我们跑了7年。
回顾已往几年的比赛的结果，几年前冠军都是被美国企业把持的，近来三年则是BAT拿了冠军。应该说，这几年，国内互联网的发展速率不比美国慢，与此同时，以BAT为代表的国内互联网企业的盘算本领也不掉队于美国。
已往几年，得到冠军的团队，用的根本上都是Hadoop和Spark，着实腾讯的大数据平台，也是始于Hadoop的。
我们之以是能得到四项的冠军，是我们履历了几年的打磨，寻求极致，我们盼望最大限度地压榨呆板的性能。
起首，从本钱的角度，只有把硬件压榨到极致，本钱才会低。我们采取的是OpenPower架构的呆板，按节点数盘算，我们规模只有客岁冠军的六份一，按照本年的硬件代价，我们总的TCO本钱远低于客岁冠军。
在调治层面，我们对调治算法做了深度优化，使得每台呆板的CPU、内存、网络、磁盘IO等每个环节都能发挥到极致。本次比赛的此中两项为MinuteSort，比拼的就是一分钟内的排序数据量，这个时间调治的服从就变得非常紧张，而这两项比赛我们比客岁提拔了5倍，是提拔幅度最高的；这也从另一个方面阐明白我们在调治服从上的领先性。总结为一句话，就是最大限度地压榨了硬件的性能，才让我们取得这个结果。
如今我们用于比赛的这个集群，已经在我们的现网中用起来了，在高性能盘算、图盘算、深度学习等范畴支持腾讯的现网应用。
回顾我们走过的7年，我们是2009年1月开始基于Hadoop来开辟我们的大数据平台，七年的征程，我们历经了3代平台的发展。
2009-2011年是我们的第一代平台，我们的第一代平台，只支持批量盘算的场景，重要就是报表，这个过程，我们重点发展了平台的可扩展性，我们不绝增大集群的规模，从09年的几十台，发展到如今总规模靠近3万台。总结成几个字，第一代就是规模化。
第二代，用三个字总结就是及时化。这是2012年到2014年。重要支持在线分析和及时盘算的场景，比如及时报表，及时查询、及时监控等。
第三代是客岁到如今，重要建立呆板学习平台，支持腾讯各业务数据发掘的需求。这是从数据分析到数据发掘的变化，三个字总结就是“智能化“。
第一代是离线盘算的架构，是基于Hadoop开辟的，我们起名叫TDW，腾讯分布式数据堆栈的意思。
社区的Hadoop迭代慢，单一集群规模小，稳固性和易用性都很差，不能到达腾讯的要求，因此我们按腾讯的业务运营标准，做了深度定制开辟，我们偏重发展集群的规模，办理Master单点瓶颈不能扩展的题目，我们优化了调治战略来进步Job的并发性，也加强HA容灾建立，尚有很关键的一点的是，我们丰富了Hadoop的周边生态，建立了配套的工具和产物来低落用户的利用门槛，语法上，我们兼容Oracle的语法，方便腾讯各产物部分做程序的迁徙，Hadoop大数据的性能很强，但是小数据分析的服从很差，我们就集成了PostgreSQL来提拔小数据的分析性能，买通Hadoop和PG的访问边界。
就如许，我们从最开始的几十台、到几百台、到几千台，几年以后，在2013年单一集群到达4400台，2014年单一集群突破8800台，处于业界领先的程度。如今我们的总规模靠近3万台。
TDW的建成，办理了我们内部三大业务痛点：
第一，它使我们具备了T/P级的数据处理惩罚本领，几十亿、百亿级的数据量，根本上30分钟就能算出来。
第二，它的本钱很低，我们可以利用很平凡的PCServer，就能到达从前小型机一样的结果；
第三，容灾方面，原来只要有呆板宕机，业务的数据肯定就有影响，各种报表、数据查询，都出不来。如今TDW的呆板宕机，业务完全无感知，体系会主动做切换、数据备份等等的事变。
正是办理了业务的这些痛点，业务部分都乐意把盘算迁徙到TDW。到2012年底，我们把全部原来在Oracle和mysql上跑的报表都切换到TDW。
TDW的建成，让我们具备了融合全部产物平台的数据的本领。
从前的各产物的数据都是分散在各自的DB内里的，是一个个数据孤岛，如今，我们以用户为中心，建成了十亿用户量级、每个用户万维特性的用户画像体系。
从前的用户画像，只有十几个维度重要就是用户的一些底子属性，比如年龄、性别、地区等，从前构建一次要淹灭很多天，数据都是按月更新，有了TDW，我们每天更新一次。
这个用户画像，应用在腾讯全部跟精准保举相干的产物内里。
再举个保举的例子。保举信托各人如今都耳熟能详，但是放在6年前，这还是一个刚刚新鼓起的应用；TDW为我们提供了一个快速切入快速支持的本领。通过MapReduce的编程范式，基于TDW的平台，我们可以专注于各种保举算法逻辑本身的实现，比如各人常见的CF,MF,LR这些算法，以及各种hash聚类算法；这个时间的保举技能，面对海量的用户群体访问，更多还是基于一种及时查询的服务方式。
第一代平台办理了量大的痛点，但是在速率方面尚有题目，数据是离线的，任务盘算是离线的，及时性差。以是，我们建立了第二代的大数据平台。
在第一代底子上，集成了Hadoop的第二代——Spark，同时，还融合了Storm流式盘算的框架。这一代平台的集成，让我们的盘算的粒度从原来的小时，发展到分钟，直至秒级。
数据收罗方面，我们构建了TDBank，让原来通过接口机传文件的方式，T+1的粒度，变成了毫秒级的及时收罗。在这个收罗平台内里，我们自研的消息中心件，每天收罗的消息条数高出6.5万亿，可以说是天下上消息量最大的消息中心件。同时，我们尚有高可靠版本的消息中心件，能支持像金融、计费等高同等性的需求，包管消息不丢。
在资源调治层面，我们基于Yarn，发展了我们的Gaia调治平台，Yarn只支持CPU和内存的维度，而我们的Gaia还支持网络以及磁盘IO的维度，Yarn只支持离线盘算，Gaia能支持在线的场景，别的，我们还支持Docker，我们平台如今每天有1.5亿个container。
再拿刚才提到的保举例子，基于第一代平台的保举应用会碰到2个题目，一个是随着用户量，访问量的增多，产生的数据会越来越多，多到在有限的时间根本不大概批处理惩罚的盘算完，尚有一点是用户的举动模式变革很快，必要更快的去更新各种维度的用户画像；数据的及时收罗让用户举动，及时画像的盘算成为大概，这构成了流式盘算的数据流，分布式的流式盘算及时更新各个维度的统计量，进一步形成了保举算法的及时练习数据，从而把上一代的offline的保举体系变成了online的及时保举体系。在广告的保举应用上，我们可以看到每一次的及时加快，都带来了更大的点击率提拔。
第二代的平台，及时性和体量方面，都能满意绝大多数业务需求。但随着我们的数据量越来越大，我们的瓶颈很快也出现了。
我们在Spark上做数据练习的时间，每一轮的迭代，在更新数据的时间，都会碰到网络方面的瓶颈，由于更新数据的地方是一个单点，假如数据的维度很大，这套框架就无法支持。在我们的实际应用中，千万级的维度，都可以run得不错，但是上了亿级，性能就非常低了，乃至跑不出来。
以是，我们必须要建立一个能支持超大规模数据集的一套体系，能满意billion级别的维度的数据练习，而且，这个体系必须能满意我们现网应用需求的一个工业级的体系。它能办理bigdata，以及bigmodel的需求，它既能做数据并行，也能做模子并行。
有两种思绪:
一个是基于第二代平台的底子上做演进，办理大规模参数互换的题目。别的一个，就是新建立一个高性能的盘算框架。
我们看了当时业内比力盛行的几个产物，GraphLab，重要做图模子，容错差；Google的Distbelief，还没开源；尚有CMUEricXing的Petuum，当时很火，不外它更多是一个实行室的产物，易用性和稳固性达不到我们的要求。
看了一圈，我们决定自研，走自研的路。我们前两代都是基于开源的，第三代则开始了自研的进程。着实在第二代，我们已经实行自研，我们消息中心件，岂论是高性能的，还是高可靠的版本，都是我们自研的。他们履历了腾讯亿万流量的检验，这也给了我们在自研方面很大的信心。
因此，第三代团体的盘算框架方面，我们也走了自研的蹊径。第三代的平台，核心是一个叫Angel的高性能盘算平台。
我们聚焦在高性能的盘算框架方面，同时，也是我们往呆板学习、深度学习演进的一个蹊径。
相比第二代，第三代的盘算框架，可以支持10亿级维度的算法练习，由从前的数据并行，到可以支持模子并行。
同时，我们第三代的平台，还支持GPU深度学习，支持文本、语音、图像等非布局化的数据。
Angel是基于参数服务器的一个架构，它跑在我们的Gaia平台上面的。
它支持BSP、SSP、ASP三种盘算模式；支持数据并行以及工业界更看重的模子并行，由于我们重要碰到的还是模子大的题目。
别的，在网络上我们有个原创的实行，我们用了港科大杨老师的团队做的诸葛弩来做网络调治，ParameterServer优先服务较慢的Worker，当模子较大时，能显着低落等待时间，任务总体耗时降落5%~15%。
Angel提供很丰富的算法，支持LR、SVM、LDA、GDBT等等，而且集成了非常丰富的数学函数库，别的，还提供非常友爱的编程界面，能跟Spark、MR对接，你能像用MR、Spark一样编程。
Angel跟其他平台相比，比如Petuum，和spark等，就我们的测试结果，在划一量级下，Angel的性能要优于其他平台。比如我们用Netflix的数据跑的SGD算法，各人看一下这个图的对比。
同时，Angel更得当超大规模的数据练习。如今Angel支持了很多腾讯内部的现网业务。
这里举两个例子，比如，在构建用户画像方面，从前都是基于Hadoop和Spark来做，跑一次模子要1天乃至几天，话题只有1k；而在Angel上，20多亿文档、几百万个词，3000亿的token，1个小时就跑完了。
从前Spark能跑的，如今Angel快几十倍；从前Spark跑不了的，Angel也能轻松跑出来。
再看一个case，视频的点击猜测，划一数据量下，Angel的性能是Spark的44倍以上。用了Angel以后，我们维度从千万扩展到亿，练习时间从天收缩到半小时，而正确度也有不小的提拔。
Angel不但仅是一个只做并行盘算的平台，它更是一个生态，我们围绕Angel，创建了一个小生态圈，它支持Spark之上的MLLib，支持上亿的维度的练习；我们也支持更复杂的图盘算模子；同时支持Caffe、TensorFlow、Torch等深度学习框架，实现这些框架的多机多卡的应用场景。
各位，邻近尾声了，我想总结一下腾讯大数据平台发展的三个阶段：
我们从离线盘算起步，颠末及时盘算阶段，进入了呆板学习的期间。
我们从跟随开源，发展到自研，我们的发展历经了规模化、及时化，以及智能化的变迁。
末了，我要借这个机遇跟各人公布一个消息，那就是：我们的大数据平台将全面开源。
我们会在来岁上半年把Angel以及Angel周边的体系举行开源。
我们平台源自开源，我们的发展离不开开源，以是我们会以最大的力度拥抱开源。着实在开源的蹊径上，我们不停都在参加：我们第一代平台的核心，TDW-Hive，已经在2014年就开源了；我们还在很多社区项目贡献了很多核心代码，作育了好几个committer。
而将来，我们的开源力度只会越来越大。
谢谢各人。
新智元简介：人工智能范畴排名第一的交际平台，专注报道人工智能范畴的前沿资讯、财产分析和技能干货。
原创好文授权发布于魔窗公众号（magic-window），未经答应，推辞转载。
关于魔窗
魔窗——移动互联网运营中心！提供能影响用户决定的移动营销体系，专业的内容推广和内容买卖业务平台，是良好App和内容创业者的增长引擎！如今已得到数千万人民币的A轮融资，并荣获品途网企业服务创新大奖（ESICAwards）—2016年度最佳行业新生态服务商。
自上线以来，魔窗已颠末数百家中大型App的验证与信托。同时，由魔窗发起的中国App增长同盟（AGAChina），为上百家日活逾千万、覆盖用户4亿+的App创业者提供更多资源破局和高效增长的毗连通道。
CopyrightYourWebSite.SomeRightsReserved.
京ICP备2023016396号-1PoweredByESCLINK.
我要评论