高性能计算技术也能助推大规模深度学习(百度实践)

  • 时间:
  • 浏览:29
  • 来源:uu快3电脑版_uu快3和值_礼金

    Sengupta表示,GPU数量很少时速度是最快的,“8颗GPU是快相当于20倍,睡着GPU数量的增加,性能反而会有所下降,可能需用通过网络将数据发送给CPU,但在朋友外部的框架上,朋友都需用将GPU数量扩大到128颗,实现线性扩展”。

更多深度文章,请关注:https://yq.aliyun.com/cloud

    来自百度硅谷人工智能实验室(SVAIL)的研究人员改进了众所周知的HPC通信技术,提升了通信速度,很多扩大了朋友的神经网络训练规模,今天,在知名深度学习社区分享了朋友的实现。

作者:Tiffany Trader,译者:耕牛的人,审校:身形。

    SVAIL团队成员大都来自高性能计算领域。百度研究科学家Shubho Sengupta说:“ring all-reduce算法其实是OpenMPI的一累积,但OpenMPI有某种并删改都是减慢,朋友在刚用它来进行训练时遇到了不少问题,朋友发现它的伸缩能力有限,但朋友又很想让它具有良好的伸缩性,很多朋友决定研究它的源代码,最终发现类似于 算法的速度不高,朋友就重新实现了类似于 算法”。

    Sengupta解释,“OpenMPI在什么矩阵通信时,可能矩阵在GPU内存中,它实际上会克隆qq好友好友一份到CPU内存中,类似于 做法是非常浪费资源的,实际上都需用不让克隆qq好友好友,只需用编写有一个 小的内核来减少GPU内存空间即可,当你在有一个 节点内执行all-reduce,很多所有GPU删改都是有一个 PCI根复合体中时类似于 依据特别有用,在GPU内存空间就都需用完成一切任务,如果 我没有 有一个 简单的想法,最终朋友的算法实现比OpenMPI自身的要快得多”。

    SVAIL研究人员重写的ring all-reduce算法性能更好,也更稳定,与OpenMPI最大的差别是,SVAIL实现的算法处里了CPU和GPU之间额外的副本传输。

Ring all-reduce,所有GPU一齐发送数据

    关于百度ring all-reduce算法的删改解释,请看百度研究院的这篇博客文章,对于百度开源的深度学习框架PaddlePaddle来说,它还使用了其它几滴 的技术来保证高性能节点的扩展,有兴趣的同学都需用到PaddlePaddle的主页去看看。

 数十款阿里云产品限时折扣中,赶紧点击领劵始于英文英文云上实践吧!

Tiffany Trader,毕业于圣地亚哥州立大学和加州州立大学,长期致力于高性能计算、云计算、绿色计算新闻报道和分析,2015年始于英文英文担任全球知名高性能计算新闻网站HPCwire的总编辑。Tiffany Trader 的LinkedIn主页,Twitter主页。

文章为简译,更为删改的内容,请查看原文

有某种all-reduce算法实现的性能对比(单位:秒)

以上为译文。

文章原标题《HPC Technique Propels Deep Learning at Scale

    百度的SVAIL团队相当于两年前始于英文英文在朋友外部的深度学习框架(又名Gene and Majel,为了向著名的星际旅行创立者Gene Roddenberry和他的第二任妻子Majel Barrett致敬)上使用类似于 算法,百度研究人员表示,在HPC领域,朋友对类似于 算法早已是老生常谈,但在人工智能和深度学习领域,类似于 算法却未被充分利用。

    Deep Speech 2论文发布后,SVAIL团队始于英文英文收到来自社区想了解实现细节的请求,可能类似于 算法与SVAIL的深度学习框架专利结合得太紧密了,很多,朋友就创建了有某种实现依据,有一个 是针对TensorFlow的,以前如果 我更通用的。

    SVAIL除了在算法实现上有突破外,朋友还注重高速网络(InfiniBand)和软硬一体设计,最终使GPU纵向扩展到128个,具体细节请查阅2015年12月SVAIL团队发布的论文“Deep Speech 2:中英文端到端语音识别”。通过对ring all-reduce算法的改进,与OpenMPI(v1.8.5)相比,百度SVAIL团队在同等GPU数量的状态下,将速度提升了2.3-21.4倍。

    Sengupta就深挖HPC技术用于深度学习分享了有一个 有趣的观点, “搞深度学习的人总认为MPI是一项过时的技术,很多好像和深度学习也没什么关系,但我认为使用MPI也都需用搭建非常快的集合,很多支持同步梯度下降,使收敛速度减慢,不需用用到异步梯度下降就能得到结果”。

本文由北邮@爱可可-爱生活 老师推荐,阿里云云栖社区组织翻译。

    领导TensorFlow补丁工作的Gibiansky阐述了朋友多管齐下传播信息的依据,“看看这篇博客你就知道了,可能你在使用TensorFlow,都需用使用朋友提交的补丁版以前训练你的模型,可能你是深度学习的作者,给你看看朋友的C库,并集成它,通过朋友外部的尝试结果来看还是非常成功的,朋友希望让更多的人受益于此”。

    百度改进的类似于 技术如果 我OpenMPI算法ring all-reduce,在百度的语音识别模型(Deep Speech 2,建立在多个GPU计算节点之上)并行训练中使用了ring all-reduce算法,百度在今年2月开源了有一个 软件包,有一个 是baidu-allreduce c库(有一个 小型C++库),以前是tensorflow-allreduce(给tensorflow 0.12.1打了有一个 补丁),使用tensorflow建立的模型都需用使用类似于 新的版本,利用它的跨多设备并行处都能否力。相关代码托管在GitHub上,有兴趣的读者点击前面的链接即可。

作者简介: