对于在清华大学电子工程系担任副教授和党委副书记的汪玉来说,10 月 24 日是一个特别的日子。这一天,他以深鉴科技联合创始人的身份,参加了这家高科技创业公司成立以来的第一场公开发布会;而在这场发布会上,他的学生、也就是深鉴科技 CEO 姚颂,在介绍一
对于在清华大学电子工程系担任副教授和党委副书记的汪玉来说,10 月 24 日是一个特别的日子。这一天,他以深鉴科技联合创始人的身份,参加了这家高科技创业公司成立以来的第一场公开发布会;而在这场发布会上,他的学生、也就是深鉴科技 CEO 姚颂,在介绍一些新产品之后,对外宣布了深鉴科技的新一轮融资。 这轮融资对于刚刚诞生不久却已经备受业界认可的深鉴科技来说,无疑是一个重要的发展时机;而在这一重要时间节点上,汪玉也接受了雷锋网的专访。 算法与硬件的协同优化 在这场发布会上,DPU 可能是从深鉴科技 CEO 姚颂口中出现次数最多的一个技术名词。 实际上 DPU(Deep Learning Processor Unit,深度学习处理器)是深鉴科技在投入于人工智能和深度学习大潮流之中时所选择的一个核心领域。之所以如此,是因为深鉴科技的几位联合创始人在创业之前就意识到,目前被深度学习算法训练广泛应用的 GPU,根本无法在应用层面同时满足高性能低功耗的需求。 “深度学习处理器一定要经过模型压缩、模型定点化、编译三大步骤,并且一定要拥有针对神经网络的专用结构”。在此情况下,汪玉决定带领团队从算法、软件、硬件协同的角度,来开发真正的深度学习处理器,也就是 DPU。 不过,对于深鉴科技 DPU 而言,一个核心的技术名词其实是深度压缩(Deep Compression)技术。 2016 年,在世界顶级的深度学习会议 ICLR 上,一篇以 Deep Compression:Compressing Deep Neural Networks with Pruning, Trained Quantization and Huffman coding 为标题的文章获得最佳论文奖。这篇论文的第一作者是斯坦福大学的博士生韩松,而韩松也正是深鉴科技的联合创始人之一。
韩松在接受雷锋网的专访时,汪玉对深度压缩的技术原理进行了深入浅出的介绍:
通过深度压缩技术,不仅可以将神经网络压缩数十倍而不影响算法准确度,还可以使用“片上存储”来存储深度学习算法模型,减少内存读取,大幅度减少功耗。与此同时,基于优化的协同性,深度压缩技术对硬件本身也提出了新的要求。汪玉表示: |
2018-10-28
2019-04-16
2018-11-19
2018-12-24
2018-11-20