利用英特尔AVX-512技术和bfloat16指令,腾讯的科学家们确保了GRU模块和Dense运算符中粗略部分/精细部分的所有SGEMV计算都使用512位矢量进行矢量化,并采用bfloat16点积指令;对于按元素逐个加/乘等运算以及其他非线性激活,都使用最新的英特尔AVX-512 指令运行。
在最终都性能测试中,通过优化,相同质量水平(MOS4.5)的文本转语音速度比FP32提升了高达1.54倍。
此外,腾讯还以 GAN 和 Parallel WaveNet (PWaveNet)为基础,推出了一种改进后的模型,并基于第三代英特尔至强可扩展处理器对模型性能进行了优化,最终使性能与采用FP32相比提升了高达1.89倍,同时质量水平仍保持不变 (MOS4.4)。
腾讯在TTS领域的进展显示出了人工智能领域的一个趋势,那就是科学家们越来越多开始利用英特尔深度学习加速技术在CPU平台上开展工作。
就像腾讯在针对TTS的探索中获得了性能提升那样,第二代和第三代英特尔至强可扩展处理器在集成了加速技术后,已经显著提升了人工智能工作负载的性能。
在更广泛的领域内,我们已经能够清楚地看到这种变化——在效率表现上,由于针对常见人工智能软件框架,如TensorFlow和PyTorch、库和工具所做的优化,CPU平台可以帮助保持较高的性能功耗比和性价比。
尤其是扩展性上,用户在设计系统时可以利用如英特尔以太网700系列,和英特尔傲腾内存存储技术,来优化网络和内存配置。这样一来,他们就可以在充分利用现有硬件投资的情况下,轻松扩展人工智能训练的工作负载,获得更高的吞吐量,甚至处理巨大的数据集。
不止于处理器平台本身,英特尔目前在面向人工智能优化的软件,以及市场就绪型人工智能解决方案两个维度,都建立起了差异化的市场优势。
例如在软件方面,英特尔2019年2月进行的 OpenVINO/ResNet50 INT8 性能测试显示,使用 OpenVINO或TensorFlow和英特尔深度学习加速技术时,人工智能推理性能可提高多达 3.75 倍。
今天,英特尔已经携手解决方案提供商,构建了一系列的精选解决方案。这些方案预先进行了配置,并对工作负载进行了优化。这就包括了如基于人工智能推理的英特尔精选解决方案,以及面向在面向在Apache Spark上运行的BigDL的英特尔精选解决方案等。
这些变化和方案的出现对于那些希望能从整体业务视角,去观察人工智能进展的机构或企业的管理层显然也很有意义——如果只通过优化,就能在一个通用平台上完成所有人工智能的探索和落地,那么投资的价值就能够实现最大化。
许多企业做出了这样的选择,GE医疗就是其中一家。作为GE集团旗下的医疗健康业务部门,它构建了一个人工智能医学影像部署架构。
通过采用英特尔至强可扩展处理器,和英特尔固态盘,以及多项英特尔关键技术——例如英特尔深度学习开发工具包,和面向深度神经网络的英特尔数学核心函数库等;GE医疗收获了未曾预料到的成果:
这一解决方案最终比基础解决方案的推理速度提升了多达14倍,且超过了GE原定推理目标5.9倍。