本文经ai新媒体量子位（公众号id:qbitai）授权转载，转载请联系出处。
就在刚刚，uc伯克利博士、新加坡国立大学校长青年教授尤洋发布最新消息——
斩获aaai 2023杰出论文奖（distinguished paper）！
研究成果一次性将模型的训练速度，提升72倍。
甚至网友在拜读完论文之后发出感慨：
从12小时到10分钟，嫩牛（你们牛）啊！
尤洋博士曾在求学期间刷新imagenet以及bert训练速度的世界纪录。
他所设计的算法也是广泛应用于谷歌，微软，英特尔，英伟达等科技巨头。
现如今，已经回国创业潞晨科技一年半的他，带着团队又做出了怎样的算法，斩获ai顶会如此殊荣呢？
训练时长从12小时到10分钟在这项研究中，尤洋团队提出了一种优化策略cowclip，能够加速ctr预测模型的大批量训练。
ctr（click-through rate）预测模型是个性化推荐场景下的一种常用算法。
它通常需要学习用户的反馈（点击、收藏、购买等），而每天在线产生的数据量又是空前庞大的。
因此，加快ctr预估模型的训练速度至关重要。
一般来说，提高训练速度会使用批量训练，不过批量太大会导致模型的准确度有所降低。
通过数学分析，团队证明了在扩大批次时，对于不常见特征的学习率（learning rate for infrequent features)不应该进行缩放。
通过他们提出的cowclip，可以简单有效扩展批大小。
通过在4个ctr预估模型和2个数据集上进行测试，团队成功将原始批大小扩大了128倍，并没有造成精度损失。
特别是在deepfm上，通过将批大小从1k扩大到128k，cowclip实现了auc超过0.1%的改进。
并在单块v100 gpu上，将训练时长从原本的12小时，缩短至只需10分钟，训练提速72倍。
目前，项目代码已开源。团队表示该算法也适用于nlp等任务。
团队介绍本文的一作是尤洋的博士生郑奘巍，本科毕业于南京大学计算机精英班，博士毕业于新加坡国立大学。
其研究方向包括机器学习、计算机视觉和高性能计算。
以上就是尤洋团队在aaai 2023杰出论文奖中获得新成果，使用单块v100训练模型的速度提高了72倍的详细内容。