顶会，尤其是国际顶会，因其在业界的巨大影响力，是企业和个人的实力试金场。

被顶会录用的论文，代表的是对该领域具有重大意义的研究成果。

(资料图片仅供参考)

国际计算语言学年会（Annual Meeting of the Association for Computational Linguistics，简称ACL）是自然语言处理（NLP）领域的顶级国际会议，ACL 2023 将于2023年7月9-14日在加拿大多伦多举行。

近日，ACL 2023公布了论文入选结果，网易云商AI技术组与上海交通大学林洲汉老师研究组关于Transformer方向的论文被大会Findings录用，技术实力耀眼国际舞台。

ACL：NLP领域最负盛名的国际顶会之一

ACL到底有多牛？我们或许可以从三个维度来感受一下

从1963年召开第1届会议，到2023年已经是第61届，走过半个多世纪，ACL已经成长为了计算语言学和自然语言处理领域最高级别、最负盛名的学术会议，每年都会吸引来自世界各地的顶尖学者、研究者、工程师和企业家参加。

NLP被誉为“人工智能皇冠上的明珠”，一方面表明了它的重要性，另一方面也显现出了它的技术难度。ACL每年都会开放关于计算语言学和NLP领域的投稿，投稿量逐年攀升，但平均录用率只在25%上下，2012年仅为19%。能被ACL录用的论文都是精品中的精品，兼具创新性、科学性、实用性、可读性。

此外，ACL是中国计算机学会（CCF）推荐的A类国际学术会议。

论文主题：提出一种新的Fourier Transformer结构

那么，网易云商的这篇论文研究了什么主题？它凭什么在众多论文中突出重围？

Transformer作为AI的基础模型在NLP、CV、Speech等场景下有广泛应用，是业界共识。但是，Transformer存在self-attention计算复杂度高和信息冗余严重的问题。针对此问题，网易云商AI技术组与上海交通大学林洲汉老师研究组共同开展研究。

“通过对模型的每层输入进行分析，我们发现低频区间存在尖峰效应。基于这个发现，我们提出一种新的Fourier Transformer结构，通过FFT（快速傅立叶变换）的DCT（离散余弦变换）操作删除高频信息，再通过IDCT转化成时域实现序列压缩。我们在encoder-only和encoder-decoder两种模型架构上使用Fourier Transformer，其中在encoder-decoder架构中，通过upsample恢复列长度。”论文作者之一，网易云商资深自然语言处理工程师杨萌介绍了整个论文的背景和发现。

实验结果证明，Fourier Transformer在时间复杂度和空间复杂度上都有显著的降低，且在多个NLP任务上达到了SOTA水平（state-of-the-art，目前最佳效果）。

“我们提出的Fourier Transformer结构可以被广泛应用于目前主流的各类深度学习模型中（Bert、Bart、RoBERTa等），以实现训练和推理速度的显著提升，并在长序列任务中减少噪声从而更好地捕捉输入序列中的长距离依赖关系来提高模型的泛化性能和精度。”杨萌进一步补充了论文研究的创新之处和应用价值。

是学院派更是实践派

在学术方面，网易云商展现了AI头雁的实力，在具体的应用上，网易云商也早已注入各个场景，进行落地开花，让企业和消费者获益于NLP。

网易云商旗下七鱼智能客服产品是NLP技术在服务场景的落地成果，自2016年4月发布以来，已经累计服务40万家企业，连接8亿用户，机器人累计咨询接待量46.8亿，平均意图识别准确率达到96%，平均问题匹配率达到95%，平均问题解决率达到90%，远超行业水平。

网易云商旗下智能外呼产品是NLP技术在营销场景的落地成果，成果破解传统呼叫产品声音机械、反应迟钝、答非所问、频繁骚扰等问题，打造有温度、更智能、更懂人心的人机对话体验，极大提高了营销效率和效果，助力企业高效深挖存量用户价值。

兼顾学术研究和场景需求，是学院派更是实践派，探索AI技术，网易云商持续在路上。