【NLP.TM】
本人有关自然语言处理和文本挖掘方面的学习和笔记，欢迎大家关注。
往期回顾
对话系统可以说是NLP领域目前已知最扎实的落地场景了，整个流程都脱离不了NLP的核心作用，而且整个流程涉及NLP的大量任务，因此大量的研究都围绕着对话系统来开展，也因此产生了很多很有意义的新方法。而检索式对话作为对话系统最原始的实现方式，又蕴涵着什么有意思的东西，我们来看看。
什么是对话系统
对话从来就不是一个简单的任务，这是一个涉及理解、生成、交互等多个方向技术的综合实体。
要同时完成这么多任务，相必是非常复杂的，同时场景上的复杂性，客服、语音助手、闲聊等，也造就了对话系统的复杂性，最终成为了NLP里面一个重要的研究抓手和目标。
检索式对话
检索式对话按照个人理解应该是最为经典的解决方案，把一个对话问题抽象为一个搜索问题，大量早期的对话系统都是用这种解决方案来实现的，甚至在现在，一些简单的对话任务，都可以用它来简单实现，可以说是工业界最喜欢的一种实现方式了。简单地说，整个检索式对话的流程可以用这个流程来表示：
query理解->检索召回->相似度排序
没错，看着就是搜索的流程，对句子进行理解，理解后到数据库里面进行召回，召回以后再进行相似度排序找到最佳答案。既然流程被拆解，那我们来看看每一步里面都会做什么东西。
query理解
简单的说，其实就是去理解用户输入的内容说的是啥，一般的自然语言理解主要关心的是这么几个技术细节：
当然，也有一些工程上会把它抽象化，只是转化为向量或者矩阵，下游用矩阵进行搜索。
总之，query理解这块，主要是为了解析用户说的内容，去理解他的语义，这样我们才能为用户找到合适的答案。
检索召回
召回这块，按照搜索的操作，就是拿着我们提取的槽位和实体，甚至是我们解析的向量和矩阵，根据意图和话题放到搜索引擎里面去检索，搜索引擎中有倒排索引，直接拿着关键词就能找到对应的内容。
然而，问题其实不在怎么检索召回，而是在于召回的内容怎么来。相比搜索引擎，对话系统的内容可能更加不结构化，同时可得性由于特定需求其实并不好得，例如淘宝的客服，每家店的商品性质各不相同，很难需要召回的结果，有正确答案的就更难了，所以，常用的方式有这几种：
相似度排序
一般地，根据用户最简单的query，往往能召回很多可能比较好的答案，此时我们要选择最优的给用户。衡量最优的标准之一就是相似度，语义相似度就是最为经典或者说基本的相似度衡量方式，当然搜索领域的ctr（不是点击率）、cqr、BM25等，这些非常基本的元素。
对经典的语义相似度，就要说2013年的DSSM了，这个模型可谓是开了语义相似度双塔结构的先河。
优缺点和应用场景
说完了具体的流程，然后再说说检索式对话的优点和应用场景。
先谈谈优点吧。
因为这些优点，检索式对话在工程上被广泛应用。
当然了，检索式对话这套实现方案还是有很大的局限性，因此才会有很多项目尝试做一些别的做法，先聊聊缺点：
小结
小结一下，检索式对话作为对话系统一个经典的技术，非常有必要学习和探究，今天大概讲了一些流程和概述，也希望大家有所收获。
评论列表