是时候给你的制品配一个AI问答助手了！
本文由云+社区<span style="color: black;">发布</span><p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;">| 导语 问答系统是信息检索的一种高级形式，能够更加准确地理解用户用自然语言提出的问题，并<span style="color: black;">经过</span>检索语料库、知识图谱或问答知识库返回简洁、准确的匹配答案。相较于搜索引擎，问答系统能更好地理解用户提问的真实意图, 进一步能更有效地满足用户的信息需求。问答系统是<span style="color: black;">日前</span>人工智能和自然语言处理<span style="color: black;">行业</span>中一个倍受关注并<span style="color: black;">拥有</span>广泛发展前景的<span style="color: black;">科研</span>方向。</p>
<h2 style="color: black; text-align: left; margin-bottom: 10px;"><span style="color: black;">1、</span>引言</h2>
<p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;">问答系统处理的对象<span style="color: black;">重点</span><span style="color: black;">包含</span>用户的问题以及答案。<span style="color: black;">按照</span>问题所属的知识<span style="color: black;">行业</span>，问答系统可分为面向限定域的问答系统、面向开放域的问答系统、以及面向常用问题集（Frequently Asked Questions, FAQ）的问答系统。依据答案<span style="color: black;">源自</span>，问答系统可分为基于结构化数据的问答系统如KBQA、基于文本的问答系统如<span style="color: black;">设备</span>阅读理解、以及基于问答对的问答系统如FAQ问答。<span style="color: black;">另外</span>，<span style="color: black;">根据</span>答案的反馈机制划分，问答系统还<span style="color: black;">能够</span>分为基于检索式的问答系统和基于生成式的问答系统。</p>
<p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;">本文<span style="color: black;">重点</span>阐述FAQBot检索型问答系统的<span style="color: black;">关联</span><span style="color: black;">科研</span>和处理框架，以及深度学习在其中的应用。FAQ检索型问答是<span style="color: black;">按照</span>用户的新Query去FAQ知识库找到最合适的答案并反馈给用户。如图所示：</p>
<div style="color: black; text-align: left; margin-bottom: 10px;"><img src="https://pic2.zhimg.com/80/v2-dd0561106e8440fb8275878b3b80a215_720w.webp" style="width: 50%; margin-bottom: 20px;"></div>
<p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;">其中，Qi是知识库里的标准问，Ai是标准问对应的答案。</p>
<p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;"><span style="color: black;">详细</span>处理流程为：</p>候选集离线建好索引。采用Lucene引擎，为数万个<span style="color: black;">类似</span>问集合<span style="color: black;">创立</span>字级别倒排索引。Lucene引擎的性能能够将召回时间<span style="color: black;">掌控</span>在毫秒级别，大大减轻后续模块的计算压力；线上收到用户 query 后，初步召回一批候选集<span style="color: black;">做为</span>粗排结果传入下一模块进行进一步精确排序；利用matching模型计算用户query和FAQ知识库中问题或答案的匹配程度；利用ranking 模型对候选集做 rerank 并返回 topk个候选答案。<p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;"><span style="color: black;">能够</span>看出，FAQ问答系统的核心任务<span style="color: black;">能够</span>抽象为文本匹配任务。传统文本匹配<span style="color: black;">办法</span>如信息检索中的BM25，向量空间模型VSM等<span style="color: black;">办法</span>，<span style="color: black;">重点</span><span style="color: black;">处理</span>字面<span style="color: black;">类似</span>度问题。然而<span style="color: black;">因为</span>中文含义的丰富性，<span style="color: black;">一般</span>很难直接<span style="color: black;">按照</span><span style="color: black;">重要</span>字匹配<span style="color: black;">或</span>基于<span style="color: black;">设备</span>学习的浅层模型来确定两个句子之间的语义<span style="color: black;">类似</span>度。近几年，利用神经网络，尤其是深度学习模型学习文本中深层的语义特征，对文本做语义<span style="color: black;">暗示</span>后进行语义匹配的<span style="color: black;">办法</span><span style="color: black;">起始</span>被提出并应用于检索式问答系统。基于深度学习的模型一方面能够节省人工提取特征的<span style="color: black;">海量</span>人力物力。<span style="color: black;">另外</span>，相比于传统<span style="color: black;">办法</span>，深度文本匹配模型能够从<span style="color: black;">海量</span>的样本中自动提取出词语之间的关系，并能结合短语匹配中的结构信息和文本匹配的层次化特性，发掘传统模型很难发掘的隐含在<span style="color: black;">海量</span>数据中含义不<span style="color: black;">显著</span>的特征，更精细地描述文本匹配问题。</p>
<h2 style="color: black; text-align: left; margin-bottom: 10px;"><span style="color: black;">2、</span>深度学习文本匹配</h2>
<p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;">FAQ问答系统<span style="color: black;">通常</span>有两种<span style="color: black;">处理</span>思路，一种是<span style="color: black;">类似</span>问题匹配，即对比用户问题与现有FAQ知识库中问题的<span style="color: black;">类似</span>度，返回用户问题对应的最准确的答案，这种思路类似于text paraphrase；另一种是问题答案对匹配，即对比用户问题与FAQ知识库中答案的匹配度，返回用户问题对应的最准确的答案，这种思路为答案<span style="color: black;">选取</span>，即QA匹配。这两个类型相通的<span style="color: black;">地区</span>在于都<span style="color: black;">能够</span>看作文本语义匹配，<span style="color: black;">非常多</span>模型能<span style="color: black;">同期</span>在两个任务上都得到很好的效果，区别在于QA匹配存在问题与答案<span style="color: black;">区别</span>质的问题。</p>
<p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;"> 下面总结<span style="color: black;">有些</span>基于深度学习的文本匹配工作，<span style="color: black;">期盼</span>能够抛砖引玉，如有遗漏或错误，欢迎<span style="color: black;">弥补</span>或指出。</p>
<h2 style="color: black; text-align: left; margin-bottom: 10px;">2.1 模型框架</h2>
<p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;">概括来讲，</p>
百度seo优化论坛 http://www.fok120.com/ 我们有着相似的经历，你的感受我深有体会。
页:
[1]