互动科普

搜索引擎的三种能力

科学世界：如何提高语义理解的能力？

马维英：前面讲了需要有两种重要信号，我想说，这两种信号到今天已经远远不够。我们需要创造出新的机制，让机器能够从人学到更多新的信号。

我可以举一个最近我们在想的新的信号。就讲小冰好了，小冰跟你说话，说得越多它就越聪明，原因是它能从与人的对话中来学习对话。它一开始先进行简单对话，每次你回馈给它的，都会成为它新对话的语料。其实要单纯地从自然语言里面学习是很难的，比如两个人结婚可以叫婚姻关系、配偶关系、夫妻关系等，同一个语义可以有非常多种讲法。没有这些信号的话，就永远学不到怎么样做进一步的理解。

我们发现可以利用像小冰这样的渠道。就是说，第一次没有办法“落地”的话，小冰可以再问你问题。现在一般人对搜索引擎不太了解，觉得我给它再多的资料也没用。一旦有这个交互的能力之后，原来搜索引擎想一次做好而做不好的，它可以用互动的方法得到更多信息从而了解人的意图，能够做更好的链接和“落地”。

科学世界：这种学习主要是基于统计吗?

马维英：广义上你可以说学习最终都是来自于统计信号，但如果没有足够的监督信号，你很难把搜索引擎做好。

要把非结构化的语言进一步变成结构化的、机器能理解、能计算的，这就是“机器理解”(Machine Comprehension）技术，这其实需要更多的监督学习（supervised learning）和结构化的知识表达。现在的搜索引擎或者网络上并没有这些东西，但是我们接下来就需要这些实体及其关系的信息，还有像每个事物的多种表达方式、一对一对的提问与回答或者曾经的对答等。如果全世界的这一类数据都能够收集起来，就能够实现更好的语义理解。

搜索引擎以前只有一种方法，还是属于信息检索，用大量的倒排、正排，还有排序函数（ranking function）来做搜索。但接下来有两个能力要进一步利用起来。一个就是前面说的知识图，它是结构化的，你需要一种图的搜索能力，在上面能够做快速的遍历（traverse）。有时候会有很多的实体跟关系，这就要看能不能快速在上面遍历这些关系。比如像“核聚变”这个概念，核聚变是属于哪一类，跟哪些东西有哪些关系，这些关系的属性是什么。这些信息原来都是非结构化的文字表达，但是将来你要进行语义理解，就需要建立知识图。

另外一个能力就是机器学习，它其实是做一种更高维的搜索，这也是另外一个很重要的能力。如果将语言用向量表达，那么你可以用向量计算就把其中的语义算出来。最近的深度学习就在试图将全世界所有的东西变成一个向量表达，这个向量可能很大。你怎么在这么高维的空间里面做计算，这个是第二种能力。

一种是图的表达、图的算法、图的搜索，一种是向量表达、向量搜索、向量做匹配，第三种就是传统搜索引擎建立的，用倒排、正排解决问题。这里面的核心是建模，怎么从大量的数据去建立内部的大模型（big models）和大图（big graphs），又怎么样能够把这么大的向量搜出来做索引排序，在上面跑搜索计算。

科学世界：这三种能力之间是什么关系?

马维英：未来这三种能力还要打通。这是所有计算机所用到的三种主要的表示形式，它们能够交叉，一个表达可以在另外一个空间找到另外一个相对应的表达，然后再到第三个空间，也就是在三个空间跳转。把一个原来非结构化的东西慢慢“落地”到内部，最后用这三种计算的能力推算出来。

这中间，大家觉得人工智能最重要的这个“脑”其实就是一个模型，就是“大模型”和“大图”。不断去完善这中间的表达，一边是做构建，一边是服务。

我们现在正在构建的未来搜索就包括这样的三种能力—知识挖掘（knowledge mining)、机器学习（machine learning)、信息检索（information retrieval)。还有自然语言的理解和生成所需要的基本功能，比如说怎么去切割文本，怎么将文本中间的片断连接到图谱上面做推理。甚至还会加上一些基本的常识，例如一个人在什么年龄才能够结婚，那么如果提到一个人的妻子，但这个人只有两岁，你就会怀疑不是指这个人，大概是另外一个人。

（本文发表于《科学世界》2015年第11期）