什么是神经搜索?
来源:CPDA数据分析师网 / 作者:数据君 / 时间:2021-05-07
网络上有大量数据我们如何有效地搜索相关信息?
不仅仅是我们需要的网络,我们的计算机存储着我们需要处理的TB级公司和个人数据,我们需要有效的搜索来完成我们的日常工作,
我们可以超越匹配关键字吗?
我们可以像写或说一样使用自然语言进行搜索吗?
我们可以使搜索变得足够聪明以原谅我们的小错误吗?
我们可以搜索不完全匹配但“足够接近”的事物吗?
搜索方法的演变
规则(1950–1990年代)
模仿自然语言理解的复杂手写规则。
缺点: 只能通过增加其复杂性来使手写规则更加准确,这是一项更加艰巨的任务,随着时间的流逝将变得难以管理。
统计(1990年代至2010年代)
基于权重,机器学习和特征工程的概率决策。
机器学习解决了创建和管理规则的问题,该系统通过分析大型现实文本自动学习规则。
缺点: 这些统计方法需要精心设计的要素工程。
神经网络(存在)
先进的机器学习方法,例如深度神经网络和表示学习。
机器学习中的 神经网络已发生转变
使用此方法的流行技术使其成为更准确和可扩展的替代方案,它涉及使用词嵌入来捕获词的语义特性专注于高层任务的端到端学习(例如,问题回答),当您使用神经网络使搜索更智能时,我们将其称为 神经搜索系统。正如您将看到的,它解决了其他方法的一些关键缺点,请注意神经搜索的应用不仅限于文本,它远远超出了NLP的范围,通过神经搜索,我们可以获得搜索图像,音频,视频等的附加功能。
让我们看一下搜索方法的极端(“规则”与“神经网络”)的比较:
规则(符号搜索)与神经网络(神经搜索)尽管自2015年以来神经搜索方法已经变得越来越普遍,并且应该成为任何新搜索系统的主要关注领域,但我们不应该完全排除符号(基于规则)搜索方法。实际上,结合使用神经搜索和符号搜索可能会得到优化的结果。
让我们看一下神经搜索的一些强大应用
神经搜索的应用,在数据类型之间搜索,使用神经搜索,您可以使用一种数据来搜索另一种数据,例如使用文本搜索图像,或使用音频搜索视频。
搜索多种数据类型
不仅仅是我们需要的网络,我们的计算机存储着我们需要处理的TB级公司和个人数据,我们需要有效的搜索来完成我们的日常工作,
我们可以超越匹配关键字吗?
我们可以像写或说一样使用自然语言进行搜索吗?
我们可以使搜索变得足够聪明以原谅我们的小错误吗?
我们可以搜索不完全匹配但“足够接近”的事物吗?
我们可以用一个词回答所有这些问题
是的要了解如何操作,我们需要进入自然语言处理领域。NLP是计算机科学领域,致力于分析自然语言数据,就像人们每天进行的对话一样,NLP是智能搜索的基础,我们在该领域看到了以下三种不同的方法。
搜索方法的演变
规则(1950–1990年代)
模仿自然语言理解的复杂手写规则。
缺点: 只能通过增加其复杂性来使手写规则更加准确,这是一项更加艰巨的任务,随着时间的流逝将变得难以管理。
统计(1990年代至2010年代)
基于权重,机器学习和特征工程的概率决策。
机器学习解决了创建和管理规则的问题,该系统通过分析大型现实文本自动学习规则。
缺点: 这些统计方法需要精心设计的要素工程。
神经网络(存在)
先进的机器学习方法,例如深度神经网络和表示学习。
机器学习中的 神经网络已发生转变
使用此方法的流行技术使其成为更准确和可扩展的替代方案,它涉及使用词嵌入来捕获词的语义特性专注于高层任务的端到端学习(例如,问题回答),当您使用神经网络使搜索更智能时,我们将其称为 神经搜索系统。正如您将看到的,它解决了其他方法的一些关键缺点,请注意神经搜索的应用不仅限于文本,它远远超出了NLP的范围,通过神经搜索,我们可以获得搜索图像,音频,视频等的附加功能。
让我们看一下搜索方法的极端(“规则”与“神经网络”)的比较:
规则(符号搜索)与神经网络(神经搜索)尽管自2015年以来神经搜索方法已经变得越来越普遍,并且应该成为任何新搜索系统的主要关注领域,但我们不应该完全排除符号(基于规则)搜索方法。实际上,结合使用神经搜索和符号搜索可能会得到优化的结果。
让我们看一下神经搜索的一些强大应用
神经搜索的应用,在数据类型之间搜索,使用神经搜索,您可以使用一种数据来搜索另一种数据,例如使用文本搜索图像,或使用音频搜索视频。
搜索多种数据类型
使用神经搜索,您可以构建具有多种查询数据类型的查询,例如,带有文本+图像的搜索图像。
商业联合会数据分析专业委员会