跳至内容
深圳市捷比信实业有限公司 · 产品选型与采购咨询联系业务人员
LED灯珠捷比信 · 专业器件主题站

精确的图像搜索OpenAI最新技术CLIP

不要害怕图像搜索结果是错误的。您可以尝试这种精确的图像搜索,它来自OpenAI的最新技术CLIP。只是一个“大白话”游戏。描述可以给你想要的图片。例如,输入:thewall上的“ lovelove”会得到以下结果:可以说是非常准确的!这是一个今天在Reddit上爆炸的项目。该项目使用的是CLIP,它是DALL·E的核心模块,不久前OpenAI经常对其进行更新,该模型负责重新排序。该项目使用Google ColabNotebook,它是在线免费的。它包含200万个图像数据集。最重要的是效果非常准确。网民忍不住称“惊人”。在几个简单的步骤中,为什么“大白话”成为最重要的原因之一?在线准确搜索图像是如此受欢迎,是简单的操作。要做的第一件事是在ColabNotebook中单击项目的地址(请参阅文章末尾的链接)并登录到您的帐户。至于环境配置,程序包或库调用,该项目已经非常紧密地完成了。只需单击单元格左侧的小三角形,然后等待操作完成即可。最后,进入包含以下代码的单元:search_query =“ Twodogsplayinginthesnow”单击以运行此单元格,您可以获得搜索图片的结果,例如:当然,如果您输入“当代码通过Emotions运行时”,则该程序似乎可以理解人们:Thefeelingwhen您的程序最终运行时所获得的结果应该是一致的具有正常人们的想象力:为什么CLIP搜索图像如此精确? OpenAI不久前推出的DALL·E,可以实现的主要功能是可以根据文字描述生成相应的图片。它呈现给我们的最终作品实际上是它生成的大量图片的一部分。在过程的中间,实际上是一个排名和得分的选择过程。任务的这一部分由CLIP完成:对作品的理解和匹配程度越高,得分越高,排名越高。这种结构有点像GAN,它使用生成的对抗文本来合成图像。但是,CLIP并没有使用GAN来扩展图像分辨率和匹配图像文本功能,而是选择直接对输出进行排名。研究人员认为,CLIP网络的最大意义在于它减轻了视觉任务中深度学习的两个最大问题。首先,它减少了深度学习所需的数据注释量。与在ImageNet上用文本手动描述1400万幅图像相比,CLIP直接从现有的“文本描述图像”中学习。互联网上的数据。另外,CLIP还可以“执行多个作业”。并在各种数据集(包括以前从未见过的数据集)上表现出色。但是,大多数以前的视觉神经网络只能在训练数据集上表现良好。例如,与ResNet101相比,CLIP在各种数据集上具有良好的检测精度,但是ResNet101除ImageNet之外在检测精度方面表现不佳。具体来说,CLIP使用零镜头学习,自然语言理解和多模式学习等技术来完成图像理解。例如,为了描述斑马,可以使用“马的轮廓+老虎的皮毛+熊猫的黑白”。这样,网络可以找到“斑马”图像。从以前从未见过的数据中提取。最后,CLIP结合了文本和图像理解功能,以预测数据集中哪些图像和哪些文本最匹配。网友:该机器人可能不太高兴使用“大白话”软件惊叹于CLIP的效果。搜索图片。一位Reddit网民还发现了更有趣的搜索结果。他在文本描述的代码部分中输入了:现在什么图像代表了您的感觉?在我们人类的眼中,这句话应该是关于AI的基调的,然后图片的结果是这样的:还有这样的话:好吧,AI似乎被``玩得太多了''婴儿有点小。