企业微信
悟空CRM  >   公司新闻  >  小红书提出 OvarNet 模型:开集预测的新SOTA,“万物识别”有了新玩法

小红书提出 OvarNet 模型:开集预测的新SOTA,“万物识别”有了新玩法

悟空软件 阅读次数:184 次浏览

CRM客户管理系统
悟空CRM是以客户为中心,围绕客户实现营销、销售、服务、分析的全流程管理,从市场线索的获取、线索识别、客户跟进、客户签约、客户持续服务的客户全生命周期管理,帮助企业高效线索获取,提升客户转化、提高客户满意度,全面赋能企业销售管理,提升销售业绩,从而为企业带来持续的利润。 悟空CRM客户管理全生命周期管理体系的建立与健全... 查看更多
在 CVPR2023 上,小红书社区技术团队提出了一项全新任务 —— Open-vocabulary Object Attribute Recognition(面向开放词汇的目标检测与属性识别)。该任务旨在采用单一模型对图像中任何类别目标同时进行定位、分类和属性预测,从而推动目标识别能力向更高的深度和广度发展。本文提出了 OvarNet 这一全新模型,OvarNet 基于海量多模态数据预训练的视觉语言模型开发,利用可获得的目标检测和属性识别数据进行 Prompt Learning(提示式学习)。同时,为了进一步获得高度可用的 Zero-shot 识别能力,我们从大规模图文数据中提取细粒度的类别和属性表示,进行弱监督学习。此外,我们还采用知识蒸馏的方式简化模型计算复杂度,显著提升 OvarNet 的实用性和时效性。实验结果表明,OvarNet 在开集目标检测和属性识别任务上取得了新 SOTA,证明了识别语义类别和属性对于视觉场景理解的互补性。

1.背景

理解视觉场景中的目标一直以来都是计算机视觉发展的主要驱动力,例如,目标检测任务的目的是在图像中定位出目标并为其分配预定义的语义标签,如“汽车”、“人”或“杯子”。尽管目标检测算法取得了巨大的成功,但是这种任务定义在很大程度上简化了我们对视觉世界的理解,因为一个视觉目标除了语义类别外,还可以从许多其他方面进行描述,例如,一辆公共汽车可以是“黄色”或“黑色”,一件衬衫可以是“条纹”或“无图案”。因此,学习属性可以补充类别级别的识别,从而获得更全面更细粒度的视觉感知。

已有大量的研究表明,理解目标的属性可以极大地促进目标识别和检测,甚至是对在训练集中极少出现或根本没有的视觉目标样例。然而,这些开创性工作中所考虑的问题和今天的标准相去甚远,例如,属性分类通常在以目标为中心的图像上进行训练和评估,而且属性的类别是固定的,有时甚至将目标的类别作为已知的先验。

在论文中,我们考虑在开放词汇场景下同时检测目标并分类属性的任务,即模型仅在一组可见的目标类别和属性上进行训练,但在测试时需要推广到未见过的目标类别和属性,如下图所示。完成这些任务我们观察到三个主要挑战:(1) 首先,在现有的视觉语言模型中,例如 CLIP 和 ALIGN,从图文对中学习得到的表示往往偏向于目标类别,而不是属性,这导致在直接用于属性识别任务时存在特征不对齐的问题;(2) 其次,没有理想的训练数据集同时包含三种类型(目标框、类别和属性)的标注。据我们所知,只有 COCO Attributes 数据集提供这样程度的标注,但它的词汇量相对有限 ( 196 个属性,29 个类别);(3) 第三,在统一框架下训练这三项任务仍未被探索,具有一定到挑战性,即在开放词汇场景下同时定位(“在哪里”)和描述目标的语义类别和属性(“是什么”)。

为了解决上述问题,我们从一个简单的架构开始,称为 CLIP-Attr。该架构首先通过离线 RPN 从图像中提取目标候选框,然后通过比较属性词嵌入和候选目标的视觉嵌入之间的相似度来实现开放式词汇目标属性识别。为了更好地对齐属性词和候选目标之间的特征,我们在文本编码器端引入可学习的 prompt 向量,并在大量的图文对数据上微调原始 CLIP 模型。为了进一步提高模型效率,我们提出了 OvarNet,这是一个统一的框架,可以在一次前向传播中进行检测和属性识别。OvarNet 是通过在目标检测和属性预测两个数据集上训练,并通过蒸馏 CLIP-Attr 模型的知识来提高在 novel/unseen 属性的性能。我们提出的 OvarNet 是第一个可扩展的管道,在开放词汇场景下可以同时定位目标,并同时推断视觉属性和目标类别。实验结果表明,尽管只使用弱监督的图文对数据对 OvarNet 进行蒸馏,但它在 VAW、MSCOCO、LSA 和 OVAD 数据集上的表现优于先前的最新技术,展现了对新属性和类别的强大泛化能力。

2.方法

我们的方法主要分为 3 步:首先,利用目标检测数据和属性预测数据在开放词汇场景下训练一个简单的两阶段的方法;然后,通过利用大量的图文对数据进一步微调这个两阶段模型以提高在 novel/unseen 类别和属性上的性能;最后,为了保证泛化性和前传速度,我们基于知识蒸馏的范式设计了一个一阶段的算法。

2.1 两阶段算法

作为社交图谱数据,数据的一致性至关重要。我们需要严格保证数据的最终一致性以及一定场景下的强一致性。为此,我们采取了以下措施:

作为社交图谱数据,数据的一致性至关重要。我们需要严格保证数据的最终一致性以及一定场景下的强一致性。为此,我们采取了以下措施:

2.2 图文对数据微调

首先,我们对图文对数据进行预处理,从句子中解析出类别词、属性词、和名词短语;随后,我们使用预训练的 CLIP-Attr 对数据进行伪标签标注;最后为了避免噪声标签的影响,我们通过多实例 NCE 损失进行监督训练。

下图给出了利用海量图文对数据微调 CLIP-Attr 的网络结构图。

2.3 单阶段蒸馏算法

尽管通过预先计算的提议框和上述的 CLIP-Attr 模型可以实现开放词汇目标属性预测,但其推理过程非常耗时,因为每一个裁剪后的区域都会输入到视觉编码器中。在这一部分,我们的目标是解决缓慢的推理速度,端到端地训练一个用于目标检测和属性预测的 Faster-RCNN 类型的模型,称为 OvarNet。图像会被依次经过视觉编码器、类别无关的区域提议网络和开放词汇属性分类网络。

下图是其整体网络框架。为了提高模型处理未知类别和属性的能力,我们进一步加入了 CLIP-Attr 模型的额外知识进行蒸馏。

3.实验

我们考虑的开放词汇目标属性识别包括两个子任务:开放词汇目标检测和对所有检测到的目标进行属性分类。所采用的数据集有 MS-COCO、VAW、LSA 和 OVAD。为了评估模型的性能,在指标评价上我们同时考虑 box-given 和 box-free 的设定,使用 mAP 进行评价。

3.1 COCO 和 VAW 上的结果

3.2 OVAD 和 LSA 上的结果

3.3 一些可视化结果

4.结语

本文探讨了开放词汇目标检测和属性识别问题,即同时定位目标并推断它们的语义类别和视觉属性。我们从一个简单的两阶段框架( CLIP-Attr )开始,使用预训练的 CLIP 对目标提议进行分类。为了更好地对齐以目标为中心的视觉特征与属性概念,我们在文本编码器侧使用可学习提示向量。在训练方面,我们采用联合训练策略来利用目标检测和属性预测数据集,并探索一种弱监督训练方案,利用外部图像-文本对增加识别新属性的鲁棒性。最后,为了提高计算效率,我们将 CLIP-Attr 的知识蒸馏到一种 Faster-RCNN 类型的模型中(称为 OvarNet)。在 VAW、MS-COCO、LSA 和 OVAD 等四个不同的基准评估中,我们表明联合训练目标检测和属性预测有助于视觉场景理解,并大大优于现有方法独立处理两个任务的方法,展示了强大的泛化能力,可以处理新的属性和类别。

对内容的充分理解,是实现内容推荐和检索的有效工具。在小红书双列布局场景下,对笔记封面图篇的理解就显得格外重要。采用本文所示的开集目标属性识别能力,我们可以在更细粒度上对封面图进行结构化理解。比如除了可以检测到人物之外,还可以进一步标记人物衣着、姿态等属性,从而在进行推荐和检索时,实现更加智能和个性化的内容推荐。此外,在构建小红书的内容质量体系时,通过对图片的充分解析,我们能够更精确地描述一篇笔记的质量分级,进而实现内容基于质量的差异化分发。

  • 论文地址:arxiv.org/abs/2301.0950

5.作者介绍

陈科研

现博士就读于北京航空航天大学,曾在 Proceedings of the IEEE、TGRS、CVPR 等发表多篇论文。主要研究方向为遥感图像处理,多模态学习。

莱戈

小红书生态算法团队负责人。曾在 CVPR、ICCV、ECCV、TNNLS、TGRS 等会刊发表 10 余篇论文,曾获 YouTube-VOS 视频分割竞赛 Top-3 排名,曾获天池视觉分割大奖赛复赛第 1 名。主要研究方向:目标跟踪、视频分割、多模态分类/检索等。

汤神

小红书智能创作团队负责人。曾在 CVPR、ECCV、ICCV、TIFS、ACMMM 等会议与期刊发表近 20 篇论文。多次刷新 WiderFace 和 FDDB 国际榜单世界记录,ICCV Wider Challenge 人脸检测国际竞赛冠军,ICCV VOT 单目标跟踪冠军,CVPR UG2+亚军。

悟空CRM产品更多介绍:www.5kcrm.com

相关内容

外贸客户管理软件能解决企业哪些实际问题?

随着中国经济的持续发展,各种企业竞争逐渐的加剧,特别是外贸行业企业的竞争同样非常激烈。外贸行业企业在既需要成长又面临激烈竞争的情况下,就需要自己的专业外贸客户管理软件。那么外贸客户管理软件能解决企业哪些实际问题?附外贸客户管理软件解决方案。▋解决销售问题外贸客户管理软件解决企业销售方面的问题。外贸企业的主要的工作之一就是销售,可以说销售对于外贸公司来说至关重要。销售做的好的外贸企业才能够持续的成长
相关文章

有哪些免费的客户管理系统可供选择?

有哪些免费的客户管理系统可供选择?在现今竞争激烈的商业环境中,客户管理成为了企业成功的关键因素之一。通过高效的客户管理系统,企业可以更好地了解和满足客户需求,提升客户满意度并实现持续增长。然而,为了引入优秀的客户管理系统,企业通常需要付出昂贵的费用。对于小型企业或初创企业来说,这可能是一个不小的负担。然而,幸运的是,有许多免费的客户管理系统可供选择。本文将介绍几个值得考虑的免费客户管理系统,并探讨
相关文章

CRM试用指南,CRM试用的几个注意事项

CRM是客户关系管理的缩写,是一种通过IT技术手段,对客户数据进行收集、整理、分析、应用和管理,以实现客户关系的维护和发展的管理思想和方法。随着企业对于客户关系管理的需求不断增长,CRM系统也逐渐成为企业必备的工具之一。对于初次接触CRM系统的用户,试用是了解CRM系统功能和性能的重要方式。本文将介绍CRM试用的几个注意事项。附CRM试用地址。1.确定试用目的和需求在进行CRM试用之前,需要先明确
相关文章

客户营销管理系统能解决企业哪些实际问题?

随着IT技术与经济的持续发展,营销技术与模式也在持续创新。传统的市场营销技术与模式已经严重落后于时代。企业在这种情况下,就需要使用先进的客户营销管理系统来满足企业生存与发展的需求。那么客户营销管理系统能解决企业哪些实际问题?▋解决销售效率问题客户营销管理系统的使用帮助企业解决销售效率问题。传统的销售过程看似简单,实际对于销售人员是比较繁杂的,特别是一些企业新招聘的销售人员,开第一单实际甚至长达三五
相关文章

如何登录海信CRM系统?海信CRM系统的功能和特点是什么?

海信CRM系统是一款功能强大的客户关系管理软件,它为企业提供了一套完整的解决方案,帮助企业实现客户信息的管理、销售业绩的提升和市场营销的精细化。那么,如何登录海信CRM系统呢? 首先,打开浏览器,输入海信CRM系统的网址。一般来说,海信CRM系统的网址会以“https://www.5kcrm.com”开头。在浏览器的地址栏中输入该网址,并按下回车键。 接下来,会跳转到海
相关文章

营销CRM系统能解决哪些实际工作问题?

随着IT技术的高速发展与商业理念的变化,企业营销与销售工作也在快速的变化升级,也就要求企业可以跟上市场营销环境的变化,这个时候就要求企业使用营销CRM系统。那么营销CRM系统能解决哪些实际工作问题?下面从五个方面详细的介绍。▋提升效率营销CRM系统提升企业销售团队的工作效率。传统的销售方式需要销售人员使用大量的时间来进行线索的管理、客户信息的管理、销售过程的管理、合同的管理、回款的管理、回头客户的
相关文章

医疗器械销售管理系统可以解决工作中哪些实际问题?

医疗器械销售管理系统可以解决工作中哪些实际问题?对于医疗器械企业来讲,医疗器械销售工作一直都是公司核心工作之一,而好的医疗器械销售管理系统就像人使用挖掘机与使用铁锹干活一样差距巨大,可以从量到质的提升医疗器械销售的工作效率,提升企业的运营能力与销售收入等。那么医疗器械销售管理系统可以解决工作中哪些实际问题?第一,医疗器械销售管理系统解决繁杂销售管理问题。医疗器械销售看似简单,其实隐藏着繁杂的工作内
相关文章

CRM管理系统的六个主要功能

  CRM管理系统的功能有哪些?  CRM管理系统是什么?它有哪些功能呢?许多企业都在使用CRM管理系统,那么它到底是什么呢?简单来说,CRM管理系统可以帮助企业管理销售流程和客户信息,提高销售效率和客户满意度。  在没有CRM管理系统之前,客户信息的记录和分析、销售线索的分配和跟进、销售过程的规范化管理都是非常困难的。企业需要花费大量时间和人力来整理这些数据。然而,CRM管理系统的出现可以解决这
相关文章

一分钟带您了解CRM客户管理系统!

  大家好,今天我要给大家介绍一个神奇的系统,它就是我们的CRM客户管理系统!这个系统可以帮你轻松管理客户,让你在市场竞争中占据优势。  首先,我们来看看这个系统能够做些什么。它可以帮助你收集、整理和管理客户信息,包括客户基本信息、历史交易记录、沟通记录等等,让你随时随地掌握客户动态,轻松应对各种挑战。  除此之外,CRM客户管理系统还可以自动化客户沟通,让你省去繁琐的手动操作,提高工作效率。例如
相关文章

CDP与CRM的区别

  CDP与CRM的区别  说完 CDP,我们来分析一下CRM的定位和作用,还是从我个人的经历来分享,大家更容易理解。  20多年前我加入华润超市工作,参与的第一个项目就是会员系统,那时候还叫积分卡系统。那时候的积分卡系统就是记录会员姓名生日等很简单的用户信息,作用就是消费有积分,积分能换礼品。那个年代条件有多差?兑换只能一个月一次,而且是采用离线的方式进行。后来网络条件好了,可以实现在线兑换积分
相关文章
最新文章

客户营销管理系统能解决企业哪些实际问题?

随着IT技术与经济的持续发展,营销技术与模式也在持续创新。传统的市场营销技术与模式已经严重落后于时代。企业在这种情况下,就需要使用先进的客户营销管理系统来满足企业生存与发展的需求。那么客户营销管理系统能解决企业哪些实际问题?▋解决销售效率问题客户营销管理系统的使用帮助企业解决销售效率问题。传统的销售过程看似简单,实际对于销售人员是比较繁杂的,特别是一些企业新招聘的销售人员,开第一单实际甚至长达三五
最新文章

外贸客户管理软件能解决企业哪些实际问题?

随着中国经济的持续发展,各种企业竞争逐渐的加剧,特别是外贸行业企业的竞争同样非常激烈。外贸行业企业在既需要成长又面临激烈竞争的情况下,就需要自己的专业外贸客户管理软件。那么外贸客户管理软件能解决企业哪些实际问题?附外贸客户管理软件解决方案。▋解决销售问题外贸客户管理软件解决企业销售方面的问题。外贸企业的主要的工作之一就是销售,可以说销售对于外贸公司来说至关重要。销售做的好的外贸企业才能够持续的成长
最新文章

营销CRM系统能解决哪些实际工作问题?

随着IT技术的高速发展与商业理念的变化,企业营销与销售工作也在快速的变化升级,也就要求企业可以跟上市场营销环境的变化,这个时候就要求企业使用营销CRM系统。那么营销CRM系统能解决哪些实际工作问题?下面从五个方面详细的介绍。▋提升效率营销CRM系统提升企业销售团队的工作效率。传统的销售方式需要销售人员使用大量的时间来进行线索的管理、客户信息的管理、销售过程的管理、合同的管理、回款的管理、回头客户的
最新文章

快速注册,立即使用

仅需一分钟,立即注册悟空云。悟空CRM免费试用。