- 微信
- 微博
  
  分享文章到微博
- 复制链接
  
  复制链接到剪贴板

2022预计要火的视觉语言理解和生成：一键生成图像标注，视觉问答，代码开源，官方 Demo 可玩

墨理学AI 发表于 2022/02/12 10:57:24 2022/02/12

【摘要】预计要火、 Demo 可玩

🍊 各位读者小伙伴、元宵节快乐
📆 最近更新：2022年2月11日
🍊 趣学深度学习、AI 前沿、技术专栏、敬请关注
🍊 本文为大家分享一项好玩的，预计2022会火的视觉语言理解和生成任务
🍊 AI 之路、道阻且长、感谢无数前辈巨佬的倾情奉献

📕 一键生成图像标注，视觉问答，官方 Demo 可玩

论文基础信息如下

BLIP: Bootstrapping Language-Image Pre-training for Unified Vision-Language Understanding and Generation
BLIP：引导语言图像预训练，实现统一的视觉语言理解和生成
论文地址：https://arxiv.org/pdf/2201.12086.pdf
代码地址：https://github.com/salesforce/BLIP
试玩地址：https://huggingface.co/spaces/akhaliq/BLIP

📕 官方 Demo 试玩效果

视觉语言理解和生成、操作三部曲如下

上传心仪图像
点击下方的提交按钮
等待几秒，右侧即可生成对应的：图像内容描述

引导式：智能问答

不懂就问：我要是上传一张自己的图像，它会不会直接猜到我心里在想什么

论文中的一些官方示例，红色是问题，绿色是回答，人工智能 YYDS 了

📕 网络结构

多个编码器-解码器

模型架构

研究者将一个视觉 transformer 用作图像编码器，该编码器将输入图像分解为 patch，然后将这些 patch 编码为序列嵌入，并使用一个额外的[CLS] token 表征全局图像特征。相较于将预训练目标检测器用于视觉特征提取的方法，使用 ViT 在计算上更友好，并且已被最近很多方法所采用。

为了预训练一个具备理解和生成能力的统一模型，研究者提出了多任务模型 MED（mixture of encoder-decoder），它可以执行以下三种功能的任意一种：

单峰编码器
基于图像的文本编码器
基于图像的文本解码器

预训练目标

研究者在预训练过程中共同优化了三个目标，分别是两个基于理解的目标和一个基于生成的目标。每个图像文本对只需要一个前向传播通过计算更重（computational-heavier）的视觉 transformer，需要三个前向传播通过文本 transformer，其中激活不同的功能以计算以下 3 个损失，分别是：

图像文本对比损失（image-text contrastive loss, ITC），激活单峰编码器，旨在通过鼓励正图像文本对（而非负对）具有相似的表征来对齐视觉与文本 transformer 的特征空间；
图像文本匹配损失（image-text matching loss, ITM），激活基于图像的文本编码器，旨在学习捕获视觉与语言之间细粒度对齐的图像文本多模态表征；
语言建模损失（language modeling loss, LM），激活基于图像的文本解码器，旨在给定一张图像时生成文本描述。