4 个月前

用于故事可视化的中立变压器模型

用于故事可视化的中立变压器模型

摘要

故事可视化是计算机视觉中的一个高级任务,旨在实现顺序图像合成,其中生成的样本需要具备现实性、忠实于其条件且在序列上保持一致。我们的研究提出了一种新颖的架构和训练方法:公正变换器(Impartial Transformer)利用尽可能少的可训练参数,实现了既与文本相关又具有合理性的场景以及顺序一致性。这一改进甚至能够处理包含被遮挡物体的“困难”样本的合成,相较于以往的方法,在评估指标上取得了显著提升。

基准测试

基准方法指标
story-visualization-on-clevr-svImpartial Transformer
LPIPS: 0.21

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
用于故事可视化的中立变压器模型 | 论文 | HyperAI超神经