4 个月前

感知损失在实时风格迁移和超分辨率中的应用

感知损失在实时风格迁移和超分辨率中的应用

摘要

我们研究图像变换问题,其中输入图像被转换为输出图像。针对此类问题的最新方法通常使用输出图像与真实图像之间的\emph{逐像素}损失来训练前馈卷积神经网络。并行的研究表明,通过定义和优化基于预训练网络提取的高级特征的\emph{感知}损失函数,可以生成高质量的图像。我们结合了这两种方法的优点,提出在训练用于图像变换任务的前馈网络时使用感知损失函数。我们在图像风格迁移中展示了实验结果,其中前馈网络被训练以实时解决Gatys等人提出的优化问题。与基于优化的方法相比,我们的网络在定性结果上相似,但速度快三个数量级。此外,我们还对单幅图像超分辨率进行了实验,结果显示用感知损失替代逐像素损失可以得到视觉上令人满意的结果。

代码仓库

ksivaman/super-res
pytorch
GitHub 中提及
vieduy/Neural-Style-Transfer
paddle
GitHub 中提及
proteus1991/GridDehazeNet
pytorch
GitHub 中提及
Alina9/Style-transfer
pytorch
GitHub 中提及
ryanchankh/style_transfer
tf
GitHub 中提及
rrrepsac/tb_vc
pytorch
GitHub 中提及
CYetlanezi/Proyecto-Opti
tf
GitHub 中提及
ZyoungXu/MoSt-DSA
pytorch
GitHub 中提及
vijishmadhavan/ArtLine
pytorch
GitHub 中提及
dxyang/styletransfer
pytorch
GitHub 中提及
FeliMe/multimodal_style_transfer
pytorch
GitHub 中提及
DmitryUlyanov/texture_nets
pytorch
GitHub 中提及
rrmina/fast-neural-style-pytorch
pytorch
GitHub 中提及
alexjc/neural-enhance
GitHub 中提及
nikunj-taneja/accendo
pytorch
GitHub 中提及
Divsigma/2020-cs213n
tf
GitHub 中提及
riven314/PerceptualLoss-FastAI
pytorch
GitHub 中提及
jayChung0302/DeepFilter
pytorch
GitHub 中提及
amazingyyc/Brouhaha
tf
GitHub 中提及
kvsnoufal/neural_style_transfer
pytorch
GitHub 中提及
anhkhoa039/Neural-Style-Transfer
paddle
GitHub 中提及
vijishmadhavan/Toon-Me
pytorch
GitHub 中提及
noufali/VideoML
pytorch
GitHub 中提及
PetruninAlex/Sketch2Real
pytorch
GitHub 中提及
abhiskk/fast-neural-style
pytorch
GitHub 中提及
riyakothari/NeuralStyleTransfer
pytorch
GitHub 中提及
ninatu/mood_challenge
pytorch
GitHub 中提及
lxy5513/Multi-Style-Transfer
pytorch
GitHub 中提及
seloufian/Faster-Style-Transfer
pytorch
GitHub 中提及
brightyoun/Video-Style-Transfer
pytorch
GitHub 中提及
Josien94/MLiP
tf
GitHub 中提及
AloneGu/keras_tf_neural_img
tf
GitHub 中提及
Chad4545/styletransfer
pytorch
GitHub 中提及
aijialin/style_transfer
tf
GitHub 中提及
thatbrguy/Dehaze-GAN
tf
GitHub 中提及
buddly27/stylish
GitHub 中提及
ErikFaustmann/styletransfer
tf
GitHub 中提及
pmm09c/ntire-dehazing
pytorch
GitHub 中提及
habout632/gans
pytorch
GitHub 中提及
yakhyo/Fast-Neural-Style-Transfer
pytorch
GitHub 中提及
chuanli11/MGANs
pytorch
GitHub 中提及
etttttte/mayfest2018
pytorch
GitHub 中提及
kynk94/TF2-Image-Generation
tf
GitHub 中提及
ashkanpakzad/atn
pytorch
GitHub 中提及
libreai/neural-painters-x
tf
GitHub 中提及
shivsundram/superresolution
tf
GitHub 中提及
AtharvBhat/Plus-Ultra
pytorch
GitHub 中提及
vijishmadhavan/SkinDeep
pytorch
GitHub 中提及
samsh19/ML_project
pytorch
GitHub 中提及
TanguyJeanneau/white-mirror
pytorch
GitHub 中提及

基准测试

基准方法指标
image-super-resolution-on-bsd100-4x-upscalingPerceptual Loss
PSNR: 24.95
SSIM: 0.6317
nuclear-segmentation-on-cell17FnsNet
Dice: 0.6165
F1-score: 0.7413
Hausdorff: 25.9102

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
感知损失在实时风格迁移和超分辨率中的应用 | 论文 | HyperAI超神经