3 个月前

面向语言的文本到图像生成通信:语义编码与知识蒸馏方法

面向语言的文本到图像生成通信:语义编码与知识蒸馏方法

摘要

通过将大型语言模型(LLMs)与生成模型的最新进展融入新兴的语义通信(Semantic Communication, SC)范式,本文提出了一种面向语言的语义通信(Language-oriented Semantic Communication, LSC)新框架。在LSC框架中,机器之间通过人类语言消息进行通信,这些消息可借助自然语言处理(Natural Language Processing, NLP)技术进行解读与操作,从而提升语义通信的效率。为验证LSC的潜力,本文提出了三项创新算法:1)语义源编码(Semantic Source Coding, SSC),该方法将文本提示压缩为体现其句法核心的关键词,同时保持关键词的出现顺序,以保留原始提示的上下文语义;2)语义信道编码(Semantic Channel Coding, SCC),通过用更长的同义词替换关键词,增强通信在噪声环境下的抗错能力;3)语义知识蒸馏(Semantic Knowledge Distillation, SKD),利用上下文学习技术,根据接收方的语言风格生成定制化提示,实现个性化通信。在面向渐进式文本到图像生成的通信任务中,所提出的方法在显著减少传输次数的同时,实现了更高的感知相似性,并有效提升了在噪声通信信道中的鲁棒性。

基准测试

基准方法指标
text-to-image-generation-on-flickr-8kSSC+SKD
LPIPS: 0.697

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
面向语言的文本到图像生成通信:语义编码与知识蒸馏方法 | 论文 | HyperAI超神经