HyperAIHyperAI

Command Palette

Search for a command to run...

自适应理性激活函数以提升深度强化学习

Quentin Delfosse Patrick Schramowski Martin Mundt Alejandro Molina Kristian Kersting

摘要

最新的生物学研究揭示,智力不仅源于神经元之间的连接,而且单个神经元所承担的计算职责远超以往预期。这一观点在不断变化的多样化强化学习环境中尤为重要,然而当前主流方法仍主要依赖静态激活函数。本文旨在阐明为何有理函数(rationals)适用于可适应的激活函数,并强调将其引入神经网络的必要性。受残差网络中循环结构的启发,我们推导出有理单元在残差连接下保持封闭的条件,并进一步提出一种自然正则化的变体——循环有理单元(recurrent-rational)。实验表明,将(循环)有理激活函数应用于主流强化学习算法,可在Atari游戏任务上持续提升性能,尤其能够显著增强简单DQN算法的表现,使其达到与DDQN和Rainbow等先进方法相媲美的水平。


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
自适应理性激活函数以提升深度强化学习 | 论文 | HyperAI超神经