3 个月前

随机微分方程的可扩展梯度

随机微分方程的可扩展梯度

摘要

伴随敏感性方法能够可扩展地计算常微分方程解的梯度。我们将其推广至随机微分方程,实现了在高阶自适应求解器下高效的时间与恒定内存开销的梯度计算。具体而言,我们推导出一个随机微分方程,其解即为所求梯度;提出一种内存高效的噪声缓存算法;并给出了数值解收敛的条件。此外,我们将该方法与基于梯度的随机变分推断相结合,用于潜变量随机微分方程的推断。利用该方法,我们拟合了由神经网络定义的随机动力系统,在一个50维的动作捕捉数据集上取得了具有竞争力的性能表现。

代码仓库

xwinxu/bayesde
jax
GitHub 中提及
JFagin/latent_SDE
pytorch
GitHub 中提及
xwinxu/bayesian-sde
jax
GitHub 中提及
google-research/torchsde
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
video-prediction-on-cmu-mocap-2Latent ODE
Test Error: 5.98
video-prediction-on-cmu-mocap-2Latent SDE
Test Error: 4.03

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
随机微分方程的可扩展梯度 | 论文 | HyperAI超神经