卡雷尔谜题是一种通过指令在模拟环境中控制机器人行动的问题集合。

全前向模式 (Fully Forward Mode，FFM) 是一种用于训练光学神经网络的方法，它由清华大学戴琼海院士、方璐教授的研究团队于 2024 年提出。相关论文是「Fully forward mode train […]

忙碌海狸游戏是由数学家 Tibor Radó 在 1962 年提出的一个理论计算机科学问题。

RNN 的工作原理是通过隐藏层的状态来存储之前时间步的信息，使得网络的输出依赖于当前的输入和之前的状态。

ResNet 通过在网络中增加残差连接，有效地解决了随着网络深度增加时出现的梯度消失和梯度爆炸问题。

Adam 是一种用于一阶梯度优化的算法，特别适用于处理大规模数据和参数的优化问题。

GPT 模型的核心技术是 Transformer 架构，它通过自注意力机制有效地捕捉上下文信息。

Frequency Principle，简称 F-Principle（频率原则）是深度学习领域中的一个重要概念，它描述了深层神经网络 (DNN) 在训练过程中倾向于从低频到高频拟合目标函数的特性。这个原则由上海交通大学的 […]

参数凝聚描述了在神经网络训练过程中，模型参数倾向于向特定值或方向聚集的现象。

圈复杂度是一种软件度量指标，用于衡量程序的复杂性。

Dropout 的核心思想是在训练过程中随机地丢弃（即暂时移除）网络中的一些神经元，以及它们的连接，从而防止模型过拟合。

Graph Attention Networks（简称 GATs）是一种为图结构数据设计的神经网络，由 Petar Veličković 和他的同事在 2017 年提出，相关论文成果为「Graph Attention N […]

消息传递图神经网络（Message Passing Neural Networks，简称 MPNN）是一种处理图结构数据的神经网络框架，由 Gilmer 等人在 2017 年提出，相关论文成果为「Neural Messa […]

图卷积网络（Graph Convolutional Networks，简称 GCN），Kipf 和 Welling 在 2017 年的 ICLR 会议上发表了题为「Semi-Supervised Classificati […]

门控循环单元（Gated Recurrent Unit，简称 GRU）是一种循环神经网络 (RNN) 的变体，由 Cho 等人于 2014 年提出，相关论文成果为「Empirical Evaluation of Gate […]

AlexNet 是一种深度卷积神经网络 (CNN)，由 Alex Krizhevsky 、 Ilya Sutskever 和 Geoffrey Hinton 于 2012 年提出，并在当年的 ImageNet 图像分类竞 […]

CART Decision Tree 是一种决策树算法，能够用于分类和回归任务。

梯度提升 (Gradient Boosting) 是一种集成学习算法，它通过结合多个弱预测模型（通常是决策树）来构建一个强预测模型。

LeNet-5 是深度学习和卷积神经网络领域的开创性工作，它奠定了现代深度学习中许多关键概念的基础，如卷积层、池化层和全连接层。

资格问题主要关注的是如何在变化的环境中，确定一个动作或事件成功执行所需的所有条件或因素。

ReAct 提出了一种通用范式，将推理和行动的进步结合起来，使语言模型能够解决各种语言推理和决策任务。

Pre-training Once 一种的三分支自监督训练框架，通过引入弹性学生分支，在每次预训练步骤中随机采样子网络进行训练。

FlexAttention 是一种灵活的注意力机制，旨在提高高分辨率视觉语言模型的效率。

FlashAttention 是一种高效、内存友好型的注意力算法。

卡雷尔谜题是一种通过指令在模拟环境中控制机器人行动的问题集合。

全前向模式 (Fully Forward Mode，FFM) 是一种用于训练光学神经网络的方法，它由清华大学戴琼海院士、方璐教授的研究团队于 2024 年提出。相关论文是「Fully forward mode train […]

忙碌海狸游戏是由数学家 Tibor Radó 在 1962 年提出的一个理论计算机科学问题。

RNN 的工作原理是通过隐藏层的状态来存储之前时间步的信息，使得网络的输出依赖于当前的输入和之前的状态。

ResNet 通过在网络中增加残差连接，有效地解决了随着网络深度增加时出现的梯度消失和梯度爆炸问题。

Adam 是一种用于一阶梯度优化的算法，特别适用于处理大规模数据和参数的优化问题。

GPT 模型的核心技术是 Transformer 架构，它通过自注意力机制有效地捕捉上下文信息。

Frequency Principle，简称 F-Principle（频率原则）是深度学习领域中的一个重要概念，它描述了深层神经网络 (DNN) 在训练过程中倾向于从低频到高频拟合目标函数的特性。这个原则由上海交通大学的 […]

参数凝聚描述了在神经网络训练过程中，模型参数倾向于向特定值或方向聚集的现象。

圈复杂度是一种软件度量指标，用于衡量程序的复杂性。

Dropout 的核心思想是在训练过程中随机地丢弃（即暂时移除）网络中的一些神经元，以及它们的连接，从而防止模型过拟合。

Graph Attention Networks（简称 GATs）是一种为图结构数据设计的神经网络，由 Petar Veličković 和他的同事在 2017 年提出，相关论文成果为「Graph Attention N […]

消息传递图神经网络（Message Passing Neural Networks，简称 MPNN）是一种处理图结构数据的神经网络框架，由 Gilmer 等人在 2017 年提出，相关论文成果为「Neural Messa […]

图卷积网络（Graph Convolutional Networks，简称 GCN），Kipf 和 Welling 在 2017 年的 ICLR 会议上发表了题为「Semi-Supervised Classificati […]

门控循环单元（Gated Recurrent Unit，简称 GRU）是一种循环神经网络 (RNN) 的变体，由 Cho 等人于 2014 年提出，相关论文成果为「Empirical Evaluation of Gate […]

AlexNet 是一种深度卷积神经网络 (CNN)，由 Alex Krizhevsky 、 Ilya Sutskever 和 Geoffrey Hinton 于 2012 年提出，并在当年的 ImageNet 图像分类竞 […]

CART Decision Tree 是一种决策树算法，能够用于分类和回归任务。

梯度提升 (Gradient Boosting) 是一种集成学习算法，它通过结合多个弱预测模型（通常是决策树）来构建一个强预测模型。

LeNet-5 是深度学习和卷积神经网络领域的开创性工作，它奠定了现代深度学习中许多关键概念的基础，如卷积层、池化层和全连接层。

资格问题主要关注的是如何在变化的环境中，确定一个动作或事件成功执行所需的所有条件或因素。

ReAct 提出了一种通用范式，将推理和行动的进步结合起来，使语言模型能够解决各种语言推理和决策任务。

Pre-training Once 一种的三分支自监督训练框架，通过引入弹性学生分支，在每次预训练步骤中随机采样子网络进行训练。

FlexAttention 是一种灵活的注意力机制，旨在提高高分辨率视觉语言模型的效率。

FlashAttention 是一种高效、内存友好型的注意力算法。