本文介绍了一种针对语言模型数据高效预训练的新型 Transformer 架构修改方法。该方法通过参与BabyLM挑战赛进行了评估，在严格赛道和严格小型赛道中均取得了胜利。我们的方法允许每个 Transformer 层选择要处理的前一层输出。实证结果验证了这一简单修改的潜力，并表明并非所有层都同等重要。