尽管近年来Transformer已成为时间序列预测任务中的主流架构，但一个根本性挑战依然存在：Transformer中的置换不变性自注意力机制会导致时间信息的丢失。为应对这一挑战，我们提出了一种新型基于CNN的模型——PatchMixer。该模型引入了一种置换相关（permutation-variant）的卷积结构，以有效保留时间序列中的时序信息。与该领域中通常采用多尺度或大量分支结构的常规CNN不同，我们的方法仅依赖深度可分离卷积（depthwise separable convolutions），从而在单一尺度架构下即可同时捕捉局部特征与全局相关性。此外，我们设计了双预测头结构，包含线性和非线性两部分，以更精准地建模未来序列的趋势与细节。在七个时间序列预测基准上的实验结果表明，相较于当前最先进的方法以及表现最佳的CNN模型，PatchMixer分别实现了3.9%和21.2%的相对性能提升，同时推理速度比最先进的方法快2至3倍。