该数据集是一个由 GPT-3.5 和 GPT-4 生成的短篇故事合成数据集，包含的词汇量限定在 3 至 4 岁儿童理解的范围内。它专为训练和评估小型语言模型 (LMs) 而设计，尽管模型规模较小（参数量低于 500 万），或拥有更简单的架构（只有一个 transformer 块），但使用这个数据集训练的模型仍能够产生流畅、一致、多样化且语法近乎完美的短故事。

TinyStories 数据集由 Microsoft Research 于 2023 年提出，相关论文为「TinyStories: How Small Can Language Models Be and Still Speak Coherent English?」