摘要

本文基于WebApp1K基准测试，对16个前沿大型语言模型（LLMs）在生成网页应用代码方面的能力进行了评估。该基准测试旨在衡量LLMs在实际编程任务中的表现。结果表明，尽管所有模型具备相似的基础知识储备，但其性能差异主要体现在错误发生的频率上。通过对代码行数（LOC）及失败分布的分析，我们发现编写正确代码的复杂度远高于生成错误代码。此外，提示工程（prompt engineering）在降低错误率方面的作用有限，仅在特定场景下表现出一定效果。上述发现表明，未来编码类大型语言模型的发展应更加注重模型的可靠性提升与错误最小化。