摘要

大型语言模型（LLMs）在各种任务中展现了卓越的能力，近期将这些能力整合到物联网（IoT）应用中的研究受到了广泛关注。由于安全问题，许多机构避免使用最先进的商业LLM服务，转而需要在本地网络环境中部署和利用开源LLM。然而，开源LLM通常在性能方面存在更多限制，例如其算术计算和推理能力，以及将LLM应用于IoT的实际系统尚未得到充分探索。因此，在本研究中，我们提出了一种基于LLM的生成式物联网（GIoT）系统，该系统部署在本地网络环境中。为了缓解LLM的局限性并提供具有竞争力的服务性能，我们采用了提示工程方法来增强开源LLM的能力，并设计了提示管理模块和后处理模块，以管理和处理针对不同任务定制的提示及其生成的结果。为了展示所提系统的有效性，我们将一个具有挑战性的表格问答（Table-QA）任务作为案例进行讨论。因为表格数据通常比纯文本更具挑战性，其复杂结构、异构数据类型以及有时庞大的数据量都增加了处理难度。我们在两个流行的Table-QA数据集上进行了全面的实验，结果表明我们的方案可以实现与最先进LLM相当的性能，证明了所提出的基于LLM的GIoT系统通过定制提示方法能够提供具有竞争力的性能，并且易于扩展到新任务而无需重新训练。