摘要

具有较高响应质量的大规模语言模型（LLM）——尤其是较大规模或闭源的模型——通常伴随着较高的推理成本，这使得它们的部署既低效又昂贵。与此同时，从头开始开发基础性的大规模语言模型正变得越来越资源密集，对于许多应用来说也不再实际。为了解决在质量和成本之间平衡的挑战，我们引入了Routoo架构，该架构旨在根据性能、成本和效率优化特定提示下的大规模语言模型选择。Routoo提供了对推理成本和质量之间权衡的可控性，能够在满足给定质量要求的同时显著降低推理成本。Routoo由两个关键组件构成：性能预测器和成本感知选择器。性能预测器是一个轻量级的大规模语言模型，它可以在不执行这些底层模型的情况下估计各种底层大规模语言模型在给定提示上的预期性能。成本感知选择器模块则基于这些预测以及诸如成本和延迟等约束条件来选择最合适的模型，从而在相同质量下显著降低推理成本。我们使用涵盖57个领域的MMLU基准测试对Routoo进行了评估，采用了开源模型进行测试。结果显示，Routoo在匹配Mixtral 8x7b模型性能的同时，将推理成本降低了三分之一。此外，通过允许增加的成本，Routoo在同等成本下超越了Mixtral的准确性超过5%，达到了75.9%的准确率。当我们将GPT-4纳入我们的模型池时，Routoo几乎以一半的成本达到了GPT-4的性能，并且在减少25%的成本情况下超过了GPT-4的性能。这些结果突显了Routoo在不牺牲质量的前提下大幅降低推理成本的巨大潜力，并且通过利用多个大规模语言模型的集体能力，甚至可以实现新的最先进水平。