
摘要
石质文化遗产遗址的保护是维护文化与历史地标的关键议题。随着大型多模态模型的兴起,如GPT-4omni(OpenAI)、Claude 3 Opus(Anthropic)和Gemini 1.5 Pro(Google),明确这些模型的实际操作能力变得日益重要。本文系统评估了主流基础多模态模型在识别与分类石质构件异常及退化模式方面的能力,此类能力对世界遗产的保护与修复实践具有重要应用价值。在构建主要石质退化模式与异常的分类体系基础上,我们选取了354张具有高度代表性的石质建筑遗产图像,要求各基础模型从中识别并分类,并提供经过精心筛选的标签供其选择。评估结果因退化类型而异,从而揭示了这些模型在文化遗产保护与修复领域中的优势与局限性。
代码仓库
dcorradetti/redai_id_pattern
官方
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| image-classification-on-id-pattern-dataset | GPT-4omni | Percentage correct: 42.1% |
| image-classification-on-id-pattern-dataset | Claude 3 Opus | Percentage correct: 24.3% |
| image-classification-on-id-pattern-dataset | Gemini 1.5 Pro | Percentage correct: 39% |