3 个月前

基于大 multimodal 模型的石质文物劣化模式识别

基于大 multimodal 模型的石质文物劣化模式识别

摘要

石质文化遗产遗址的保护是维护文化与历史地标的关键议题。随着大型多模态模型的兴起,如GPT-4omni(OpenAI)、Claude 3 Opus(Anthropic)和Gemini 1.5 Pro(Google),明确这些模型的实际操作能力变得日益重要。本文系统评估了主流基础多模态模型在识别与分类石质构件异常及退化模式方面的能力,此类能力对世界遗产的保护与修复实践具有重要应用价值。在构建主要石质退化模式与异常的分类体系基础上,我们选取了354张具有高度代表性的石质建筑遗产图像,要求各基础模型从中识别并分类,并提供经过精心筛选的标签供其选择。评估结果因退化类型而异,从而揭示了这些模型在文化遗产保护与修复领域中的优势与局限性。

代码仓库

dcorradetti/redai_id_pattern
官方
GitHub 中提及

基准测试

基准方法指标
image-classification-on-id-pattern-datasetGPT-4omni
Percentage correct: 42.1%
image-classification-on-id-pattern-datasetClaude 3 Opus
Percentage correct: 24.3%
image-classification-on-id-pattern-datasetGemini 1.5 Pro
Percentage correct: 39%

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
基于大 multimodal 模型的石质文物劣化模式识别 | 论文 | HyperAI超神经