Property Finder 如何修正 Amazon Bedrock 上的评估偏差,选出更优视觉模型
Property Finder 发现其评估数据集中 96.8% 的标签直接沿用了现有视觉语言模型的预测结果,而非人工核验,导致任何替代模型在比较中都处于结构性劣势。
该团队在将视觉 AI 负载迁移到 Amazon Bedrock 上更具成本效益的方案时,改为由具备房地产领域知识的专家独立标注 356 张阿联酋图片,并将单标签分类改为多标签分类,以消除人为歧义。随后他们用 Micro F1 在 256 张专家标注的开发集上评分,通过从 v0 到 v27 的提示词迭代优化选择模型,最终在 Amazon Bedrock 上实现更高准确率、成本降低 86%。