基于桥检领域-任务迁移的检测报告信息提取少样本模型
为减少桥梁检测关键信息提取方法对大量人工标注样本的依赖,提出了一种适用于少样本场景的桥梁检测关键信息提取模型,由桥检领域预训练语言模型、双向长短时记忆(BiLSTM)网络和条件随机场(CRF)组成;通过使用桥梁领域语料与检测任务数据对原始语言模型进行领域预训练和任务微调,实现从领域知识到任务特征的两阶段迁移,构建出更适应桥梁专业术语和检测报告格式的预训练语言模型;利用BiLSTM捕捉桥梁检测报告中的上下文依赖关系,并结合CRF对最终信息提取结果进行约束优化;根据行业规范和现有相关研究,重新定义了8类桥梁检测报告中通用的关键信息;为验证方法的有效性,分别在仅包含50和100个句子的少样本数据上进行训练,并在1 491个句子的测试集上评估性能。试验结果表明:当训练样本数分别为50和100个时,本文提出模型的F_1值分别达到0.860 7和0.820 2,均显著优于4个主流模型,验证了该模型在少样本情况下对桥检报告关键信息的精准提取能力;消融试验进一步证明了领域与任务两阶段迁移学习策略在快速提取少样本数据中领域相关信息和任务显著特征方面的有效性,从而显著提升了模型在少样本场景上的整体性能;提出的少样本场景下桥梁检测信息提取方法可用于构建知识图谱,以评估桥梁的结构状态和预测未来可使用寿命。
交通运输工程学报
2025年01期
立即查看 >
图书推荐
相关工具书