基于大语言模型多策略微调的叙词表等级关系构建研究

• 作者： 李泽宇 ¹ 刘伟 ¹
• 作者单位：
  1.  中国科学技术信息研究所
• 通讯作者： 刘伟 
• 发布时间：2024-09-12

摘要: [目的/意义]随着知识组织系统运作环境的变化，知识组织的重要性不断提升，为突破传统叙词表构建及应用困境，结合最新大语言模型技术探索叙词表构建新范式。[方法/过程]从叙词表自身特征及其构建思路入手，采用继续预训练、监督微调和强化学习的全流程微调结合本地知识库的方案对大语言模型进行微调训练，并基于“量子科技”和“理论力学”领域进行实证。[结果/结论]经过继续预训练、“多策略数据处理微调方案”和RLHF的微调方案表现更优。其中，对于“理论力学”领域的已有词表构建准确度高达89.06%，“量子科技”新兴领域词表构建准确度为63.02%。表明，本文方案可以实现已有词表的构建，且在新领域词表的构建中表现良好，具备一定可行性，为新领域叙词表构建提供参考。

• 来自： 李泽宇
• 分类： 信息资源管理 >> 情报学
• 稿件状态： 已被期刊评审中
• 引用： PSSXiv:202409.00719 (或此版本 PSSXiv:202409.00719V1)
  DOI:10.12451/202409.00719
  CSTR:32012.36.PSSXiv.202409.00719
• 推荐引用方式： 李泽宇,刘伟.基于大语言模型多策略微调的叙词表等级关系构建研究.哲学社会科学预印本平台:https://zsyyb.cn/abs/202409.00719.[PSSXiv:202409.00719V1] (点此复制)