为了克服传统政务平台回复的人工质量检测难以满足庞大市民政务需求的问题,以及以文本特征为主的机器学习方法缺乏可解释性的问题,研究采用了一种结合大语言模型(large language models,LLMs)和机器学习(machine learning,ML)模型,并以...为了克服传统政务平台回复的人工质量检测难以满足庞大市民政务需求的问题,以及以文本特征为主的机器学习方法缺乏可解释性的问题,研究采用了一种结合大语言模型(large language models,LLMs)和机器学习(machine learning,ML)模型,并以非文本特征为主的政务回复质量检测算法框架。实验表明该算法能达到比其他单一使用LLMs或ML的方法更高的准确度,接近政务问答质量的人工判断结果,并且收敛速度快,训练成本更低。同时采用SHAP(Shapley additive explanations)框架提高了该方法的可解释性,结合八种非文本特征的重要性和对最终结果的贡献度,识别出影响政务问答质量的关键因素和特征作用机制,以此筛选得到高质量回复和提高平台服务质量,增进市民对政务问答平台的满意度和信任度。展开更多
