当今,大模子不错帮你梳理新闻时候线了,以后吃瓜就更便捷了!
AI Agent的风,我们赛博乐子东谈主也得吹吹。
这便是来自阿里巴巴通义实验室与上海交通大学的新洽商,他们提议了一种基于Agent的新闻时候线摘抄新框架——CHRONOS。
它不仅不错帮你从海量新闻中回来出抨击事件,更抨击的是,它还不错梳理出显著的时候线,以后上网冲浪时各样复杂事件都一目了然。
其中的CHRONOS一词取自希腊传闻中的时候之神柯罗诺斯。
该框架通过迭代多轮的自我发问形势,结合检索增强生成时代,从互联网上检索相工作件信息,并生成时候规定的新闻摘抄,为新闻时候线摘抄生成提供了一种全新的管制决议。
先来一都瞅瞅几个例子。
比如对于新闻“国足1-0巴林”,CHRONOS粗糙回来海量新闻,呈现事件的世代相承。
对于隐藏时候更长的新闻“中国探月工程”,CHRONOS也能聚焦要点事件,呈面前候线发展,使得用户粗糙一目了然。
补都盛开域TLS短板
时候线回来(Timeline Summarization, TLS)任务是一种当然话语处理鸿沟的经典时代挑战,它旨在从多半文本数据中索求要津事件,并按时代规定胪列,以提供对某一主题或鸿沟历史发展的结构化视图。
举例,在新闻鸿沟,时候线回来不错匡助用户快速了解一个新闻事件的世代相承。该任务不仅条款识别出抨击的事件,还需要交融事件之间的时候关系和因果规划,以便生成一个连贯、简陋且信息丰富的时候线摘抄。
左证可检索事件的开端,不错将TLS任务细分为顽固域(closed-domain)和盛开域(open-domain)两个设定:在顽固域TLS任务中,时候线是从一组预界说的、与特定主题或鸿沟相干的新闻著述中创建的,而盛开域TLS指的是从互联网上径直搜索和检索新闻著述来生成时候线的历程。
昔时的使命东要团结于管制顽固域上时候线生成问题,而盛开域TLS则需要纷乱的信息检索和筛选能力,以及在莫得全局视图的情况下识别和建设事件之间规划的能力,为这项任务提议了新的要乞降挑战。
迭代检索的CHRONOS框架
为了草率上述挑战,团队提议CHRONOS框架,通过迭代发问进行相工作件检索,生成准确、全面的时候线摘抄,粗糙有用地管制盛开域和顽固域两种设定下的TLS任务。
1. 动机
时候线生成的中枢在于建设事件之间的时候和因果关系。
每个新闻事件都不错被示意为一个不同的节点,任务的标的是建设这些节点之间的边,以展示它们的相干性,并最终酿成一个异构图,从主题新闻的节点动手。
因此,通过一个检索机制来检索相干的新闻著述,不错有用建设这些边,酿成事件之间的规划。
2. 详细
CHRONOS愚弄大模子的能力,通过模拟东谈主类信息检索的历程,即通过提议问题、基于检索适度进一步提议新的问题,最终荟萃对于相工作件的全面信息并回来为时候线。
CHRONOS包括以下几个模块:
自我发问 (Self-Questioning):最初搜索粗粒度的新闻布景信息,然后迭代地提议问题,以检索更多相干新闻。
问题改写 (Question Rewriting):将复杂或泄漏欠安的问题阐发为更具体、更易检索的查询。
时候线生成 (Timeline Generation):通过清除每一轮检索生成的时候线往来来一个隆起抨击事件的时候线。
3. 自我发问3.1 粗粒度布景调研
在自我发问的开动阶段,CHRONOS使用标的新闻的标题算作要津词进行搜索,以荟萃与标的新闻最径直相干的信息。
这些信息组成了新闻布景(News Context),为自我发问打下初步基础。
3.2 发问示例聘请
在粗粒度布景调研之后,CHRONOS愚弄大模子的高下文体习能力,通过少许样本辅导来领导模子生成对于标的新闻的问题。
为了评估问题样实质料,引入了时序信息量(Chrono-Informativeness, CI)的主张,用来揣摸模子提议的问题检索与参考时候线对都事件的能力,即高CI值的问题更有可能辅导检索到与标的新闻事件相干的著述,用检索生成的时候线和参考时候线中包含日历的F1分数进行揣摸。
基于最大化问题集时序信息量的标的,构建一个“新闻-问题”的示例池,用于领导新标的新闻的问题生成。
对于每个新的标的新闻,通过余弦相似性动态检索与标的新闻最相似的样本,确保了样本的高下文相干性和时候信息的准确性。
3.3 迭代发问
CHRONOS通过连气儿迭代发问,彩娱乐官网徐徐深刻探索事件的细节。
每一轮迭代都基于前一轮的检索适度,以发现新的问题和信息,直到得志时候线中事件数目或达到最大迭代次数。
3.4 问题改写
查询改写(Query Rewriting)是检索增强生成中常用的优化才智。
在CHRONOS框架中,团队通过对开动发问阶段产生的平方或复杂问题改写为2-3个更易于检索的子问题,粗糙生成更具体、更有针对性的查询,从而提高搜索引擎的检索成果。
他们相同在辅导中加入少许样本,领导大模子进行有用改写,将复杂问题转机为更具体的查询,同期保抓问题的原始意图。
3.5 时候线生成
CHRONOS通过两阶段生成圆善的时候线回来:生成(Generation)和清除(Merging)。
生成:通过分析每一轮检索到的新闻著述来识别要津事件和详备信息。愚弄大模子的交融和生成能力,索求每个事件的发诞辰期和相干细节,并为每个事件撰写简陋的描写。这些事件和描写被组织成初步的时候线,按照时候规定胪列,为后续的清除阶段提供基础。
清除:将多轮检索生成的初步时候线整合成一个连贯的最终摘抄。这一历程波及对都不同时代线中的事件、管制任何日历或描写上的阻碍,并聘请最具代表性和抨击性的事件。
全新数据集OPEN-TLS
为了评估TLS系统,洽商团队还荟萃了由专科记者撰写的对于近期新闻事件的时候线,构建了一个名为Open-TLS的新数据集。
与以往顽固域的数据集比拟,Open-TLS不仅在数据集范畴和内容上愈加各样化,隐藏政事、经济、社会、体育和科学时代等多个鸿沟,何况在时效性上更具上风,为盛开域TLS任务提供了一个更全面和更具挑战性的基准。
实验适度
1. 实验设定
实验基于GPT-3.5-Turbo、GPT-4和Qwen2.5-72B分袂构建CHRONOS系统,评测盛开域和顽固域两个设定下TLS的性能泄漏。使用的评估狡计主要有:
ROUGE-N: 揣摸生成时候线和参考时候线之间的N-gram换取。具体包括:(1)Concat F1:通过将所有日历摘抄络续起来狡计ROUGE,以评估全体的一致性;(2)Agree F1:仅使用匹配日历的摘抄狡计ROUGE,以评估特定日历的准确性;(3)Align F1:在狡计ROUGE之前,先左证相似性和日历接近性对展望摘抄和参考摘抄进行对都,评估对都后的一致性。
Date F1:揣摸生成时候线中日历与参考时候线中真正日历匹配进程。
2. 盛开域TLS
勇士首秀输掉51分,让施罗德已经开始怀疑自己是不是在错误的时间,出现在错误的地点。
弗林在大学时期的球风十分吸引眼球,就如同NBA联盟里的洛瑞一般,身为矮个后卫,冲击力足,有一定传球能力,简直就是一个小钢炮,而森林狼也正是看重了这一点才在第六顺位把他摘走,然而他1米83的身高劣势在NBA暴露的一览无遗。
在盛开域TLS的实验中,CHRONOS与几个基线才智进行了比较,包括径直搜索标的新闻(DIRECT)和重写标的新闻以创建查询用于检索(REWRITE)。
对比之下,CHRONOS通过迭代自我发问和检索相干新闻著述的才智,显赫提高了事件回来的质料和日历对都的准确性,在所贪图上都逾越于基线才智。
3. 顽固域TLS
在顽固域TLS的实验中,CHRONOS与之前的代表性使命进行了比较,包括:(1)基于事件团员才智的CLUST (Gholipour Ghalandari and. Ifrim, 2020);(2)基于事件图模子EGC(Li et al., 2021)和(3)愚弄大模子进行事件聚类的LLM-TLS(Hu et al., 2024)。
在Crisis和T17这两个经典数据集上的比较适度认知,CHRONOS达到了与这些使命近似的泄漏,在两个数据集的AR-2狡计上获取了SOTA成果,解说了其在不同类型事件和时候跨度上的纷乱性能和符合性。
4. 运行时候分析
CHRONOS的另一个上风体当今着力方面。
与相同基于大模子、但需要处理新闻库中所有著述的LLM-TLS才智比拟,它通过检索增强机制专注于最相干的新闻著述,显赫减少了处理时候。
这种着力的栽培使其在推行应用中更为实用,尤其是在需要快速反馈的场景中。
案例洽商:苹果居品发布时候线
团队深刻分析了模子在处理具体新闻事件时的泄漏,通过聘请具有代表性的新闻事件,如苹果公司的首要居品发布,粗糙不雅察到CHRONOS若何通过行远自迩的自我发问和信息检索来生成时候线。
在案例洽商中,CHRONOS展示了其粗糙准确索求要津事件和日历的能力,同期也揭示了在某些情况下可能需要校正的所在,举例对某些事件的遗漏或日历幻觉。
结语
CHRONOS框架通过结合大型话语模子的迭代自我发问和检索增强生成时代,为时候线回来任务提供了一种新颖且有用的管制决议。
这种才智的中枢在于模拟东谈主类的信息检索历程,通过握住地提议和回复新问题来徐徐深刻交融事件,最毕生成一个全面且连贯的时候线摘抄。
实验适度依然充阐发说了CHRONOS在复杂事件检索和构建时候线方面的能力,展示了该框架在推行新闻时候线生成应用中的应用后劲和准确性。
同期,这种迭代发问的检索生成才智是否具有泛化到通用任务上的能力也值得翌日进一步洽商。
Reference:
[1] Demian Gholipour Ghalandari and Georgiana Ifrim. 2020. Examining the state-of-the-art in news timeline summarization. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pages 1322–1334, Online. Association for Computational Linguistics.
[2] Manling Li, Tengfei Ma, Mo Yu, Lingfei Wu, Tian Gao, Heng Ji, and Kathleen McKeown. 2021. Timeline summarization based on event graph compression via time-aware optimal transport. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, pages 6443–6456, Online and Punta Cana, Dominican Republic. Association for Computational Linguistics.
[3] Qisheng Hu, Geonsik Moon, and Hwee Tou Ng. 2024. From moments to milestones: Incremental timeline summarization leveraging large language models. In Proceedings of the 62nd Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pages 7232–7246, Bangkok, Thailand. Association for Computational Linguistics.
— 完 —彩娱乐登陆网址入口官网