彩娱乐注册CLY588.VIP 用大模子吃瓜更智能了!阿里通义实验室提议新时辰线追溯框架,全面晋升新闻追溯遵守
彩娱乐

彩娱乐

彩娱乐注册CLY588.VIP 用大模子吃瓜更智能了!阿里通义实验室提议新时辰线追溯框架,全面晋升新闻追溯遵守

发布日期:2025-01-07 19:55    点击次数:186

盛开域和阻塞域TLS都更高效了

面前,大模子不错帮你梳理新闻时辰线了,以后吃瓜就更肤浅了!

AI Agent的风,我们赛博乐子东谈主也得吹吹。

这即是来自阿里巴巴通义实验室与上海交通大学的新斟酌,他们提议了一种基于Agent的新闻时辰线摘要新框架——CHRONOS。

它不仅不错帮你从海量新闻中追溯出紧要事件,更紧要的是,它还不错梳理出明晰的时辰线,以后上网冲浪时各式复杂事件都一目了然。

其中的CHRONOS一词取自希腊传说中的时辰之神柯罗诺斯。

该框架通过迭代多轮的自我发问格式,会聚检索增强生成手艺,从互联网上检索关联事件信息,并生成时辰端正的新闻摘要,为新闻时辰线摘要生成提供了一种全新的照看有运筹帷幄。

先来沿途瞅瞅几个例子。

比如对于新闻“国足1-0巴林”,CHRONOS粗略追溯海量新闻,呈现事件的世代相承。

对于粉饰时辰更长的新闻“中国探月工程”,CHRONOS也能聚焦要点事件,呈面前辰线发展,使得用户粗略一目了然。

补皆盛开域TLS短板

时辰线追溯(Timeline Summarization, TLS)任务是一种当然言语处理鸿沟的经典手艺挑战,它旨在从大都文本数据中提真金不怕火要害事件,并依时间端正陈列,以提供对某一主题或鸿沟历史发展的结构化视图。

莫德里奇 39岁 本赛季为皇马出战了25场比赛,首发16场替补9场。

随着赛季深入,米兰的这些外租球员渐入佳境,开始坐稳各自球队的主力位置。本轮联赛他们更是集体爆发,3名球员制造5粒进球。租借效力博洛尼亚的波贝加打响了第一枪,他在客场对阵都灵的比赛中击中1次门框并攻入1球,帮助球队全取三分的同时,再次反超米兰上升到第7位。

举例,在新闻鸿沟,时辰线追溯不错匡助用户快速了解一个新闻事件的世代相承。该任务不仅条目识别出紧要的事件,还需要一语气事件之间的时辰相干和因果斟酌,以便生成一个连贯、浮松且信息丰富的时辰线摘要。

笔据可检索事件的着手,不错将TLS任务细分为阻塞域(closed-domain)和盛开域(open-domain)两个设定:在阻塞域TLS任务中,时辰线是从一组预界说的、与特定主题或鸿沟关联的新闻著述中创建的,而盛开域TLS指的是从互联网上径直搜索和检索新闻著述来生成时辰线的经由。

昔时的责任东要蚁集于照看阻塞域上时辰线生成问题,而盛开域TLS则需要高大的信息检索和筛选才气,以及在莫得全局视图的情况下识别和建造事件之间斟酌的才气,为这项任务提议了新的要乞降挑战。

迭代检索的CHRONOS框架

为了搪塞上述挑战,团队提议CHRONOS框架,通过迭代发问进行关联事件检索,生成准确、全面的时辰线摘要,粗略有用地照看盛开域和阻塞域两种设定下的TLS任务。

1. 动机

时辰线生成的中枢在于建造事件之间的时辰和因果相干。

每个新闻事件都不错被暗示为一个不同的节点,任务的方向是建造这些节点之间的边,以展示它们的关联性,并最终变成一个异构图,从主题新闻的节点入手。

因此,通过一个检索机制来检索关联的新闻著述,不错有用建造这些边,变成事件之间的斟酌。

2. 空洞

CHRONOS诈欺大模子的才气,通过模拟东谈主类信息检索的经由,即通过提议问题、基于检索限度进一步提议新的问题,最终采集对于关联事件的全面信息并追溯为时辰线。

CHRONOS包括以下几个模块:

自我发问 (Self-Questioning):当先搜索粗粒度的新闻布景信息,然后迭代地提议问题,以检索更多关联新闻。

问题改写 (Question Rewriting):将复杂或领悟欠安的问题解析为更具体、更易检索的查询。

时辰线生成 (Timeline Generation):通过归拢每一轮检索生成的时辰线来追溯一个卓著紧要事件的时辰线。

3. 自我发问3.1 粗粒度布景调研

在自我发问的开动阶段,CHRONOS使用方向新闻的标题看成要害词进行搜索,以采集与方向新闻最径直关联的信息。

这些信息组成了新闻布景(News Context),为自我发问打下初步基础。

3.2 发问示例采选

在粗粒度布景调研之后,CHRONOS诈欺大模子的高下文体习才气,通过少许样本请示来带领模子生成对于方向新闻的问题。

为了评估问题样践诺量,彩娱乐app引入了时序信息量(Chrono-Informativeness, CI)的看法,用来计算模子提议的问题检索与参考时辰线对皆事件的才气,即高CI值的问题更有可能换取检索到与方向新闻事件关联的著述,用检索生成的时辰线和参考时辰线中包含日历的F1分数进行计算。

基于最大化问题集时序信息量的方向,构建一个“新闻-问题”的示例池,用于带领新方向新闻的问题生成。

对于每个新的方向新闻,通过余弦相似性动态检索与方向新闻最相似的样本,确保了样本的高下文关联性和时辰信息的准确性。

3.3 迭代发问

CHRONOS通过一语气迭代发问,逐步潜入探索事件的细节。

每一轮迭代都基于前一轮的检索限度,以发现新的问题和信息,直到温和时辰线中事件数目或达到最大迭代次数。

3.4 问题改写

查询改写(Query Rewriting)是检索增强生成中常用的优化才气。

在CHRONOS框架中,团队通过对开动发问阶段产生的日常或复杂问题改写为2-3个更易于检索的子问题,粗略生成更具体、更有针对性的查询,从而提高搜索引擎的检索后果。

他们雷同在请示中加入少许样本,带领大模子进行有用改写,将复杂问题转机为更具体的查询,同期保握问题的原始意图。

3.5 时辰线生成

CHRONOS通过两阶段生成齐备的时辰线追溯:生成(Generation)和归拢(Merging)。

生成:通过分析每一轮检索到的新闻著述来识别要害事件和谨防信息。诈欺大模子的一语气和生成才气,提真金不怕火每个事件的发诞辰期和关联细节,并为每个事件撰写浮松的刻画。这些事件和刻画被组织成初步的时辰线,按照时辰端正陈列,为后续的归拢阶段提供基础。

归拢:将多轮检索生成的初步时辰线整合成一个连贯的最终摘要。这依然由触及对皆不同时间线中的事件、照看任何日历或刻画上的突破,并采选最具代表性和紧要性的事件。

全新数据集OPEN-TLS

为了评估TLS系统,斟酌团队还采集了由专科记者撰写的对于近期新闻事件的时辰线,构建了一个名为Open-TLS的新数据集。

与以往阻塞域的数据集比较,Open-TLS不仅在数据集鸿沟和内容上愈加千般化,粉饰政事、经济、社会、体育和科学手艺等多个鸿沟,而况在时效性上更具上风,为盛开域TLS任务提供了一个更全面和更具挑战性的基准。

实验限度

1. 实验设定

实验基于GPT-3.5-Turbo、GPT-4和Qwen2.5-72B远隔构建CHRONOS系统,评测盛开域和阻塞域两个设定下TLS的性能领悟。使用的评猜测划主要有:

ROUGE-N: 计算生成时辰线和参考时辰线之间的N-gram重复。具体包括:(1)Concat F1:通过将悉数日历摘要勾通起来筹备ROUGE,以评估全体的一致性;(2)Agree F1:仅使用匹配日历的摘要筹备ROUGE,以评估特定日历的准确性;(3)Align F1:在筹备ROUGE之前,先笔据相似性和日历接近性对预计摘要和参考摘要进行对皆,评估对皆后的一致性。

Date F1:计算生成时辰线中日历与参考时辰线中确凿日历匹配进度。

2. 盛开域TLS

在盛开域TLS的实验中,CHRONOS与几个基线才气进行了比较,包括径直搜索方向新闻(DIRECT)和重写方向新闻以创建查询用于检索(REWRITE)。

对比之下,CHRONOS通过迭代自我发问和检索关联新闻著述的才气,权臣提高了事件追溯的质地和日历对皆的准确性,在所蓄意上都跳动于基线才气。

3. 阻塞域TLS

在阻塞域TLS的实验中,CHRONOS与之前的代表性责任进行了比较,包括:(1)基于事件团聚才气的CLUST (Gholipour Ghalandari and. Ifrim, 2020);(2)基于事件图模子EGC(Li et al., 2021)和(3)诈欺大模子进行事件聚类的LLM-TLS(Hu et al., 2024)。

在Crisis和T17这两个经典数据集上的比较限度裸露,CHRONOS达到了与这些责任访佛的领悟,在两个数据集的AR-2运筹帷幄上得到了SOTA后果,讲授了其在不同类型事件和时辰跨度上的高大性能和符合性。

4. 运行时辰分析

CHRONOS的另一个上风体面前遵守方面。

与雷同基于大模子、但需要处理新闻库中悉数著述的LLM-TLS才气比较,它通过检索增强机制专注于最关联的新闻著述,权臣减少了处理时辰。

这种遵守的晋升使其在践诺应用中更为实用,尤其是在需要快速反应的场景中。

案例斟酌:苹果家具发布时辰线

团队潜入分析了模子在处理具体新闻事件时的领悟,通过采选具有代表性的新闻事件,如苹果公司的紧要家具发布,粗略不雅察到CHRONOS若何通过由表及里的自我发问和信息检索来生成时辰线。

在案例斟酌中,CHRONOS展示了其粗略准确提真金不怕火要害事件和日历的才气,同期也揭示了在某些情况下可能需要考订的地点,举例对某些事件的遗漏或日历幻觉。

结语

CHRONOS框架通过会聚大型言语模子的迭代自我发问和检索增强生成手艺,为时辰线追溯任务提供了一种新颖且有用的照看有运筹帷幄。

这种才气的中枢在于模拟东谈主类的信息检索经由,通过束缚地提议和报告新问题来逐步潜入一语气事件,最毕生成一个全面且连贯的时辰线摘要。

实验限度已经充分讲授了CHRONOS在复杂事件检索和构建时辰线方面的才气,展示了该框架在践诺新闻时辰线生成应用中的应用后劲和准确性。

同期,这种迭代发问的检索生成才气是否具有泛化到通用任务上的才气也值得改日进一步斟酌。

Reference:

[1] Demian Gholipour Ghalandari and Georgiana Ifrim. 2020. Examining the state-of-the-art in news timeline summarization. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pages 1322–1334, Online. Association for Computational Linguistics.

[2] Manling Li, Tengfei Ma, Mo Yu, Lingfei Wu, Tian Gao, Heng Ji, and Kathleen McKeown. 2021. Timeline summarization based on event graph compression via time-aware optimal transport. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, pages 6443–6456, Online and Punta Cana, Dominican Republic. Association for Computational Linguistics.

[3] Qisheng Hu, Geonsik Moon, and Hwee Tou Ng. 2024. From moments to milestones: Incremental timeline summarization leveraging large language models. In Proceedings of the 62nd Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pages 7232–7246, Bangkok, Thailand. Association for Computational Linguistics.

— 完 —彩娱乐注册CLY588.VIP