Collaborative Research: RI: Medium: Multilingual Long-form QA with Retrieval-Augmented Language Models

合作研究:RI:Medium:采用检索增强语言模型的多语言长格式 QA

基本信息

  • 批准号:
    2312948
  • 负责人:
  • 金额:
    $ 64.58万
  • 依托单位:
  • 依托单位国家:
    美国
  • 项目类别:
    Standard Grant
  • 财政年份:
    2023
  • 资助国家:
    美国
  • 起止时间:
    2023-08-01 至 2027-07-31
  • 项目状态:
    未结题

项目摘要

This project aims to enable automatic question answering systems to produce paragraph-level answers. Prior work on question answering has focused on simpler questions that can be answered with short phrases. Building systems to produce paragraph-level answers opens up exciting opportunities to answer complicated questions, and to offer more nuanced and comprehensive answers to simpler questions. This project will create comprehensive and reliable evaluation protocols for long form question answering (LFQA), pioneer multilingual studies to broaden information access to a wider population, and develop new algorithms that integrate web search with LFQA systems to provide verifiable long form answers paired with human-written evidence documents. This project focuses on three core dimensions of LFQA – datasets, evaluation, and modeling. Expanding the scope of prior English-centric LFQA, this research will investigate multilingual capabilities of large language models by constructing multilingual LFQA datasets and studying knowledge transfer across languages. In terms of modeling, it will propose a new framework that iteratively weaves together – in a transparent manner—knowledge retrieved from documents and memorized knowledge from a language model. Finally for evaluation, the project will engage domain experts who are familiar with the question topic to provide rationales for their evaluation of model generated answers. Such feedback will be used to derive a fine-grained annotation framework which localizes errors and unpack the weaknesses of generated answers. Together, the proposed work will bring significant progress to LFQA, an emerging topic for natural language processing and artificial intelligence research.This award reflects NSF's statutory mission and has been deemed worthy of support through evaluation using the Foundation's intellectual merit and broader impacts review criteria.
该项目旨在使自动问答系统能够生成段落级答案。之前的问答工作主要集中于可以用短语回答的简单问题。构建生成段落级答案的系统为回答复杂问题提供了令人兴奋的机会。 ,并为更简单的问题提供更细致和更全面的答案,该项目将为长篇问答(LFQA)创建全面且可靠的评估协议,开创多语言研究以扩大信息访问范围,并开发集成网络的新算法。使用 LFQA 系统进行搜索以提供该项目重点关注 LFQA 的三个核心维度——数据集、评估和建模,扩展了先前以英语为中心的 LFQA 的范围,通过以下方式研究大型语言模型的多语言能力。构建多语言 LFQA 数据集并研究跨语言的知识迁移。在建模方面,它将提出一个新的框架,以透明的方式将从文档中检索的知识和从语言模型中记忆的知识迭代地编织在一起。为了进行评估,该项目将聘请熟悉问题主题的领域专家来提供评估模型生成答案的基本原理,此类反馈将用于导出细粒度的注释框架,该框架可以定位错误并揭示生成答案的弱点。总之,拟议的工作将为 LFQA 这一自然语言处理和人工智能研究的新兴主题带来重大进展。该奖项反映了 NSF 的法定使命,并通过使用基金会的智力价值和更广泛的影响审查标准进行评估,被认为值得支持。

项目成果

期刊论文数量(0)
专著数量(0)
科研奖励数量(0)
会议论文数量(0)
专利数量(0)

数据更新时间:{{ journalArticles.updateTime }}

{{ item.title }}
{{ item.translation_title }}
  • DOI:
    {{ item.doi }}
  • 发表时间:
    {{ item.publish_year }}
  • 期刊:
  • 影响因子:
    {{ item.factor }}
  • 作者:
    {{ item.authors }}
  • 通讯作者:
    {{ item.author }}

数据更新时间:{{ journalArticles.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ monograph.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ sciAawards.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ conferencePapers.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ patent.updateTime }}

Eunsol Choi其他文献

XOR QA: Cross-lingual Open-Retrieval Question Answering
XOR QA:跨语言开放检索问答
  • DOI:
    10.18653/v1/2021.naacl-main.46
  • 发表时间:
    2020-10-22
  • 期刊:
  • 影响因子:
    0
  • 作者:
    Akari Asai;Jungo Kasai;J. Clark;Kenton Lee;Eunsol Choi;Hannaneh Hajishirzi
  • 通讯作者:
    Hannaneh Hajishirzi
Aligning Data with the Goals of an Organization and Its Workers: Designing Data Labeling for Social Service Case Notes
使数据与组织及其员工的目标保持一致:为社会服务案例说明设计数据标签
Linguistic Diversity Scores for NLP Data Sets
NLP 数据集的语言多样性评分
  • DOI:
    10.3945/jn.114.201269
  • 发表时间:
    2021
  • 期刊:
  • 影响因子:
    0
  • 作者:
    Christos Christodouloupoulos;Jonathan H. Clark;Eunsol Choi;Michael Collins;Tom Garrette;Vitaly Kwiatkowski;Nikolaev;Alexis Conneau;Ruty Rinott;Guillaume Lample;Ad;Samuel R. Bowman;Holger Schwenk;Matthew S. Dryer;Martin Haspelmath;Katharina Ehret;Benedikt Szmrecsanyi. 2016;An;Richard Futrell;Kyle Mahowald;Edward Gib;Gregory Grefenstette. 1994;Harald Hammarström;Robert Forkel;Junjie Hu;Sebastian Ruder;Aditya Siddhant;Graham Neubig;Orhan Firat;Pratik M. Joshi;Sebastin Santy;Amar Budhiraja;Kalika;Bali Monojit;Choudhury. 2020;Julia Kreutzer;Isaac Caswell;Lisa Wang;Ahsan Wa;D. Esch;Nasanbayar Ulzii;Al;Nishant Subramani;Artem Sokolov;Claytone Sikasote;Monang Setyawan;Supheak;Sokhar Samb;Benoît Sagot;Annette Rivera;Isabel Rios;Sa;Pedro lomey Osei;Iroro Ortiz Suárez;Orife;Kelechi;Andre Niyongabo Ogueji;Toan Q Rubungo;Mathias Müller;André Müller;Hassan Muhammad;N. Muhammad;Ayanda Mnyakeni;Jamshidbek Mirzakhalov;Tapiwanashe Matangira;Colin Leong;Nze Lawson;Ankur Bapna;P. Baljekar;Israel Abebe Azime;Anne Lauscher;Vinit Ravishankar;Ivan Vuli´c;Quentin Lhoest;Albert Villanova;del Moral;Abhishek Jernite;Patrick Thakur;V. Platen;Suraj
  • 通讯作者:
    Suraj
TABi: Type-Aware Bi-encoders for End-to-End Entity Retrieval
TABi:用于端到端实体检索的类型感知双编码器
  • DOI:
  • 发表时间:
    2024-09-14
  • 期刊:
  • 影响因子:
    0
  • 作者:
    A. Akbik;Tanja Bergmann;Duncan Blythe;Kashif;Stefan Rasul;Schweter Rol;Vollgraf;S. Beitzel;Eric C. Jensen;O. Frieder;Antoine Bordes;Nicolas Usunier;Alberto García;Jason Weston;Nicola De Cao;Gautier Izacard;Sebastian Riedel;Anthony Chen;Pallavi Gudipati;Shayne Longpre;Ting Chen;Simon Kornblith;Mohammad Norouzi;J. Devlin;Ming;Kenton Lee;Emily Dinan;Stephen Roller;Kurt Shuster;Michael Fan;Auli Jason;Weston;Wizard;O. Khattab;Matei Zaharia. 2020;Prannay Khosla;Piotr Teterwak;Chen Wang;Aaron;Yonglong Sarna;Phillip Tian;Aaron Isola;Ce Maschinot;Liu Dilip;Krishnan;Su;T. Kwiatkowski;J. Palomaki;Michael Collins;Ankur P. Parikh;C. Alberti;D. Epstein;Illia Polosukhin;Kenton Lee;Kristina Toutanova;Llion Jones;Andrew M. Dai;Omer Levy;Minjoon Seo;Eunsol Choi
  • 通讯作者:
    Eunsol Choi
Understanding Retrieval Augmentation for Long-Form Question Answering
了解长格式问答的检索增强
  • DOI:
    10.48550/arxiv.2310.12150
  • 发表时间:
    2023-10-18
  • 期刊:
  • 影响因子:
    0
  • 作者:
    Hung;Fangyuan Xu;Shane A. Arora;Eunsol Choi
  • 通讯作者:
    Eunsol Choi

Eunsol Choi的其他文献

{{ item.title }}
{{ item.translation_title }}
  • DOI:
    {{ item.doi }}
  • 发表时间:
    {{ item.publish_year }}
  • 期刊:
  • 影响因子:
    {{ item.factor }}
  • 作者:
    {{ item.authors }}
  • 通讯作者:
    {{ item.author }}

相似国自然基金

跨膜蛋白LRP5胞外域调控膜受体TβRI促钛表面BMSCs归巢、分化的研究
  • 批准号:
    82301120
  • 批准年份:
    2023
  • 资助金额:
    30 万元
  • 项目类别:
    青年科学基金项目
Dectin-2通过促进FcεRI聚集和肥大细胞活化加剧哮喘发作的机制研究
  • 批准号:
    82300022
  • 批准年份:
    2023
  • 资助金额:
    30 万元
  • 项目类别:
    青年科学基金项目
藏药甘肃蚤缀β-咔啉生物碱类TβRI抑制剂的发现及其抗肺纤维化作用机制研究
  • 批准号:
  • 批准年份:
    2022
  • 资助金额:
    30 万元
  • 项目类别:
    青年科学基金项目
TβRI的UFM化修饰调控TGF-β信号通路和乳腺癌转移的作用及机制研究
  • 批准号:
  • 批准年份:
    2022
  • 资助金额:
    30 万元
  • 项目类别:
    青年科学基金项目
内核区对流活动与云微物理过程对登陆中国台风快速增强(RI)的研究
  • 批准号:
  • 批准年份:
    2021
  • 资助金额:
    58 万元
  • 项目类别:

相似海外基金

Collaborative Research: RI: Small: Motion Fields Understanding for Enhanced Long-Range Imaging
合作研究:RI:小型:增强远程成像的运动场理解
  • 批准号:
    2232298
  • 财政年份:
    2023
  • 资助金额:
    $ 64.58万
  • 项目类别:
    Standard Grant
Collaborative Research: RI: Medium: RUI: Automated Decision Making for Open Multiagent Systems
协作研究:RI:中:RUI:开放多智能体系统的自动决策
  • 批准号:
    2312657
  • 财政年份:
    2023
  • 资助金额:
    $ 64.58万
  • 项目类别:
    Standard Grant
Collaborative Research: RI: Medium: Principles for Optimization, Generalization, and Transferability via Deep Neural Collapse
合作研究:RI:中:通过深度神经崩溃实现优化、泛化和可迁移性的原理
  • 批准号:
    2312840
  • 财政年份:
    2023
  • 资助金额:
    $ 64.58万
  • 项目类别:
    Standard Grant
Collaborative Research: RI: Medium: Superhuman Imitation Learning from Heterogeneous Demonstrations
合作研究:RI:媒介:异质演示中的超人模仿学习
  • 批准号:
    2312956
  • 财政年份:
    2023
  • 资助金额:
    $ 64.58万
  • 项目类别:
    Standard Grant
Collaborative Research: RI: Medium: Informed, Fair, Efficient, and Incentive-Aware Group Decision Making
协作研究:RI:媒介:知情、公平、高效和具有激励意识的群体决策
  • 批准号:
    2313136
  • 财政年份:
    2023
  • 资助金额:
    $ 64.58万
  • 项目类别:
    Standard Grant
{{ showInfoDetail.title }}

作者:{{ showInfoDetail.author }}

知道了