CAREER: User-Based Simulation Methods for Quantifying Sources of Error and Bias in Recommender Systems

职业:基于用户的模拟方法,用于量化推荐系统中的错误和偏差来源

基本信息

  • 批准号:
    2415042
  • 负责人:
  • 金额:
    $ 48.21万
  • 依托单位:
  • 依托单位国家:
    美国
  • 项目类别:
    Continuing Grant
  • 财政年份:
    2023
  • 资助国家:
    美国
  • 起止时间:
    2023-10-01 至 2024-08-31
  • 项目状态:
    已结题

项目摘要

Systems that recommend products, places, and services are an increasingly common part of everyday life and commerce, making it important to understand how recommendation algorithms affect outcomes for both individual users and larger social groups. To do this, the project team will develop novel methods of simulating users' behavior based on large-scale historical datasets. These methods will be used to better understand vulnerabilities that underlying biases in training datasets pose to commonly-used machine learning-based methods for building and testing recommender systems, as well as characterize the effectiveness of common evaluation metrics such as recommendation accuracy and diversity given different models of how people interact with recommender systems in practice. The team will publicly release its datasets, software, and novel metrics for the benefit of other researchers and developers of recommender systems. The work also will inform the development of computer science course materials about the social impact of data analytics as well as outreach activities for librarians, who are often in the position of helping information seekers understand the way search engines and other recommender systems affect their ability to get what they need.The work is organized around two main themes. The first will quantify and mitigate the popularity bias and misclassified decoy problems in offline recommender evaluation that tend to lead to popular, known recommendations. To do this, the team will develop simulation-based evaluation models that encode a variety of assumptions about how users select relevant items to buy and rate and use them to quantify the statistical biases these assumptions induce in recommendation quality metrics. They will calibrate these simulations by comparing with existing data sets covering books, research papers, music, and movies. These models and datasets will help drive the second main project around measuring the impact of feature distributions in training data on recommender algorithm accuracy and diversity, while developing bias-resistant algorithms. The team will use data resampling techniques along with the simulation models, extended to model system behavior over time, to evaluate how different algorithms mitigate, propagate, or exacerbate underlying distributional biases through their recommendations, and how those biased recommendations in turn affect future user behavior and experience.This award reflects NSF's statutory mission and has been deemed worthy of support through evaluation using the Foundation's intellectual merit and broader impacts review criteria.
推荐产品,地点和服务的系统是日常生活和商业越来越普遍的组成部分,因此了解推荐算法如何影响个人用户和较大的社会群体的结果很重要。 为此,项目团队将开发基于大规模历史数据集的用户行为的新颖方法。 这些方法将用于更好地理解培训数据集中的潜在偏见的漏洞,以构建基于机器的基于机器学习的方法,用于建立和测试推荐系统,并表征了常见评估指标的有效性,例如建议精度和多样性,鉴于人们如何与推荐系统进行实践中的人们如何相互作用。 该团队将公开发布其数据集,软件和新颖指标,以使其他研究人员和推荐系统的开发人员受益。 这项工作还将为计算机科学课程材料的开发提供有关数据分析的社会影响以及对图书馆员的推广活动的信息,这些馆员通常可以帮助信息寻求者理解搜索引擎和其他推荐系统的方式影响他们获得所需的能力的方式。这项工作围绕两个主要主题组织。 第一个将量化并减轻倾向于导致流行的,已知的建议的离线建议评估中的流行偏见和错误分类的诱饵问题。 为此,团队将开发基于仿真的评估模型,这些模型编码有关用户如何选择相关项目来购买和评估并使用它们来量化这些假设引起的统计偏见的各种假设。他们将通过与涵盖书籍,研究论文,音乐和电影的现有数据集进行比较来校准这些模拟。 这些模型和数据集将有助于推动第二个主要项目围绕培训数据中特征分布的影响推荐算法准确性和多样性的影响,同时开发抗偏置算法。 团队将使用数据重新采样技术以及模拟模型,扩展到随着时间的推移建模到模型的系统行为,以评估不同的算法如何减轻,传播或加剧分配偏见的潜在分布偏见,并通过其偏见的建议影响未来的授权。更广泛的影响审查标准。

项目成果

期刊论文数量(3)
专著数量(0)
科研奖励数量(0)
会议论文数量(0)
专利数量(0)
Not Just Algorithms: Strategically Addressing Consumer Impacts in Information Retrieval
  • DOI:
    10.1007/978-3-031-56066-8_25
  • 发表时间:
    2024
  • 期刊:
  • 影响因子:
    0
  • 作者:
    Michael D. Ekstrand;Lex Beattie;M. S. Pera;Henriette Cramer
  • 通讯作者:
    Michael D. Ekstrand;Lex Beattie;M. S. Pera;Henriette Cramer
Multiple Testing for IR and Recommendation System Experiments
IR 和推荐系统实验的多重测试
Towards Optimizing Ranking in Grid-Layout for Provider-side Fairness
优化网格布局排名以实现提供商方公平
{{ item.title }}
{{ item.translation_title }}
  • DOI:
    {{ item.doi }}
  • 发表时间:
    {{ item.publish_year }}
  • 期刊:
  • 影响因子:
    {{ item.factor }}
  • 作者:
    {{ item.authors }}
  • 通讯作者:
    {{ item.author }}

数据更新时间:{{ journalArticles.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ monograph.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ sciAawards.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ conferencePapers.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ patent.updateTime }}

Michael Ekstrand其他文献

Making Algorithms Public: Reimagining Auditing from Matters of Fact to Matters of Concern
公开算法:重新构想从事实问题到关注问题的审计
  • DOI:
  • 发表时间:
  • 期刊:
  • 影响因子:
    0
  • 作者:
    R. Stuart;Irani;L. Irani;Kathryne Metcalf;Magdalena Donea;Julia Kott;Jennifer Chien;Emma Jablonski;Christian Sandvig;Karrie Karrahalios;Peaks Krafft Meg Young;Mike Katell;Michael Ekstrand;Katie Shilton;C. Kelty;Kristen Vaccaro;Mary Anne
  • 通讯作者:
    Mary Anne
Responsible AI Research Needs Impact Statements Too
负责任的人工智能研究也需要影响报告
  • DOI:
  • 发表时间:
    2023
  • 期刊:
  • 影响因子:
    0
  • 作者:
    Alexandra Olteanu;Michael Ekstrand;Carlos Castillo;Jina Suh
  • 通讯作者:
    Jina Suh

Michael Ekstrand的其他文献

{{ item.title }}
{{ item.translation_title }}
  • DOI:
    {{ item.doi }}
  • 发表时间:
    {{ item.publish_year }}
  • 期刊:
  • 影响因子:
    {{ item.factor }}
  • 作者:
    {{ item.authors }}
  • 通讯作者:
    {{ item.author }}

{{ truncateString('Michael Ekstrand', 18)}}的其他基金

Collaborative Research: CCRI: New: A Research News Recommender Infrastructure with Live Users for Algorithm and Interface Experimentation
合作研究:CCRI:新:研究新闻推荐基础设施与实时用户进行算法和界面实验
  • 批准号:
    2409199
  • 财政年份:
    2023
  • 资助金额:
    $ 48.21万
  • 项目类别:
    Standard Grant
Collaborative Research: CCRI: New: A Research News Recommender Infrastructure with Live Users for Algorithm and Interface Experimentation
合作研究:CCRI:新:研究新闻推荐基础设施与实时用户进行算法和界面实验
  • 批准号:
    2232553
  • 财政年份:
    2023
  • 资助金额:
    $ 48.21万
  • 项目类别:
    Standard Grant
CAREER: User-Based Simulation Methods for Quantifying Sources of Error and Bias in Recommender Systems
职业:基于用户的模拟方法,用于量化推荐系统中的错误和偏差来源
  • 批准号:
    1751278
  • 财政年份:
    2018
  • 资助金额:
    $ 48.21万
  • 项目类别:
    Continuing Grant

相似国自然基金

基于行为因果推理的跨网络用户对齐技术研究
  • 批准号:
    62302303
  • 批准年份:
    2023
  • 资助金额:
    30 万元
  • 项目类别:
    青年科学基金项目
用户兴趣迁移现象下基于图神经网络的舆情追踪技术研究
  • 批准号:
    62302199
  • 批准年份:
    2023
  • 资助金额:
    30 万元
  • 项目类别:
    青年科学基金项目
基于用户交互上下文分析的增强现实场景内容智能生成
  • 批准号:
    62372025
  • 批准年份:
    2023
  • 资助金额:
    50.00 万元
  • 项目类别:
    面上项目
基于社交媒体用户画像的科学论文传播模式与影响力性质研究
  • 批准号:
    72304274
  • 批准年份:
    2023
  • 资助金额:
    30 万元
  • 项目类别:
    青年科学基金项目
基于合乘用户特征挖掘的出行需求预测与服务优化方法
  • 批准号:
    72304030
  • 批准年份:
    2023
  • 资助金额:
    30 万元
  • 项目类别:
    青年科学基金项目

相似海外基金

School-Partnered Collaborative Care (SPACE) for Pediatric Type 1 Diabetes
针对儿童 1 型糖尿病的学校合作协作护理 (SPACE)
  • 批准号:
    10640614
  • 财政年份:
    2023
  • 资助金额:
    $ 48.21万
  • 项目类别:
A biologically-inspired, interactive digital device to introduce K12 students to computational neuroscience
一种受生物学启发的交互式数字设备,可向 K12 学生介绍计算神经科学
  • 批准号:
    10706026
  • 财政年份:
    2023
  • 资助金额:
    $ 48.21万
  • 项目类别:
Improving Vaccine Delivery in Hospitalized Children
改善住院儿童的疫苗接种
  • 批准号:
    10806029
  • 财政年份:
    2023
  • 资助金额:
    $ 48.21万
  • 项目类别:
Preparing for Blood-Based Alzheimer’s Disease Biomarker Testing in Diverse Populations: Development of a Decision-Support Tool for Primary Care
为不同人群进行基于血液的阿尔茨海默病生物标志物测试做好准备:开发初级保健决策支持工具
  • 批准号:
    10722716
  • 财政年份:
    2023
  • 资助金额:
    $ 48.21万
  • 项目类别:
HIV Clinic-based Screening for Geriatric Syndromes in Older Adults with HIV
基于艾滋病毒临床的艾滋病毒感染者老年综合症筛查
  • 批准号:
    10761940
  • 财政年份:
    2023
  • 资助金额:
    $ 48.21万
  • 项目类别:
{{ showInfoDetail.title }}

作者:{{ showInfoDetail.author }}

知道了