RI: NSF-BSF: Small: Reconstructing Shape, Lighting and Reflectance Properties of Indoor Scenes from Video
RI:NSF-BSF:小型:从视频重建室内场景的形状、照明和反射率属性
基本信息
- 批准号:1910132
- 负责人:
- 金额:$ 49.33万
- 依托单位:
- 依托单位国家:美国
- 项目类别:Continuing Grant
- 财政年份:2019
- 资助国家:美国
- 起止时间:2019-08-15 至 2023-07-31
- 项目状态:已结题
- 来源:
- 关键词:
项目摘要
The goal of this project is to allow someone to use a video of an indoor scene, such as a room in a house, to reconstruct the scene. The reconstruction will contain all scene properties needed to enable images of the scene to be rendered from new viewpoints, with new lighting. To do this it is necessary to recover the depth and shape of every point in the scene. It is also necessary to describe how each point in the scene reflects light, and to recover the lighting in the scene. This technology will enable a wide range of applications in virtual and augmented reality. For example, it will assist in generating images that show what a room would look like if the furniture were changed, or to allow augmented reality teleconferencing, in which physically separated speakers appear to chat in the same room. The project will educate several graduate students. The investigators will also develop related undergraduate research projects, and projects for an AI summer camp for high school students.One reason such inverse rendering is challenging is the lack of labeled real data. The investigators will address this deficit by using multi-view input for training and solving jointly for all components of the scene. This will allow them to use a self-supervised multi-view photometric reconstruction loss, enforcing consistency across views. They will combine this real data with a large new dataset of highly realistic synthetic data. They will also develop a unified architecture that recovers pose between views and combines geometric and photometric information. This will allow the system to predict appearance changes across viewpoints and to determine whether measured appearance is consistent with recovered lighting and reflectance properties. They will also develop novel representations of lighting in scenes, and of the way that objects reflect this light that are compact and effective.This award reflects NSF's statutory mission and has been deemed worthy of support through evaluation using the Foundation's intellectual merit and broader impacts review criteria.
该项目的目标是允许某人使用室内场景(例如房屋中的房间)的视频来重建场景。 重建将包含使场景图像能够使用新照明从新视点渲染所需的所有场景属性。 为此,有必要恢复场景中每个点的深度和形状。 还需要描述场景中的每个点如何反射光线,并恢复场景中的照明。 该技术将在虚拟和增强现实领域实现广泛的应用。 例如,它将帮助生成图像,显示如果更换家具,房间会是什么样子,或者允许增强现实电话会议,其中物理上分开的发言者似乎在同一个房间里聊天。 该项目将培养数名研究生。 研究人员还将开发相关的本科生研究项目,以及高中生人工智能夏令营项目。这种逆渲染具有挑战性的一个原因是缺乏标记的真实数据。调查人员将通过使用多视图输入对场景的所有组成部分进行联合训练和解决来解决这一缺陷。这将使他们能够使用自我监督的多视图光度重建损失,从而增强视图之间的一致性。他们将把这些真实数据与高度真实的合成数据的大型新数据集结合起来。 他们还将开发一个统一的架构,可以恢复视图之间的姿势并结合几何和光度信息。这将使系统能够预测跨视点的外观变化,并确定测量的外观是否与恢复的照明和反射率属性一致。 他们还将开发场景中照明的新颖表现形式,以及物体反射这种光线的紧凑而有效的方式。该奖项反映了 NSF 的法定使命,并通过使用基金会的智力价值和更广泛的影响审查进行评估,被认为值得支持标准。
项目成果
期刊论文数量(13)
专著数量(0)
科研奖励数量(0)
会议论文数量(0)
专利数量(0)
LD-ZNet: A Latent Diffusion Approach for Text-Based Image Segmentation
- DOI:10.1109/iccv51070.2023.00384
- 发表时间:2023-03
- 期刊:
- 影响因子:0
- 作者:K. Pnvr;Bharat Singh;P. Ghosh;Behjat Siddiquie;David Jacobs
- 通讯作者:K. Pnvr;Bharat Singh;P. Ghosh;Behjat Siddiquie;David Jacobs
Object-Aware Cropping for Self-Supervised Learning
- DOI:
- 发表时间:2021-12
- 期刊:
- 影响因子:0
- 作者:Shlok Kumar Mishra;Anshul B. Shah;Ankan Bansal;Abhyuday N. Jagannatha;Abhishek Sharma;David Jacobs;Dilip Krishnan
- 通讯作者:Shlok Kumar Mishra;Anshul B. Shah;Ankan Bansal;Abhyuday N. Jagannatha;Abhishek Sharma;David Jacobs;Dilip Krishnan
SharinGAN: Combining Synthetic and Real Data for Unsupervised Geometry Estimation
- DOI:10.1109/cvpr42600.2020.01399
- 发表时间:2020-06
- 期刊:
- 影响因子:0
- 作者:K. Pnvr;Hao Zhou;D. Jacobs
- 通讯作者:K. Pnvr;Hao Zhou;D. Jacobs
On the Spectral Bias of Convolutional Neural Tangent and Gaussian Process Kernels
- DOI:10.48550/arxiv.2203.09255
- 发表时间:2022-03
- 期刊:
- 影响因子:0
- 作者:Amnon Geifman;M. Galun;David Jacobs;R. Basri
- 通讯作者:Amnon Geifman;M. Galun;David Jacobs;R. Basri
Fast Light-Weight Near-Field Photometric Stereo
- DOI:10.1109/cvpr52688.2022.01228
- 发表时间:2022-03
- 期刊:
- 影响因子:0
- 作者:Daniel Lichy;Soumyadip Sengupta;D. Jacobs
- 通讯作者:Daniel Lichy;Soumyadip Sengupta;D. Jacobs
{{
item.title }}
{{ item.translation_title }}
- DOI:
{{ item.doi }} - 发表时间:
{{ item.publish_year }} - 期刊:
- 影响因子:{{ item.factor }}
- 作者:
{{ item.authors }} - 通讯作者:
{{ item.author }}
数据更新时间:{{ journalArticles.updateTime }}
{{ item.title }}
- 作者:
{{ item.author }}
数据更新时间:{{ monograph.updateTime }}
{{ item.title }}
- 作者:
{{ item.author }}
数据更新时间:{{ sciAawards.updateTime }}
{{ item.title }}
- 作者:
{{ item.author }}
数据更新时间:{{ conferencePapers.updateTime }}
{{ item.title }}
- 作者:
{{ item.author }}
数据更新时间:{{ patent.updateTime }}
David Jacobs其他文献
Maneuver Identification Challenge
机动识别挑战
- DOI:
10.1109/hpec49654.2021.9622788 - 发表时间:
2021 - 期刊:
- 影响因子:0
- 作者:
Kaira Samuel;V. Gadepally;David Jacobs;Michael Jones;Kyle McAlpin;Kyle Palko;Ben Paulk;S. Samsi;H. Siu;Charles Yee;J. Kepner - 通讯作者:
J. Kepner
The Political Context of Sentencing: An Analysis of Community and Individual Determinants
量刑的政治背景:社区和个人决定因素的分析
- DOI:
- 发表时间:
2002 - 期刊:
- 影响因子:0
- 作者:
Ronald Helms;David Jacobs - 通讯作者:
David Jacobs
Dietary pattern and diversity analysis using DietDiveR in R: a cross-sectional evaluation in the National Health and Nutrition Examination Survey.
使用 R 中的 DietDiveR 进行饮食模式和多样性分析:国家健康和营养检查调查中的横断面评估。
- DOI:
10.1016/j.ajcnut.2024.02.014 - 发表时间:
2024 - 期刊:
- 影响因子:0
- 作者:
Rie Sadohara;David Jacobs;Mark A. Pereira;Abigail J Johnson - 通讯作者:
Abigail J Johnson
Book Review: I Am Not A Brain: Philosophy of mind for the twenty-first century
书评:我不是大脑:二十一世纪的心灵哲学
- DOI:
10.1177/0170840620906093 - 发表时间:
2020 - 期刊:
- 影响因子:5.4
- 作者:
David Jacobs - 通讯作者:
David Jacobs
GaNI: Global and Near Field Illumination Aware Neural Inverse Rendering
GaNI:全局和近场照明感知神经逆向渲染
- DOI:
10.48550/arxiv.2403.15651 - 发表时间:
2024 - 期刊:
- 影响因子:0
- 作者:
Jiaye Wu;Saeed Hadadan;Geng Lin;Matthias Zwicker;David Jacobs;Roni Sengupta - 通讯作者:
Roni Sengupta
David Jacobs的其他文献
{{
item.title }}
{{ item.translation_title }}
- DOI:
{{ item.doi }} - 发表时间:
{{ item.publish_year }} - 期刊:
- 影响因子:{{ item.factor }}
- 作者:
{{ item.authors }} - 通讯作者:
{{ item.author }}
{{ truncateString('David Jacobs', 18)}}的其他基金
RI: Small: Understanding the Inductive Bias Caused by Invariance and Multi Scale in Neural Networks
RI:小:理解神经网络中不变性和多尺度引起的归纳偏差
- 批准号:
2213335 - 财政年份:2022
- 资助金额:
$ 49.33万 - 项目类别:
Standard Grant
RI: Small: Bounded Distortion Models for Articulated and Deformable Object Recognition
RI:小:用于铰接和可变形物体识别的有界畸变模型
- 批准号:
1526234 - 财政年份:2016
- 资助金额:
$ 49.33万 - 项目类别:
Continuing Grant
RI: Small: Collaborative Research: Visual Attributes for Identification and Search in Images
RI:小型:协作研究:图像中识别和搜索的视觉属性
- 批准号:
1116631 - 财政年份:2011
- 资助金额:
$ 49.33万 - 项目类别:
Standard Grant
DISSERTATION RESEARCH: An interdisciplinary approach to testing intraspecific evolutionary processes
论文研究:测试种内进化过程的跨学科方法
- 批准号:
1110538 - 财政年份:2011
- 资助金额:
$ 49.33万 - 项目类别:
Standard Grant
RI:Small:Robust Image Matching with Deformations and Lighting Variation
RI:小:具有变形和光照变化的鲁棒图像匹配
- 批准号:
0915977 - 财政年份:2009
- 资助金额:
$ 49.33万 - 项目类别:
Continuing Grant
Statistical Shape Models to Aid in Plant Species Identification
帮助植物物种识别的统计形状模型
- 批准号:
0836823 - 财政年份:2008
- 资助金额:
$ 49.33万 - 项目类别:
Standard Grant
Doctoral Dissertation Research: The Political Context of Union Certification Elections
博士论文研究:工会认证选举的政治背景
- 批准号:
0526315 - 财政年份:2005
- 资助金额:
$ 49.33万 - 项目类别:
Standard Grant
Survival on Death Row: Exploring Individual, Conflict, and Political Explanations for Executions
死囚牢房中的生存:探索处决的个人、冲突和政治解释
- 批准号:
0417736 - 财政年份:2004
- 资助金额:
$ 49.33万 - 项目类别:
Standard Grant
U.S.-Sweden Workshop: Worldwide Access of Emerging Mathematical Technology, Stockholm, Sweden, August 1995
美国-瑞典研讨会:新兴数学技术的全球普及,瑞典斯德哥尔摩,1995 年 8 月
- 批准号:
9500299 - 财政年份:1995
- 资助金额:
$ 49.33万 - 项目类别:
Standard Grant
Deciding Identities in Nonassociative Algebras with Dynamic Programming
用动态规划确定非关联代数中的恒等式
- 批准号:
8905534 - 财政年份:1989
- 资助金额:
$ 49.33万 - 项目类别:
Standard Grant
相似国自然基金
SYNJ1蛋白片段通过促进突触蛋白NSF聚集在帕金森病发生中的机制研究
- 批准号:
- 批准年份:2022
- 资助金额:30 万元
- 项目类别:青年科学基金项目
NSF蛋白亚硝基化修饰所介导的GluA2 containing-AMPA受体膜稳定性在卒中后抑郁中的作用及机制研究
- 批准号:82071300
- 批准年份:2020
- 资助金额:55 万元
- 项目类别:面上项目
中美(NSFC-NSF)EEID联合评审会
- 批准号:
- 批准年份:2019
- 资助金额:2.6 万元
- 项目类别:国际(地区)合作与交流项目
中美(NSFC-NSF)EEID联合评审会
- 批准号:
- 批准年份:2019
- 资助金额:1.2 万元
- 项目类别:国际(地区)合作与交流项目
中美(NSFC-NSF)EEID联合评审会
- 批准号:81981220037
- 批准年份:2019
- 资助金额:2.1 万元
- 项目类别:国际(地区)合作与交流项目
相似海外基金
NSF-BSF: RI: Small: Mechanisms and Algorithms for Improving Peer Selection
NSF-BSF:RI:小型:改进同行选择的机制和算法
- 批准号:
2134857 - 财政年份:2022
- 资助金额:
$ 49.33万 - 项目类别:
Standard Grant
NSF-BSF: RI: Small: Efficient Bi- and Multi-Objective Search Algorithms
NSF-BSF:RI:小型:高效的双目标和多目标搜索算法
- 批准号:
2121028 - 财政年份:2021
- 资助金额:
$ 49.33万 - 项目类别:
Standard Grant
NSF-BSF: Collaborative Research: RI: Small: Multilingual Language Generation via Understanding of Code Switching
NSF-BSF:协作研究:RI:小型:通过理解代码切换生成多语言
- 批准号:
2203097 - 财政年份:2021
- 资助金额:
$ 49.33万 - 项目类别:
Standard Grant
NSF-BSF: RI: Small: Efficient Transformers via Formal and Empirical Analysis
NSF-BSF:RI:小型:通过形式和经验分析的高效变压器
- 批准号:
2113530 - 财政年份:2021
- 资助金额:
$ 49.33万 - 项目类别:
Standard Grant
NSF-BSF: RI: Small: Planning and Acting While Time Passes
NSF-BSF:RI:小型:随着时间的推移进行规划和行动
- 批准号:
2008594 - 财政年份:2020
- 资助金额:
$ 49.33万 - 项目类别:
Standard Grant