少量の実データに基づく画像内文字認識及びその応用

基于少量真实数据的图像字符识别及其应用

基本信息

批准号：
22KJ0905
负责人：
白定勳
金额：
$ 1.47万
依托单位：
The University of Tokyo
依托单位国家：
日本
项目类别：
Grant-in-Aid for JSPS Fellows
财政年份：
2023
资助国家：
日本
起止时间：
2023-03-08 至 2024-03-31
项目状态：
已结题

项目摘要

目的「少量の実データに基づく画像内文字認識及びその応用」に合う研究を順調に進めた。まず、計画通りに、合成データで作り難い、難しいデータの例として「漫画内のオノマトペテキスト」に注目し、それらを集めたデータセットを作成して公開した。オノマトペテキストは、合成で作り難い分、少量の実データを上手く活用して認識する必要があり、それに役立ついくつかの手法を適用して、精度を改善した。その内容を、7月には国内の最大級画像処理学会MIRUにて発表し、MIRUインタラクティブ発表賞を頂いた。また、10月に画像処理系のトップ国際学会ECCVでも発表した。その後、研究課題の目的「少量の実データの有効活用」に繋がる別の研究として、少量の文字画像(character image)を有効活用する研究を行っている。具体的には、複数の文字画像を組み合わせて、一つの疑似単語画像(word image)を作る研究を勧めている。文字画像が多ければ多いほど、文字画像を組み合わせるパターンは膨大な数になるため、文字画像を組み合わせることで、膨大な量の「疑似単語画像」を得られる。我々はこの組み合わせで作った「疑似単語画像」が、少量の単語画像を補うのに有効的であることを示した。今現在トップ国際会議ICCVに提出して、結果を待っている。今後は、この研究の改善や拡張を行う予定である。

我们在满足“基于少量真实数据的图像字符识别及其应用”目标的研究方面取得了良好进展。首先，按照计划，我们将“漫画中的拟声词文本”作为难以用合成数据创建的困难数据的一个例子，并创建并发布了收集该数据的数据集。由于拟声词文本很难通过合成来创建，因此需要充分利用少量的真实数据来识别它，我们应用了多种有用的技术来提高准确性。 7 月，我们在日本最大的图像处理会议之一 MIRU 上展示了我们的成果，并获得了 MIRU 互动演示奖。 10 月份，我们还在图像处理系统国际顶级会议 ECCV 上展示了我们的工作。之后，我正在对少量角色图像的有效利用进行研究，作为一项单独的研究，与我的研究主题“有效利用少量真实数据”的目的相关。具体来说，他建议进行将多个字符图像组合起来以创建单个伪单词图像的研究。字符图像越多，能够与字符图像组合的图案数量就越多，因此通过组合字符图像，可以获得海量的“伪文字图像”。我们表明，用这种组合创建的“伪单词图像”可以有效地补充少量单词图像。我现在已经提交给国际顶级会议ICCV，正在等待结果。未来，我们计划改进和扩大这项研究。