暗号カメラと暗号画像認識によるセンサレベルビジュアルプライバシー保護

利用加密摄像头和加密图像识别实现传感器级视觉隐私保护

基本信息

批准号：
20K20628
负责人：
長原一
金额：
$ 16.47万
依托单位：
Osaka University
依托单位国家：
日本
项目类别：
Grant-in-Aid for Challenging Research (Pioneering)
财政年份：
2020
资助国家：
日本
起止时间：
2020-07-30 至 2024-03-31
项目状态：
已结题

项目摘要

Society5.0社会実現が叫ばれる中、ビッグデータ活用はサイバースペースにとどまらず、実世界でのユーザの行動履歴をカメラなどで取得し、活用することが期待されている。現在、携帯電話やスマートスピーカなどの様々なIoT機器はカメラを搭載し、深層学習による画像認識の精度が向上したことから、このような実世界情報のセンシングや活用が現実味を帯びてきている。一方で、カメラで人を観測することでのプライバシー問題も社会問題化している。本研究ではセンサ(撮像素子)上の光学像そのものをスクランブルする暗号カメラを提案する。センサでのサンプリング前にシーンを第三者に理解できない形へ光学的にスクランブル化し，符号化読み出しを行うことで、画像がデジタル化される前のセンサレベルでのビジュアルプライバシー保護を実現する。また、暗号カメラで撮影された暗号画像から復元を介さず、直接認識する新たな画像認識フレームワーク「暗号画像認識」を提案し、そのモデルや学習手法についての研究をおこなう。これまでのカメラは、レンズにより像をセンサ面に集光し、ぼけのない画像輝度を均一な矩形配置の画素でサンプリングすることを前提に設計されてきた。本研究で提案する暗号カメラは、レンズを用いず光学マスクによりスクランブルし、ランダムや加算読み出しをおこなうことから、従来のインパルスサンプリングやナイキストサンプリングとは全く異なる新たなセンシングアプローチの提案であると言える。さらには、従来の暗号化は、デジタル化されたものを前提としてきたが、光学系や電子回路を用いたアナログ的暗号化を行う点も斬新である。さらには、画像をデジタル化する前に暗号化するセンサレベルのプライバシー保護を提案している点が、これまでなかった画期的な点である。

在呼吁建立社会的社会5.0的呼吁下，预计大数据不仅限于网络空间，而且还可以通过摄像机和其他手段获取和利用现实世界中的用户行为历史记录。当前，手机和智能扬声器等各种物联网设备都配备了相机，并且通过深度学习的图像识别的准确性得到了改善，从而使这种感应和使用现实世界的信息更现实。另一方面，观察摄像头的人引起的隐私问题也已成为一个社会问题。在这项研究中，我们提出了一个加密相机，该摄像头将光学图像本身拼写在传感器上（图像传感器）。通过光学地将场景拼凑成在使用传感器采样之前无法理解的形式，并在将图像数字化之前对传感器级别进行编码和阅读，在传感器级别进行视觉隐私保护。我们还提出了一个名为“隐秘图像识别”的新图像识别框架，该框架直接识别使用加密相机拍摄的加密图像而无需重建它们，并对其模型和学习方法进行研究。以前的相机已经设计了以下假设，即使用镜头将图像集中在传感器表面上，并用具有均匀矩形排列的像素对图像亮度进行采样。本研究中提出的加密摄像头使用光掩模不使用镜头进行扰列，并执行随机和添加的读数，因此可以说，这是一种与常规的脉冲采样和Nyquist采样完全不同的新感测方法。此外，尽管常规加密是基于数字化的前提，但使用光学系统和电子电路实施模拟加密也是新颖的。此外，以前从未见过的一个开创性点是，它提出了传感器级的隐私保护保护，该保护在图像数字化之前已加密。