赤外線サーモグラフィーと深層学習を用いたウシ分娩予知技術の開発

利用红外热成像和深度学习开发奶牛产犊预测技术

基本信息

批准号：
21K14949
负责人：
三輪雅史
金额：
$ 3万
依托单位：
National Agriculture and Food Research Organization
依托单位国家：
日本
项目类别：
Grant-in-Aid for Early-Career Scientists
财政年份：
2021
资助国家：
日本
起止时间：
2021-04-01 至 2024-03-31
项目状态：
已结题

项目摘要

本研究は、省力的かつ非侵襲的なウシ分娩監視技術の開発を目的とし、赤外線サーモグラフィーと深層学習を組み合わせることで画像からウシの体温と行動を同時抽出し、これらの情報をもとに分娩予知を行う技術の検討を行う。具体的な課題として、① 赤外線サーモグラフィー画像からのウシ個体および身体部位検出技術の確立、② ①に基づく分娩予知技術の確立を段階的に取り組む。2年次にあたるR4年度は、1年次に実施できていなかったデータ収集を実施した。収集したデータをもとにして① 赤外線サーモグラフィー画像からのウシ個体および身体部位検出技術の確立に取り組んだ。収集した赤外線サーモグラフィー画像（グレースケール）に対して前処理（色反転、コントラスト調整、高解像度化）を行い、可視光線画像（RGB画像）によって学習させた物体検出モデル（YOLOX）、骨格検出モデル（Animal Pose）、画像認識モデル（MobileNet V3）を適用することで、赤外線サーモグラフィー画像からウシとその身体部位の座標、姿勢（佇立/横臥）を自動的に抽出することができた。先行研究では赤外線サーモグラフィー画像を大量に収集して専用のモデルを作成する方法が一般的であったが、推論時の入力となる赤外線サーモグラフィー画像に対する前処理を工夫し、入力画像を可視光線画像に近づけるような変換を行うことで、可視光線画像で作成した汎用的なモデルを赤外線サーモグラフィー画像の推論に流用できることが明らかとなった。また、①と並行して、ウェアラブルセンサによって取得した体温データを用いて②の分娩予知技術の確立に取り組み、腟温データとSVMを組み合わせた分娩予知モデルを作成した。次年度にはウェアラブルセンサによって取得した体温データを①によって取得した体温データによって置換し、赤外線サーモグラフィー画像の収集のみによる分娩予知が可能かを検証する。

这项研究的目的是开发一种省力、非侵入性的奶牛产犊监测技术，通过结合红外热成像和深度学习，我们可以从图像中同时提取奶牛的体温和行为，并利用这些信息来监测产犊。将检查进行预测的技术。作为具体挑战，我们将致力于 1) 建立从红外热成像图像中检测个体奶牛和身体部位的技术，以及 2) 建立基于 1) 预测分娩的技术。在R4年，也就是第二年，我们收集了第一年没有做的数据。基于收集到的数据，我们致力于（1）建立一种从红外热成像图像中检测个体奶牛和身体部位的技术；我们对收集的红外热成像图像（灰度）（颜色反转、对比度调整和提高分辨率）进行了预处理，并创建了使用可见光图像（RGB 图像）训练的物体检测模型（YOLOX）和骨骼检测模型（YOLOX）。图像识别模型（MobileNet V3），我们能够从红外热成像图像中自动提取牛及其身体部位的坐标和姿势（站立/卧姿）。在之前的研究中，常见的方法是收集大量的红外热成像图像并创建专用模型，但我们设计了对用作推理输入的红外热成像图像进行预处理，并将输入图像转换为可见光图像。很明显，使用可见光图像创建的通用模型可以通过执行使红外热成像图像更接近的变换来对红外热成像图像进行推断。此外，与①同时，我们还利用可穿戴传感器获取的体温数据建立了②临产预测技术，并创建了结合阴道温度数据和SVM的分娩预测模型。明年，我们将把可穿戴传感器获取的体温数据替换为步骤1获取的体温数据，并验证是否可以仅通过采集红外热成像图像来预测分娩。