赤外線カメラ画像による人数推定研究プロジェクト

研究背景及び目的

現在,経済発展と社会的な課題の解決を両立するために現実空間とデータを融合させた高度なシステムを構築するSociety5.0の潮流がある. 更に,歩行者利便増進道路の普及に伴って歩行空間の利便性の優先的な設計に対する気風が高まりつつある. これらの目標が達成されると,出店計画等のマーケティングや広告価値算出が可能になり,新規出店や道路拡幅等の都市開発による暮らしの利便性が向上することが考えられる. 従来においても適切な効果測定が望まれるが,現状は自動車の交通量の計測による渋滞の有無の評価にとどまっている.
今後は歩道も含んだ道路上でどのような人がどういう状況で道路にいるかまで分かることが求められ,歩行者・二輪車・自動車等といった多様な移動体の計測対応が望まれる. 特にこのようなデータは公共交通事業者において有効視されており,バス停で待つ人数に応じて増便を判断するなど停留所の様子を自動判断可能なシステムへの応用が求められている. そこで本研究では,デジタル標柱の上部に設置した赤外線カメラからバス停で待つ人数を把握するシステムを構築する.

実験方法

本実験では,赤外線カメラと光学カメラを同時に撮影し赤外線画像での利用を目的とした新たな人物検出モデルを作成する. 以下には各種カメラの特徴,物体検出手法,期待する実験結果について述べる.

赤外線カメラの特徴

本実験で使用する赤外線カメラは,一般的な光学カメラと異なり,物体が放出する赤外線を検知することによって物体の温度を計測可能である. 図1には研究室内を撮影した画像を示す.

図1 赤外線画像の様子
赤外線画像の様子

図1では周囲の温度と人物の温度が異なっている様子を確認することができる. 本実験に赤外線カメラを利用する理由は周囲の光量によらず,温度情報だけで人物検出可能である特徴があるためである. 光学カメラを用いた場合は夜間の撮影で光量が少なく,不明瞭な画像が生成され高精度な人物検出が不可能である.

光学カメラの特徴

光学カメラはスマートフォンのカメラに用いられるように,カラー画像を撮影することができるカメラである. 本実験では赤外線カメラのみを利用して人物検出を行うため,撮影した画像のどの部分に人物がいるのかを判断しなければならない. 従来の手法であれば図2のように手作業で赤外線画像にアノテーションを行う必要があるが,機械学習に必要な大量のデータを手作業でアノテーションするのには時間がかかる. 一方で,カラー画像の場合は既に学習されたモデルを利用することによって自動でアノテーションを行うことができる.
そのため,カラー画像にアノテーションされたメタ情報を同時刻に撮影した赤外線画像に対してマッピングすることで大量の赤外線画像を機械的にアノテーションすることが可能になる.

図2 手動アノテーションの様子
手動アノテーションの様子

物体検出手法

本実験では,物体検出アルゴリズムとしてYOLOを用いる. YOLOはリアルタイムに物体を検出することができるアルゴリズムであり,ドライブインでの車の混雑状況や,飲食店等における利用客の分析などに利用されている. 物体検出に加え,本研究ではバス停に並んでいる人数を把握する必要があるため,撮影する動画の各フレーム間で任意の人物が同一人物であることを保証する必要がある. それを実現するアルゴリズムとしてDeepSortを利用する.
DeepSortは,物体のトラッキングを行う機械学習モデルになっており,人物にIDをつけてトラッキングすることが可能である. 上記2つのアルゴリズムによって人物の検出,カウンティングを行う.

図3 赤外線画像の様子
DeepSortの様子
引用元:https://github.com/mikel-brostrom/Yolov5_DeepSort_Pytorch

期待する実験結果

本実験では,赤外線カメラのみを使って夜間でもバス停に並ぶ人数を推定するために,同時期に撮影した光学カメラを用いて赤外線画像のデータセットを作成する. そのデータセットを用いて学習されたモデルを用いることによってリアルタイムでバス停の待ち人数を把握することが可能になることを期待する.

実験終了後の展望

本実験終了後は,さらなるトランジットモール化推進のために,バス停周辺の歩行者や二輪車.自動車のような移動体全体を計測するシステムを構築し,地域の住民に根ざした利便性の向上のための分析を行う.