JP2023050231A 有效 计数装置、计数方法及计算机程序
【技術分野】 【0001】 本発明は、撮影動画から計数対象の移動体を計数する技術に関する。 【背景技術】 【0002】 水産養殖において、生け簀内の魚体数を把握しておくことは養殖事業の経営において重要である。しかしながら、生け簀内の魚体数はきちんと把握されていない場合が多い。例えば、魚体数を把握すべく、生け簀に放す魚の数を人が目視により数えることがあるが、人の目視による計数であるので正確さに欠けてしまう。また、災害などに因って生け簀から魚が逃げてしまった場合には、逃げた魚の数は不明である場合が殆どであるから、生け簀に放す魚の数を計数しても、その後、生け簀内の魚体数は不明となってしまう。 【0003】 そこで、生け簀内の魚を撮影し当該撮影画像を用いて生け簀内の魚体数を計数する技術の開発が進められている。例えば、特許文献1(国際公開第2021/060077号)には、生け簀内の魚を撮影した撮影画像から魚を検知し当該検知した魚の数を計数する技術が開示されている。 【先行技術文献】 【特許文献】 【0004】 【特許文献1】 国際公開第2021/060077号 【発明の概要】 【発明が解決しようとする課題】 【0005】 特許文献1(国際公開第2021/060077号)に示されているように撮影画像から魚を検知する場合に、光の加減や水の濁りや魚の重なりなどに起因して撮影画像に撮影されている魚が不明瞭であると、撮影画像から魚を正確に検知できない場合がある。このようなことを考慮して、撮影画像から魚を検知する検知処理の結果を人が目視により確認する場合がある。 【0006】 移動体である魚を計数する場合、魚を動画により撮影する場合が多い。この動画を構成するフレーム画像のそれぞれについて検知処理が実行されると、検知処理の結果を目視により確認する作業者の作業量は非常に多くなる。つまり、計数結果の精度を高めるためには、動画を構成する全てのフレーム画像のそれぞれについて検知処理が実行されることが好ましい。このように動画を構成する全てのフレーム画像について検知処理が行われる場合には、検知処理を行うフレーム画像の数は非常に多くなることから、検知処理の結果を確認するフレーム画像の数も多くなる。これにより、検知処理の結果を目視により確認する作業者の作業量は非常に多くなってしまう。魚体数を計数するために魚を撮影する動画のフレームレートは、計数結果の精度の向上を図るために、高くなる傾向にあるから、検知処理が行われるフレーム画像の数が増加し、これに伴い、検知処理の結果を確認する作業者の作業量はさらに多くなる傾向にある。 【0007】 本発明は上記課題を解決するために考え出されたものである。すなわち、本発明の主な目的は、計数対象の移動体を計数する計数結果の精度低下を防止しつつ、計数対象の移動体を撮影動画から検知する検知処理の結果を確認する確認作業の負担軽減を図る技術を提供することにある。 【課題を解決するための手段】 【0008】 上記目的を達成するために、本発明に係る計数装置は、その一態様として、 計数対象の移動体が撮影されている撮影動画を構成する複数のフレーム画像のそれぞれから、前記計数対象の移動体を検知する検知処理を実行する検知部と、 前記撮影動画を構成する複数の前記フレーム画像のうち、撮影順番が間欠となるように一部の前記フレーム画像を選択画像として選択し、前記検知処理にて検知された前記計数対象の移動体を表す検知結果情報を重畳させた態様で前記選択画像を表示装置に表示させる選択部と、 表示されている前記選択画像に重畳されている前記検知結果情報を削除する指令、あるいは、前記計数対象の移動体を表す検知結果情報を前記選択画像に追加する指令を修正情報として受け付ける修正部と、 前記修正情報に従って修正された前記検知処理の結果を用いて、前記撮影動画に映っている前記計数対象の移動体を計数する計数部と、 計数された前記計数対象の移動体の数を表す情報を計数結果として出力する出力部と を備える。 【0009】 また、本発明に係る計数方法は、その一態様として、 計数対象の移動体が撮影されている撮影動画を構成する複数のフレーム画像のそれぞれから、前記計数対象の移動体を検知する検知処理を実行し、 前記撮影動画を構成する複数の前記フレーム画像のうち、撮影順番が間欠となるように一部の前記フレーム画像を選択画像として選択し、前記検知処理にて検知された前記計数対象の移動体を表す検知結果情報を重畳させた態様で前記選択画像を表示装置に表示させ、 表示されている前記選択画像に重畳されている前記検知結果情報を削除する指令、あるいは、前記計数対象の移動体を表す検知結果情報を前記選択画像に追加する指令を修正情報として受け付け、 前記修正情報に従って修正された前記検知処理の結果を用いて、前記撮影動画に映っている前記計数対象の移動体を計数し、 計数された前記計数対象の移動体の数を表す情報を計数結果として出力する。 【0010】 さらに、本発明に係るコンピュータプログラムは、その一態様として、 計数対象の移動体が撮影されている撮影動画を構成する複数のフレーム画像のそれぞれから、前記計数対象の移動体を検知する検知処理を実行する処理と、 前記撮影動画を構成する複数の前記フレーム画像のうち、撮影順番が間欠となるように一部の前記フレーム画像を選択画像として選択し、前記検知処理にて検知された前記計数対象の移動体を表す検知結果情報を重畳させた態様で前記選択画像を表示装置に表示させる処理と、 表示されている前記選択画像に重畳されている前記検知結果情報を削除する指令、あるいは、前記計数対象の移動体を表す検知結果情報を前記選択画像に追加する指令を修正情報として受け付ける処理と、 前記修正情報に従って修正された前記検知処理の結果を用いて、前記撮影動画に映っている前記計数対象の移動体を計数する処理と、 計数された前記計数対象の移動体の数を表す情報を計数結果として出力する処理と をコンピュータに実行させる。 【発明の効果】 【0011】 本発明によれば、計数対象の移動体を計数する計数結果の精度低下を防止しつつ、計数対象の移動体を撮影動画から検知する検知処理の結果を確認する確認作業の負担軽減を図る技術を提供できる。 【図面の簡単な説明】 【0012】 【図1】本発明に係る第1実施形態の計数装置の構成を説明するブロック図である。 【図2】計数対象の移動体を計数する状況の一例を説明する図である。 【図3】撮影動画を構成するフレーム画像に映っている計数対象の移動体の具体例を表す図である。 【図4】撮影動画を構成するフレーム画像から一部のフレーム画像を選択する処理の一例を表す図である。 【図5】計数対象の移動体を検知する検知処理が実行されたフレーム画像の一例を表す図である。 【図6】修正情報を入力する作業の一例を説明する図である。 【図7】第1実施形態の計数装置における計数対象の移動体を計数する処理に係る動作の一例を説明するフローチャートである。 【図8】自信度表示用データの一例を表す図である。 【図9】フレーム画像の領域を説明する図である。 【図10】フレーム画像における注目物体の一例を説明する図である。 【図11】フレーム画像における別の注目物体の一例を説明する図である。 【図12】本発明に係るその他の実施形態の計数装置の構成を説明するブロック図である。 【図13】その他の実施形態の計数装置における動作の一例を説明するフローチャートである。 【発明を実施するための形態】 【0013】 以下に、本発明に係る実施形態を、図面を参照して説明する。 【0014】 <第1実施形態> 図1は、本発明に係る第1実施形態の計数装置の構成を表すブロック図である。この計数装置1は、コンピュータ装置であり、計数対象の移動体が撮影された撮影動画を用いて、計数対象の移動体を計数する機能を備える。第1実施形態では、計数対象の移動体は、生け簀で養殖されている魚である。ここでは、計数対象の魚が養殖されている生け簀(以下、移動元とも称する)と、魚が未だ入っていない生け簀(以下、移動先とも称する)とが通路を介して接続され、計数装置1によって、移動元から移動先に通路を通って移される魚が計数される。すなわち、図2に表されるように、移動元の生け簀7から移動先の生け簀7に通路8を通って移動している魚9が、通路8の横側(魚9の移動方向に交差する方向)から撮影装置5によって撮影される。この撮影装置5により撮影された動画(以下、撮影動画とも称する)を用いて、計数装置1が生け簀7の魚9の数を計測する。 【0015】 撮影装置5は、動画を撮影可能な装置であり、ここでは、水中に配置され、通路8を通る魚9を、撮影方向を固定して撮影する。撮影装置5を水中に配置する手法は限定されず、その説明は省略される。 【0016】 ここで、魚9の数を計測する計数工程の概略を説明する。まず、撮影動画を構成する複数の静止画像であるフレーム画像のそれぞれについて、フレーム画像から計数対象の魚9を検知する検知処理が実行される。フレーム画像から計数対象の魚9を検知する手法は、ここでは限定されないが、その一例を挙げると、AI(Artificial Intelligence)技術を用いた検知手法がある。AI技術による検知手法では、機械学習により生成されるモデルが用いられる。第1実施形態で用いられるモデル(以下、検知用モデルとも称する)は、計数対象の魚9が撮影されている画像を機械学習することにより生成される。当該検知用モデルは、フレーム画像を入力とし、当該フレーム画像に撮影されている計数対象の魚9を検知し当該検知結果を表す情報(以下、検知情報とも称する)を出力する。なお、養殖の手法によっては、生け簀7において、計数対象の種類の魚9と、それ以外の種類の魚とが混在している場合がある。この場合には、撮影装置5による撮影動画に、計数対象の種類の魚9だけでなく、計数対象外の種類の魚も撮影されることになる。第1実施形態では、このような計数対象の種類の魚9と計数対象外の種類の魚が混在して撮影されているフレーム画像から、計数対象外の種類の魚は検知せずに、計数対象の種類の魚9を検知する検知用モデルが機械学習により生成されて用いられる。 【0017】 第1実施形態では、上記のような検知処理は、移動元から通路8を通して移動先へ魚9を移し始めてから移し終えるまでの動画を含む撮影動画を構成しているフレーム画像について実行される。図3は、撮影動画を構成する一部のフレーム画像を抜き出して時系列に並べたイメージ図である。第1実施形態では、撮影動画を構成する全てのフレーム画像には、それぞれ、撮影順番を表す情報(以下、単に撮影順番とも称する)が撮影順に連続した番号で関連付けられている。図3の例では、撮影順番が連続している6枚のフレーム画像30が表されている。それらフレーム画像30のそれぞれについて検知処理が実行されており、その検知処理の結果を表す情報である検知結果情報として、フレーム画像30のそれぞれにおいて、計数対象の魚9であると検知された物体を囲む検知枠32が重畳されている。なお、図3に表されているフレーム画像30のそれぞれにおいて、フレーム画像30の左側が移動元側であり、フレーム画像30の右側が移動先側である。 【0018】 上記のように検知された計数対象の魚9について追跡処理が実行される。追跡処理とは、複数のフレーム画像30に撮影されている同じ計数対象の魚9を追跡する処理であり、当該追跡処理を実行することによって、同じ魚9の動きを検知することができる。この追跡処理の結果を用いて、移動元から移動先に向かう方向(図3の例では、フレーム画像における互いに対向する左右の端縁部分の一方(左側)から他方(右側)に向かう方向)に移動してフレーム画像30に映らなくなった(フレームアウトした)と判断された魚9が計数される。このようにして計数対象の魚9が計数される。なお、以下の説明において、移動元から移動先に向かう方向(図3の例では、左側から右側に向かう方向)は、正方向とも称し、その逆方向(つまり、移動先から移動元に向かう方向)は、負方向とも称することとする。 【0019】 第1実施形態では、フレーム画像30から計数対象の魚9を検知する検知処理の後に、図3に表されるようなフレーム画像30における検知枠32を目印にして、人が目視によって、計数対象の魚9が正しく検知されているか否かを調べる確認作業が行われることを想定している。第1実施形態の計数装置1は、その確認作業の負担軽減を図る構成を備えている。 【0020】 すなわち、第1実施形態の計数装置1は、図1に表されるように、制御装置10と、記憶装置20とを備えている。また、計数装置1は、入力装置3と、表示装置4とに接続されている。入力装置3は、計数装置1に情報を入力する装置であり、例えば、キーボードや、マウスや、タッチパネルなどにより構成される。表示装置4は、文字や画像(映像を含む)などを表示する装置である。 【0021】 計数装置1の記憶装置20は、データや、コンピュータプログラム(以下、プログラムとも記す)21を記憶する記憶媒体を備えている。記憶装置には、磁気ディスク装置や、半導体メモリ素子などの複数の種類があり、さらに、半導体メモリ素子には、RAM(Random Access Memory)やROM(Read Only Memory)などの複数の種類があるというように、多数の種類がある。計数装置1が備える記憶装置20の種類は1つに限定されるものではない。コンピュータ装置には複数種の記憶装置が備えられることが多い。ここでは、計数装置1に備えられる記憶装置20の種類や数は限定されず、その説明は省略される。また、計数装置1に複数種の記憶装置20が備えられる場合には、それらをまとめて記憶装置20と記すこととする。 【0022】 第1実施形態では、記憶装置20には、計数対象の魚9を計数する処理に関わるコンピュータプログラムがプログラム21の一つとして記憶されている。また、記憶装置20には、前述したような検知処理においてAI技術が用いられる場合には、検知用モデルがプログラム21の一つとして記憶される。 【0023】 さらに、記憶装置20には、移動元から通路8を通して移動先へ魚9を移し始めてから移し終えるまでの動画を含む撮影装置5による撮影動画が、例えば撮影日時や、生け簀7の周囲の状況などを表す情報などが関連付けられて記憶されている。 【0024】 制御装置10は、CPU(Central Processing Unit)やGPU(Graphics Processing Unit)などのプロセッサにより構成される。当該制御装置10は、記憶装置20に記憶されているプログラム21を読み出して実行することにより、当該プログラム21に基づいた様々な機能を持つことができる。ここでは、制御装置10は、計数対象の魚9を計数する処理に関わるコンピュータプログラムに基づいた機能部として、検知部11と、算出部12と、選択部13と、修正部14と、計数部15と、出力部16とを有している。 【0025】 検知部11は、前述したような検知処理を実行する。すなわち、検知部11は、計数対象の移動体である魚9が撮影されている撮影動画(例えば、移動元から通路8を通して移動先へ魚9を移し始めてから移し終えるまでの動画を含む撮影動画)を構成する複数のフレーム画像30のそれぞれにおいて、計数対象の魚9を検知する検知処理を実行する。また、検知部11は、フレーム画像30において、計数対象の魚9を検知した場合には、検知した計数対象の魚9を囲む図3に表されるような枠状の図形である検知枠32を検知結果情報としてフレーム画像30に重畳する。なお、図3の例では、検知枠32は、矩形状であるが、検知枠32の形状は、枠状であればよく、楕円などの他の形状であってもよい。また、検知結果情報として、検知枠32に代えて、計数対象の魚9として検知された物体あるはいその近傍に、検知されたことを表すマークなどがフレーム画像に重畳されてもよい。 【0026】 検知部11は、さらに、計数対象の魚9として検知した物体がフレーム画像30において映っている位置や大きさを表す情報(以下、検知物体情報とも称する)がフレーム識別情報に関連付けられて記憶装置20に記憶される。フレーム識別情報とは、フレーム画像のそれぞれを識別するためにフレーム画像に付与される情報であり、例えば、前述したような撮影順番がフレーム識別情報として用いられる場合がある。 【0027】 算出部12は、検知部11による検知処理によって検知された計数対象の魚9について追跡処理を実行する。ここでは、追跡処理の手法は限定されず、その説明は省略される。 【0028】 第1実施形態では、検知部11による検知処理から、計数対象の魚9を計数し、計数された計数対象の魚9の数を表す情報を計数結果として出力するまでの計数工程において、追跡処理が2回実行される。1回目の追跡処理は、選択部13による処理にとっての前処理として実行される。2回目の追跡処理は、計数部15による計数処理で用いる情報を取得するために実行される。 【0029】 選択部13は、前述したような検知処理の結果を確認する確認作業の軽減を図る機能を備えている。すなわち、選択部13は、フレーム画像から検知処理により計数対象の魚として検知された物体が正しく計数対象の魚であるか否かを作業者に目視により確認してもらうべく、検知結果情報が重畳されているフレーム画像を静止画として表示装置4に表示させる。第1実施形態では、作業者の確認作業を軽減させるために、撮影動画を構成するフレーム画像を、撮影順に抜けなく1枚ずつ表示装置4に表示させるのではなく、撮影動画のフレーム画像を、撮影順番が間欠となるように一部のフレーム画像を表示装置4に表示させる。選択部13は、その表示させるフレーム画像を選択画像として選択する機能を備える。 【0030】 第1実施形態では、撮影動画から、撮影順番が間欠となるように一部のフレーム画像を選択して表示させるようにしても、検知処理の結果の確認漏れに起因した計数結果の精度低下を防止するために、選択部13は次のように選択画像を選択している。すなわち、通路8を移動している複数の計数対象の魚9がそれぞれ1度は表示装置4に表示されるように、選択部13は、表示装置4に表示させるフレーム画像(選択画像)を選択する。つまり、第1実施形態では、選択部13は、まず、算出部12による追跡処理の結果を用いて、計数対象の魚9がフレーム画像に出現してから、移動先に向かう正方向に移動してフレーム画像に出現しなくなるまでの平均のフレーム画像の数を算出する。換言すれば、選択部13は、計数対象の魚9がフレームインしてからフレームアウトするまでの平均のフレーム画像の数(同じ計数対象の魚9が映っているフレーム画像の数(コマ数))を算出する。具体例を挙げると、図3には、計数対象の魚9の平均的な動きが表されているとする。この場合、計数対象の魚9がフレームインしてからフレームアウトするまでの平均のフレーム画像30の数は5コマである(例えば図3において符号「F」が付されている魚9を参照)。このことから、この例では、図4に表されるように、撮影動画を構成するフレーム画像30を、5コマごとに、撮影順番が間欠となるように表示させれば、計数対象の魚9がそれぞれ1度は表示装置4に表示されると考えられる。 【0031】 つまり、選択部13は、計数対象の魚9がフレームインしてからフレームアウトするまでの平均のフレーム画像30の数に基づいた数ごとの撮影順番のフレーム画像30を選択画像として選択し、選択画像を表示装置4に表示させる。このように選択されて表示された選択画像において、前述したような検知処理の結果を確認する確認作業が行われる。選択画像の表示を次の選択画像に切り替える表示切り替えは、例えば、確認作業を行っている作業者が入力装置3を操作することによって、フレーム画像の表示切り替え要求が計数装置1に入力されたことを契機として選択部13により実行される。 【0032】 なお、第1実施形態では、検知処理が実行されるフレーム画像は、移動元の生け簀7から通路8を通して移動先の生け簀7へ魚9を移し始めてから移し終えるまでの動画を含む撮影動画を構成しているフレーム画像である。このことを考慮し、選択部13は、例えば、その撮影動画において最初に計数対象の魚9が検知されたフレーム画像30を1枚目の選択画像とし、その後、上記のように選択された選択画像を順次、表示装置4に表示させる。もちろん、計数装置1において、選択部13により選択された選択画像のうち、作業者による入力装置3の操作により指定された選択画像を表示装置4に表示させることは可能となっている。 【0033】 修正部14は、選択部13により選択された選択画像が表示装置4に表示されている場合に、検知処理の結果を修正する情報(以下、修正情報とも称する)が入力装置3の操作によって計数装置1に入力された場合に、修正情報に従って検知処理の結果を修正する。 【0034】 例えば、図5は、検知処理が実行されたフレーム画像30の一例を説明する図である。図5の例では、フレーム画像30において、検知結果情報としての検知枠32によって、計数対象の魚として2つの物体が検知されていることが明示されている。しかしながら、これら2つの物体のうちの一つは、正しく、計数対象の魚9であるが、別の一つは、例えばワカメなどのゴミ(撮影された像の形状が魚に似ていたために計数対象の魚と誤検知されたゴミ)であって計数対象の魚9ではないとする。このような場合には、例えば、作業者が入力装置3を操作することにより、ゴミを囲んでいる検知枠32を削除する指令(以下、削除要求とも称する)を入力する。修正部14は、その削除要求を修正情報として受け付け、その削除要求に従って、フレーム画像30から、削除が要求されている検知枠32を削除する。また、修正部14は、削除要求がなされた検知枠32によって囲まれている物体に対応する検知物体情報を記憶装置20から削除することにより、検知処理の結果を修正する。 【0035】 また、図5の例では、フレーム画像30において、計数対象の魚であるのにも拘わらず、計数対象の魚として検知されなかった魚9(以下、検知漏れ魚とも称する)が映っているとする。この場合には、検知漏れ魚9は、検知処理により検知されなかったために、検知枠32により囲まれていない。作業者は、そのような検知漏れ魚9を見つけた場合には、入力装置3の操作により、例えば、検知漏れ魚9を囲む検知枠32をフレーム画像30に追加する指令(以下、追加要求とも称する)を計数装置1に入力する。修正部14は、その追加要求を修正情報として受け付ける。そして、修正部14は、追加要求に従って、フレーム画像30に、追加が要求された検知枠32を追加する。また、修正部14は、追加された検知枠32により囲まれている物体を表す情報を新たな検知物体情報としてフレーム画像30のフレーム識別情報が関連付けられた状態で記憶装置20に書き込むことによって、検知処理の結果を修正する。 【0036】 計数部15は、前述したように、計数対象の魚9が撮影されている撮影動画において、追跡処理の結果を参照して、移動元から移動先に向かう方向に移動してフレーム画像に映らなくなった(フレームアウトした)と判断した魚9を計数する。第1実施形態では、上記のように、撮影動画を構成するフレーム画像のそれぞれについて検知処理が実行された後に、その検知処理の結果を確認する確認作業が行われる。この確認作業により検知処理の結果が修正されることが有り得る。このことから、第1実施形態では、検知処理の結果を確認する作業が終了した後に、例えば作業者による入力装置3の操作によって、算出部12による追跡処理の実行が指示され、この指示に応じて算出部12が撮影動画における計数対象の魚9についての追跡処理を実行する。計数部15は、算出部12が確認作業後の追跡処理を実行したことを検知した後に、当該追跡処理の結果を参照して、計数対象の魚9を計数する。換言すれば、計数部15は、修正情報に従って修正された検知処理の結果を用いて、撮影動画に映っている計数対象の移動体を計数する。 【0037】 ところで、数は少ないものの、移動先の生け簀7に移った後に、移動先の生け簀7から通路8に戻ってきてしまう計数対象の魚9がいることが考えられる。このように通路8に戻ってきてしまった計数対象の魚9は、再び、通路8から移動先の生け簀7に移動することとなるから、計数部15によって重複して計数されることになる。このようなことを考慮し、第1実施形態では、計数部15は、さらに、追跡処理の結果を参照して、通路8において移動先から移動元に戻る負方向に移動する計数対象の魚9を検知する機能を備える。そして、計数部15は、検知した移動先から負方向に移動する計数対象の魚9の数を、正方向に移動してフレームアウトした計数対象の魚9の数から差し引く処理を実行する。これにより、計数対象の魚9が移動元の生け簀7に戻る負方向に移動することに起因して、同じ計数対象の魚9が重複して計数されてしまうという問題が防止される。 【0038】 計数部15は、移動元の生け簀7から移動先の生け簀7に計数対象の魚9を移し始めてから移し終えるまでの通路8の撮影動画を用いて計数した計数対象の魚9の数を表す情報を、例えば処理を実行した撮影動画の識別情報に関連付けて記憶装置20に格納する。 【0039】 なお、上記したように、第1実施形態では、計数部15による計数処理では、通路8における計数対象の魚9の移動方向(換言すれば、頭が向いている方向)の情報は、計数結果の精度を上げるためには、重要な情報である。このことから、次のようにして計数対象の魚9の移動方向の情報が取得されてもよい。例えば、検知部11による検知処理の結果を確認する確認作業によって検知漏れ魚9が作業者により見つけられたとする。この場合に、作業者による入力装置3の操作によって、検知漏れ魚9を囲むように検知結果情報としての検知枠32がフレーム画像30に追加されることになる。この検知枠32を追加する際に、例えば、検知枠32に、検知漏れ魚9の移動方向を表す情報を含ませる。例えば、検知枠32は、図6に表されるように、基準点Pから離れる方向に当該検知枠32をドラックすることにより枠の大きさが大きくなって計数対象の魚9を囲むことができるとする。この場合に、計数対象の魚9の頭側と尾側のうちの頭側に基準点Pが位置するようにして検知枠32をフレーム画像30に追加するというルールを定めておく。これにより、検知枠32における移動元側と移動先側の何れに基準点Pが位置しているかという情報によって、計数対象の魚9の移動方向を検知(取得)することができる。 【0040】 出力部16は、計数部15により計数された計数対象の魚9の数を表す情報を計数結果として出力する。例えば、出力部16は、計数結果を表示装置4に表示する。また、出力部16は、計数結果を、情報通信網を介して送信する送信先が定められている場合には、その送信先に向けて計数結果を送信してもよい。 【0041】 第1実施形態における計数装置1は上記のように構成されている。次に、計数装置1における計数対象の魚9を計数する処理に係る動作の一例を、図7を参照しながら説明する。図7は、計数装置1における計数対象の魚9を計数する処理に係る動作の一例を表すフローチャートである。 【0042】 例えば、まず、計数対象の魚9を移動元の生け簀7から移動先の生け簀7へ移し始めてから移し終わるまでの動画を含む撮影動画を構成するフレーム画像のそれぞれにおいて、検知部11が計数対象の魚9を検知する検知処理を実行する(図7のステップ101)。そして、然る後に、算出部12による追跡処理の結果を参照して、選択部13が、検知処理の結果を確認する確認作業の際に表示装置4に表示するフレーム画像(選択画像)を選択する(ステップ102)。ここでは、選択部13は、計数対象の魚9がフレームインしてからフレームアウトするまでの平均のフレーム画像の数を算出し、この平均のフレーム画像の数に基づいた数ごとの撮影順番のフレーム画像を選択画像として選択することとする。 【0043】 選択部13は、このように選択した選択画像を表示装置4に表示する。そして、表示された選択画像に重畳されている検知結果情報(検知枠32)を目印に、確認者が検知処理の結果を確認する。これにより、確認者による入力装置3の操作により修正情報が計数装置1に入力された場合には、その修正情報に従って、修正部14が、検知結果情報(検知枠32)の表示や、記憶装置20における検知物体情報を修正する(ステップ103)。 【0044】 その後、修正情報に従って修正された検知処理の結果を用いて実行された追跡処理の結果を参照して、計数部15が、移動元の生け簀7から移動先の生け簀7に通路8を通って移動した計数対象の魚9を計数する計数処理を実行する(ステップ104)。このようにして計数された計数対象の魚9の数を計数結果として出力部16が表示装置4に表示したり、予め定められた送信先に送信したりするなどして計数結果を出力する(ステップ105)。なお、この例では、計数処理が完了した後に、出力部16によって計数結果が表示されているが、出力部16は、計数部15による計数処理の計数途中における時々刻々と変化する計数対象の魚9の数を表示装置4に表示してもよい。 【0045】 第1実施形態では、計数装置1は、検知処理の結果を確認する確認作業のために表示装置4に表示するフレーム画像を、撮影動画を構成するフレーム画像のうちから選択した一部のフレーム画像としている。これにより、計数装置1は、撮影動画を構成する全てのフレーム画像のそれぞれに関して確認作業を行う場合に比べて、確認作業を行うフレーム画像の数を削減することができるので、確認作業を行う作業者の負担軽減を図ることができる。 【0046】 しかも、第1実施形態では、選択部13は、撮影動画において計数対象の魚9がフレームインしてからフレームアウトするまでの平均のフレーム数の数を利用して、確認作業のために表示装置4に表示する選択画像を選択している。すなわち、選択部13は、撮影動画における一部のフレーム画像の表示であっても、計数対象の魚9のそれぞれが1回ずつは表示装置4に表示されるように、選択部13が、上記平均のフレーム数の数を利用して選択画像を選択している。このため、計数装置1は、確認作業のために表示装置4に表示するフレーム画像を選択する構成としても、検知処理の結果の確認漏れを防止し、確認漏れに起因した計数結果の精度低下を抑制できる。 【0047】 <第2実施形態> 以下に、本発明に係る第2実施形態を説明する。なお、第2実施形態の説明において、第1実施形態の計数装置を構成する構成部分と同一名称部分には同一符号を付し、その共通部分の重複説明は省略する。 【0048】 第2実施形態の計数装置1は、第1実施形態の構成に加えて、確認作業を行う作業者の作業を支援する構成をさらに備えている。 【0049】 すなわち、第2実施形態では、フレーム画像から計数対象の魚9を検知する検知処理にAI技術を用いており、AI技術による検知用モデルは、フレーム画像において計数対象の魚9を検知したことを表す検知情報を出力するだけでなく、検知処理により検知された計数対象の魚9の確からしさを表す自信度を表す情報を自信度情報として出力する。つまり、検知部11は、検知情報を出力するだけでなく、自信度情報も出力する。 【0050】 選択部13は、選択画像を表示装置4に表示させる場合に、計数対象の魚として検知された物体を囲む検知枠32の色を、自信度情報から取得した信頼度に応じて異ならせる。つまり、図8に表されるような検知用モデルが出力する自信度と、検知枠32の色との関係データが自信度表示用データとして記憶装置20に与えられている。選択部13は、選択画像を表示装置4に表示させる際に、取得した自信度に対応する検知枠32の色を自信度表示用データから読み出し、読み出した色でもって検知枠32を表示装置4に表示する。 【0051】 第2実施形態の計数装置1における上記以外の構成は、第1実施形態の計数装置1の構成と同様である。 【0052】 第2実施形態の計数装置1は、第1実施形態の構成を備えているので、第1実施形態と同様の効果を奏することができる。さらに、第2実施形態では、検知処理を確認する確認作業の際に表示される選択画像において、検知用モデルから出力される自信度の情報も表示される。このため、作業者は、自信度が低い検知枠32の内部の物体については、自信度が高い検知枠32の内部の物体よりも注意してみるというように、確認漏れが生じやすい部分を特に注意してみることができて、確認漏れが防止され、また、作業者の負担を軽減できると考えられる。 【0053】 <第3実施形態> 以下に、本発明に係る第3実施形態を説明する。第3実施形態の説明において、第1又は第2の実施形態の計数装置を構成する構成部分と同一名称部分には同一符号を付し、その共通部分の重複説明は省略する。 【0054】 第3実施形態の計数装置1は、第1又は第2の実施形態の構成に加えて、確認作業を行う作業者の作業を支援する構成をさらに備えている。 【0055】 第3実施形態では、図9に表されるように、フレーム画像30には、移動元側と移動先側のそれぞれの側縁領域Ztと、それ以外の中領域Zmとが設定されている。また、選択部13は、算出部12による追跡処理の結果を参照することにより、検知部11により計数対象の魚9であるとして検知された物体であって、フレーム画像30に最初に出現した領域が中領域Zmである物体を注目物体として検知可能な機能をさらに備えている。さらに、選択部13は、選択したフレーム画像30を表示装置4に表示する場合に、注目物体に作業者が注意を引くような表示態様とする。例えば、選択部13は、注目物体を囲む検知枠32を他の検知枠32よりも目立つ色にしたり、点滅させたりして表示させる。 【0056】 ここで、注目物体の例を挙げると、例えば、図10に表される物体Qのように、フレームインした際には、他の魚9の影となってフレーム画像30に殆ど映っていないが、移動により、他の魚9の影から出て、中領域Zmにおいて、計数対象の魚9として検知された物体が考えられる。 【0057】 また、注目物体としては、図11に表される物体Jがある。この物体Jは、計数対象の魚9として検知されたが、実際にはワカメなどのゴミであって移動元側から移動先側に移動していない物体である。このような注目物体は、検知処理による誤検知に因る物体である。注目物体には、このような検知処理による誤検知に因る物体が含まれていると考えられるので、注目物体は、検知処理の確認作業を行う作業者が注意してチェックすることが望ましいと考えられる。このため、第3実施形態では、上記のように、選択部13は、選択画像を表示装置4に表示させる際に、注目物体を目立つように表示させる。第3実施形態の計数装置1における上記以外の構成は、第1又は第2の実施形態の計数装置1の構成と同様である。 【0058】 第3実施形態の計数装置1は、第1や第2の実施形態の計数装置1と同様の構成を備えていることから、第1や第2の実施形態と同様の効果を奏することができる。さらに、第3実施形態の計数装置1は、フレーム画像30の中領域Zmに最初に出現し、計数対象の魚9として誤検知されてしまった虞がある物体を注目物体として検知できる。そして、計数装置1は、確認作業のために表示装置4に表示する選択画像において、注目物体を明示することができ、これにより、確認作業の作業者の注意を注目物体に向かせることができる。このため、作業者による確認作業においての確認漏れを抑制することができ、確認漏れに起因した計数結果の精度低下を防止できる。 【0059】 <その他の実施形態> 本発明は第1~第3の実施形態に限定されず、様々な実施の態様を採り得る。例えば、第1~第3の実施形態では、選択部13が選択する選択画像の撮影順番の間隔の数は固定であったが、次のように可変されてもよい。すなわち、選択画像として選択されるフレーム画像の撮影順番の間隔が異なる複数の間欠表示モードが設定される。例えば、間欠表示モードとして、標準モードと、標準モードよりも作業者の負担が軽くなるお急ぎモードと、標準モードよりも確認作業を細かく行いたい場合の念入りモードとが設定される。標準モードでは、計数対象の魚9がフレームインしてからフレームアウトするまでの平均のフレーム画像の数ごとの撮影順番のフレーム画像が選択画像として選択される。具体例としては、前述した図4に表されるように、標準モードでは、5コマごとに、撮影順番が間欠となるように選択画像が選択される。 【0060】 お急ぎモードでは、選択画像の撮影順番の間隔の数が標準モードよりも多くなるように選択画像が選択される。また、念入りモードでは、選択画像の撮影順番の間隔の数が標準モードよりも少なくなるように選択画像が選択される。 【0061】 選択部13は、入力装置3の操作によって、上記のような複数の間欠表示モードの中から択一的に選択された間欠表示モードを表す情報をモード選択情報として受け取り、当該モード選択情報に応じた間欠表示モードでもって選択画像を選択して表示装置4に表示させる。 【0062】 また、第1~第3の実施形態では、移動体として魚を例にして説明しているが、第1~第3の実施形態の計数装置1は、魚以外の移動体を計数する場合にも適用可能である。例えば、通路を一方向に向かって移動している人を計数する場合に、第1~第3の実施形態の計数装置1が適用されてもよい。 【0063】 図12は、本発明に係る計数装置のその他の実施形態の構成を表すブロック図である。図12に表されている計数装置40は、例えばコンピュータ装置であり、コンピュータプログラムに基づいた機能部として、検知部41と、選択部42と、修正部43と、計数部44と、出力部45とを備えている。 【0064】 検知部41は、計数対象の移動体が撮影されている撮影動画を構成する複数のフレーム画像のそれぞれから、計数対象の移動体を検知する検知処理を実行する。 【0065】 選択部42は、撮影動画を構成する複数のフレーム画像のうち、撮影順番が間欠となるように一部のフレーム画像を選択画像として選択する。また、選択部42は、検知処理にて検知された計数対象の移動体を表す検知結果情報を重畳させた態様で、選択画像を表示装置に表示させる。 【0066】 修正部43は、表示されている選択画像に重畳されている検知結果情報を削除する指令、あるいは、計数対象の移動体を表す検知結果情報を選択画像に追加する指令を修正情報として受け付ける。 【0067】 計数部44は、修正情報に従って修正された検知処理の結果を用いて、撮影動画に映っている計数対象の移動体を計数する。 【0068】 出力部45は、計数された前記計数対象の移動体の数を表す情報を計数結果として出力する。 【0069】 次に、計数装置40における、撮影動画から計数対象の移動体を計数する処理に係る動作の一例を、図13を参照しつつ説明する。 【0070】 例えば、まず、検知部41が、計数対象の移動体が撮影されている撮影動画を構成する複数のフレーム画像のそれぞれにおいて、計数対象の移動体を検知する検知処理を実行する(図13におけるステップ201)。然る後に、選択部42が、撮影動画を構成する複数のフレーム画像のうち、撮影順番が間欠となるように一部のフレーム画像を選択画像として選択する(ステップ202)。さらに、選択部42は、検知処理にて検知された計数対象の移動体を表す検知結果情報を重畳させた態様で、選択画像を表示装置に表示させる。 【0071】 そして、修正部43は、表示されている選択画像に重畳されている検知結果情報を削除する指令、あるいは、計数対象の移動体を表す検知結果情報を選択画像に追加する指令を修正情報として受け付ける(ステップ203)。 【0072】 その後、計数部44は、修正情報に従って修正された検知処理の結果を用いて、撮影動画に映っている計数対象の移動体を計数する(ステップ204)。そして、出力部45は、計数された前記計数対象の移動体の数を表す情報を計数結果として出力する(ステップ205)。 【0073】 上記したような計数装置40は、撮影動画を構成する複数のフレーム画像のうち、撮影順番が間欠となるように一部のフレーム画像を選択画像として選択する機能を備えている。このように選択されて表示されたフレーム画像(選択画像)について、検知処理の結果を確認する確認作業を行うようにすることにより、撮影動画を構成する全てのフレーム画像について確認作業を行う場合に比べて、確認作業の負担軽減が図られる。また、計数装置40は、選択されて表示されたフレーム画像(選択画像)について、検知処理の結果を確認する確認作業が行われることにより、計数対象の移動体を計数する計数結果の精度低下の防止が図られる。 【符号の説明】 【0074】 1,40 計数装置 11,41 検知部 13,42 選択部 14,43 修正部 15,44 計数部 16,45 出力部
现在,一起体验智慧芽的产品和服务
自动注册,无需人工审核,即可立即开始查询专利
立即注册
澳门正版图库

AI助手