DATUM STUDIOの森井です。

私は以前、3次元空間における直線の検出に、Hough変換を応用する新たな手法を開発しました。今回は、この手法と応用例について解説します。

私はX線観測天文学を専攻し、すばる望遠鏡などを用いた可視光・赤外線天文学の研究も行って来ました。また統計数理研究所での在籍期間中には、天文データに機械学習などを応用する研究も行ってきました。本ブログでは、統計数理研究所在籍時に、東京大学木曽観測所の酒向 重行先生や宇宙航空研究開発機構スペースガードセンターの浦川 聖太郎先生達と共同で進めた研究において考案した移動天体を検出する方法を紹介いたします。

東京大学木曽観測所では、トモエゴゼンという広視野で空の大部分をモニター観測し、突発天体や移動天体を監視する専用望遠鏡を運用しています。この望遠鏡は焦点面検出器としてCMOSセンサを用いることで、2ヘルツという高頻度で広範囲を監視します。これは全世界的に見てもユニークな観測装置であり、将来地球に衝突し災害を引き起こす危険性がある地球接近小天体の早期発見に役立つ重要なツールです。

トモエゴゼンは2ヘルツの頻度で同一視野を一定時間観測し、動画データを取得します。この動画データは、画像の2次元（幅と高さ）と時間の1次元を組み合わせた3次元データとして表現できます。通常の天体は位置が不変なため、その３次元空間の時間軸に平行な直線として表現されます。一方、移動天体は時間軸に対して斜めに走る直線として表現されます。

2次元画像データの中から直線や円などを検出する手法として、古くからHough変換が知られています。この手法は、例えば画像処理ソフトのOpenCVにも採用されており、Hough変換による直線検出の関数(HoughLinesP)が実装されています。

この手法を3次元空間へ拡張すれば、3次元空間中から直線を検出することができるかもしれないと、おそらく誰でも考えそうではありましたが、そのような具体的な方法は当時存在しませんでした。

そこで私は、Hough変換を３次元空間に応用する新たな手法を開発しました。この手法をトモエゴゼンの動画データに適用した結果、移動天体の検出に成功しました。この成果は、統計数理研究所のオープンハウスにおいて、ポスター発表という形で公開されました。

2次元画像中から直線を検出するHough変換の方法を、添付図を用いて解説します。

画像空間（ピクセル座標空間:(x,y)）内の直線は通常y=ax+bのような方程式で表されますが、これは(a:傾き,b:切片)というパラメータが一本の直線を指定していることを意味します。実は元画像空間内のすべての直線を表現するには、このパラメータの取り方は適切ではありません。なぜなら、y軸に平行な直線を表現するためには傾きaを無限大にする必要があるため、無限に広いパラメータ空間が必要になるからです。Hough変換では、原点からの距離ρと、原点周りの回転角θをパラメータとして、ρ=xcos+ysinという方程式で直線を表現します。画像サイズは有限なのでρは有限であり、回転角は0度から360度の範囲に収まるので、パラメータ空間(ρ,θ)は有限の領域に収まります。有限なパラメータ空間(ρ,θ)の中の一点が画像上の一本の直線に対応します。Hough変換によって直線を検出するには、同じ直線の方程式ρ=xcos+ysinを逆に用います。画像上の１点(x,y)に対して、パラメータ空間(ρ,θ)上に対応する1本の曲線を描くことができます。この曲線上の各点は(x,y)を通るような直線を表していますが、画像上に存在する可能性がある直線の候補を表しています。画像上のすべての点に対してパラメータ空間上に曲線を描いてそれらを重ね合わせると、多くの曲線が交わる点（多数決で選ばれた点）が現れます。このようにして画像上の直線が検出できます。変換式の具体的な導出方法については参考までに本記事に添付した資料に記載しています（興味がある方はご覧ください）。

hough.pdf

この考え方を3次元空間へ拡張し、3次元空間中の直線を検出するHough変換の方法が次の図のとおりです。

この3次元変換式の導出方法についても同じく添付資料に記載しています(hough.pdf)。考え方は先程の2次元だったときの発想を自然に３次元へと拡張させたものとなっており、(x, y)→(x, y, z)と(p, θ)→(p, φ, ψ, θ)とそれぞれの座標に用いる次元を拡張したものになります。また2次元Hough変換の際には点(x, y)は1本の曲線に対応をしていましたが、3次元Hough変換の際には点(x, y, z)は1枚の曲面に対応することになります。2次元Hough変換と同じくパラメータ空間内で多数決を取ることにより元のピクセル座標空間における直線を発見することができます。

さて、この研究発表以降、私はDATUM STUDIOに就職してデータサイエンスを応用した企業データの分析を行う業務に専念していたため、この研究を論文の形で発表することもなく長らく放置していました。2022年度から縁あって宇宙航空研究開発機構のデータアーカイブを専門とする部署(C-SODA)に出向していましたが、ちょうどそのころ、産業技術総合研究所の寒河江 皓大先生から、私のポスター発表の資料を引用させてほしいという連絡をいただきました。

寒河江先生は地震学の研究者で、彼らは地震の震源が時間の経過とともに移動していく様子を捉えるために3次元Hough変換を活用しました。彼らは私の方法に改良を加えて、”Space-Time Hough変換”として論文に発表しました（※1）。このように天文学以外の分野に私の仕事が引用されることは意外なことでした。また寒河江先生に地震学の研究について直接お話を伺う機会もあり、大変有意義な経験ができました。

この3次元Hough変換の実装についてのソースコードは、公開リポジトリにて公開しています。現在のコードはCPUで動作するように設計されていますが、並列処理が可能であるため、CUDA等を用いてGPU上で動作するように改良すれば、より広範な用途に活用できるでしょう。ぜひご活用ください。

私自身は、現在宇宙航空研究開発機構に出向し、様々な人工衛星で取得された観測データのアーカイブ処理を主に担当しております。また、望遠鏡の角度分解能を向上させるプロジェクトにも関わっています。これについては、COSPAR 2022（※2）や日本天文学会（※3）で発表していますが、投稿論文の準備をしております。この活動については、次の機会にご報告したいと思います。

※1
Sagae, K., Nakahara, H., Nishimura, T., & Imanishi, K. (2023). Fine
structure of tremor migrations beneath the Kii Peninsula, Southwest
Japan, extracted with a space-time Hough transform. Journal of
Geophysical Research: Solid Earth, 128, e2022JB026248

※2
Y. Maeda, et al. (2022)“Reconstruction Approaches to the Hitomi HXI Image of the Crab Nebula,” 44th COSPAR Scientific Assembly 2022, Athens, Greece, 19 July 2022.

※3
森井幹雄 (2023)「像再構成による高解像硬X線像を使ったかに星雲の研究」日本天文学会2023年春季年会、立教大学、2023年3月14日