名前：: 呉偉桐
学年/肩書：: 博士課程後期課程2年
役職：: 点群いじり
グループ：: ロボット
趣味：: ゲーム、音楽
一言：: 0 error(s) , 0 warning(s)

研究テーマ / Research topic

自律UAVによるインフラ設備計測の実現に向けた経路計画

自律UAVによる

インフラ設備計測の実現に向けた経路計画

研究背景

日本国内における、橋梁に代表されるインフラ設備の老朽化が近年、懸念されています。設備の老朽化に伴い、設備にひび・錆などの異常が発生します。これらの異常は設備の安全に影響及ぼし、もし劣化の初期段階で対策を施さないと、供用中設備の崩落など重大な事故が発生する可能性は十分に存在します。

（橋梁老朽化の一例）

よって、インフラ設備の異常を早い段階で検出することが重要となっています。このような、インフラ設備の安全状況を把握・異常検知ための検査は、インフラ設備点検となります。

点検手段の中、近接目視点検は最も基本的な一つです。具体的には、大型機械を用いて設備付近にアクセスし、その表面を目視で確認、異常を検出する点検です。よって欠点は明らか、膨大な費用・時間・人員がかかることになります。

このような点検の効率化を求め、我々はカメラを搭載した自律UAVによる設備外観自動計測の実現を目指しています。

（通常近接目視点検と自律UAVによる設備外観自動計測の比較）

自律UAVによるインフラ設備外観自動計測を目指して、様々な研究がなされました。例として、先行研究^[1]で「UAV自動点検に向けた計測位置と飛行経路の決定法」が提案されました。提案法のイメージは下の図に示しています、事前情報である点検対象３D形状に基づいてまず 計測位置（撮影位置） を導出します、導出した 計測位置 をUAVで巡回・撮影することにより、設備外観表面全域の、点検所望精度の画像データの収集が達成可能と考えられます。

（計測UAV経路計画法イメージ図）

他に、先行研究^[2]は、通常ではUAVの自律飛行にとって不可欠なGNSS（衛星測位システム）が働かない環境での点検に着目し、UAV自己位置推定を支援する補機群を導入してUAV同士の連携位置推定系を検討しました。先行研究^[3]では、大都市環境における構造物群の外観点検問題に対して、全ての外観表面を計測する経路の計画法が提案された。

しかしながら、これでUAV自動点検は実運用レベルに達しているわけではありません。自律UAVによる自動点検の実現に当たって、本研究は以下の二つ点が今の段階で優先的に取り扱う課題であると考えています：

既存研究の実点検環境での有効性・実現性はまだ未確認

これまでは理論的側面の研究が進められていました、既存手法の実世界効果は確認できていません。実際の点検環境では様々な外乱が存在し、既存手法が考慮していなかったそれら要素は実際の点検作業に何の影響を及ぼすか、所望の点検データ取得に何か他の問題があるかを実機実験を通して明らかにする必要があります。

実点検環境に対する汎用性の持つ点検システムの欠如

これらは実際のUAV自動点検作業における写真精度や、測位方法など一部の課題だけに対する、別々の検討でありまして、実運用で想定された様々な点検場面と課題を統合的に対処できるUAV自動点検システムは未検討であります。

研究内容

以上の課題に対して、本研究は自律UAVによる設備計測の実現に向け、以下の取り組みをしています。

実機を用いた自律UAV点検検証実験による既存手法の評価

前述のように、既存手法の実世界効果は確認できていません、産業応用的研究開発も不十分であります。よって本研究の取り組みとしては、我々は実点検環境と同様な条件で、実規模の橋梁モデルを計測対象にして先行手法^[1]により計画した計測経路の実機検証を行いました。実験目標は、先行研究^[1]が目指した「橋梁のあらゆるの表面を所望精度で漏れなく計測」は果たして提案手法経路により達成可能かどうかを明確することであり、使用しているUAVと橋梁を以下の図で示します。このような実験により先行手法の有効性を評価、そして今後の経路計画法設計にフィードバックすることを狙っています。

（実機実験で使用した機体・橋梁・外観異常の一例）

今回の実験を通して、既存手法の過不足と限界を明らかにすることができました他、手法の改良方向や実環境点検における解決すべき新しい課題やを見つけることもできました。

また、実験の詳細や結果に基づく考査は論文に公開する予定となります。

実点検環境に対する汎用性の持つ点検システムの検討

実際の点検作業に当たって点検条件（空間的な条件や飛行面の制約など）はそれぞれであり、ケースごとに対して適した手法を開発するのも現実ではありません。実点検における様々な課題を統合的に取り扱える点検システムは今後UAV自動点検の実現にとっては不可欠であります。そのようなシステムの検討と提案を目指し、現在はこの流れで研究を進めています：

1. UAV自動点検の技術的課題の明確化
  自動点検の実運用において、まだ未解決だがこれから解決する必要がある、優先的に取り組み内容を今までの経験や関連研究の知見から明確します。
2. 多様な条件と目標に対応可能な共通の計測経路計画系の構築
  明確化し課題を数学的な制約に落とし込め、個々の制約を満たせるため経路計画システムを構築します。
3. 実世界実装・点検性能評価
  前回の実機実験のように、再び実点検実験を通して提案手法の評価を行います。

上記の方法論を具体化した一例としまして、現在は実際の点検における事前情報（特に形状）の誤りに対処可能な計測手法「形状とテクスチャ精度を両立した外観計測経路計画」を検討しています：

（形状とテクスチャ精度を両立した外観計測経路計画のイメージ）

実点検作業において、点検対象の精確な形状を事前に手に入れるのは困難であることに対して、今までの点検手法^[1]は既に対象の形状が分かったことを前提にしていて、実運用上実物と事前情報が異なった場合点検データの品質が劣化することは既に実験を通して確認できました。この問題の解決を目指して、これから本研究は上記の図に示したように、点検作業中事前情報を修正しつつ外観計測を行い、実際の点検品質を保証する計測システムを開発していくことを検討しています。

Path planning for infrastructure facility inspection with autonomous UAVs

Research Background

In recent years, there has been growing concern about the deterioration of infrastructure facilities such as bridges in Japan. As these facilities age, they are subject to cracks, rust and other abnormalities that can affect the safety of the equipment. If measures are not taken in the early stages of deterioration, there is a good chance that the equipment will collapse or otherwise cause a serious accident while in service.

（An example of bridge ageing）

Therefore, it is important to detect anomalies in infrastructure facilities at an early stage. Such inspections to understand the safety status of infrastructure facilities and to detect abnormalities are called infrastructure facility inspections.

Close visual inspection is one of the most basic inspection methods. In concrete terms, this is an inspection in which a large machine is used to access the vicinity of the equipment to visually check the surface and detect any abnormalities. The disadvantages are therefore obvious and can be very expensive, time-consuming and manpower intensive.

Seeking to improve the efficiency of these inspections, we are working to achieve automatic inspection of the appearance of infrastructures using an autonomous UAV equipped with a camera.

（Comparison of normal close visual inspection and automatic inspection of infrastructures appearance with autonomous UAVs）

Various researches have been conducted for the automatic measurement of the appearance of infrastructure facilities by autonomous UAVs. As an example, a previous study [1] proposed a method for determining the measurement position and flight path for automatic UAV inspection. The image of the proposed method is shown in the following figure. First, the measurement position (shooting position) is derived based on the 3D shape of the inspection target, which is the preliminary information. We believe that it is possible to collect image data of the entire surface of the equipment with the desired accuracy.

（Diagram of the inspection UAV path planning method）

Other than that, prior research[2] focused on inspections in environments where GNSS (satellite positioning system), which is normally essential for autonomous flight of UAVs, does not work, and investigated a cooperative position estimation system among UAVs by introducing a group of auxiliary equipment that supports UAV self-positioning. In a previous study[3], a planning method for a path to measure all exterior surfaces was proposed for the problem of exterior inspection of a group of structures in a metropolitan environment.

However, this does not mean that automatic UAV inspection has reached a real operational level. In order to realize the automatic inspection by autonomous UAVs, this research considers the following two points to be the priority issues to be addressed at this stage:

The effectiveness and feasibility of existing research in the actual inspection environment has not yet been confirmed

Until now, research has been conducted on the theoretical aspects, but the real-world effects of existing methods have not yet been confirmed. In the actual inspection environment, there are various disturbances, and it is necessary to clarify through experiments on actual equipment whether these factors, which have not been taken into account by existing methods, have any effect on the actual inspection work and whether there are any other problems in obtaining the desired inspection data.

Lack of a versatile inspection system for the actual inspection environment

These are separate studies for only some of the issues, such as photographic accuracy and positioning methods in actual automatic UAV inspection work.

Research Content

In order to address the above issues, this research is working on the following initiatives to realize the measurement of facilities using autonomous UAVs.

Evaluation of existing methods through autonomous UAV inspection and verification experiments using actual equipment

As mentioned above, the real-world effects of existing methods have not yet been confirmed, and there is insufficient research and development for industrial applications. Therefore, as part of this research effort, we conducted an actual verification of the measurement path planned by the previous method [1] using a full-scale bridge model as the measurement target under conditions similar to the actual inspection environment. The goal of the experiment was to clarify whether or not the “measurement of every surface of the bridge with the desired accuracy and without leakage”, which was the goal of the previous study [1], could be achieved by the proposed method. The following figure shows the UAV and the bridge used in the experiment. The aim of this experiment is to evaluate the effectiveness of the previous method and to provide feedback for future path planning method design.

(An example of UAV, bridge, and exterior abnormality used in the actual experiment)

Through this experiment, we were able to clarify the limitations and shortcomings of the existing methods, and also find new issues to be solved in the direction of improvement of the methods and real-world inspections.

The details of the experiment and a review based on the results will be published in a paper.

Study of a versatile inspection system for actual inspection environment

In actual inspection work, inspection conditions (spatial conditions, flight surface restrictions, etc.) are different, and it is not realistic to develop a method suitable for each case. An inspection system that can handle various issues in actual inspection in an integrated manner is indispensable for the realization of automatic UAV inspection in the future. The current research is aimed at studying and proposing such a system, and is proceeding in this direction:

1. Clarification of technical issues for automatic UAV inspection
  Clarify the priority issues that have not yet been resolved but need to be resolved in the future for the actual operation of automatic inspection, based on our past experience and the findings of related research.
2. Construction of a common measurement path planning system that can respond to various conditions and goals
  We will build a path planning system that can satisfy the individual constraints by reducing the clarified issues to mathematical constraints.
3. Real world implementation and inspection performance evaluation
  As in the previous experiment, we will evaluate the proposed methodology through actual inspection experiments.

As an example of the embodiment of the above methodology, we are currently investigating a measurement method that can deal with errors in prior information (especially shape) in actual inspections: “Appearance measurement path planning with both shape and texture accuracy.

研究実績

[１]　呉偉桐, 舟洞佑記, 道木慎二, 道木加絵. 外観点検タスクと位置推定を考慮したUAV 群の経路計画法の検討. 令和元年度電気・電子・情報関係学会東海支部連合大会, 2019.

[２]　呉偉桐, 舟洞佑記, 道木慎二, 道木加絵. Efficient Multi-UAVs Path Planning for Cooperative Localization Based Inspection with Required Accuracy.機械学会東海支部, 2019.

[３]　呉偉桐, 舟洞佑記, 道木慎二, 道木加絵. 無人飛行体によるインフラ設備外観自動点検システムのための状態データの精度と作業効率を考慮した計測位置決定. 令和二年度電気・電子・情報関係学会東海支部連合大会, 2020.

道木研究室

WU Weitong