研究テーマ / Research topic
UAV's Maneuvering Support Method using Augmented Reality
| English ver. | Japanese ver. |
Background |
|
Inspection of infrastructure using unmanned aerial vehicle (UAV)
In recent years, research on measurement of infrastructure using unmanned aerial vehicles (UAV) has been studied. Structure appearance measurement work using UAV is a task to acquire image data with a camera installed in UAV. There are two demands in measuring the appearance of the structure using UAV. The first is a measurement of the entire structure. The second is to acquire image data over the desired accuracy(resolution). In order to satisfy these demands, the pilot of the UAV determines the position (referred to as measurement position) that the UAV should reach. However, an area that can not be measured by the skill of the pilot (referred to as “measurement leakage”) occurs, or the image data is not the data with the required resolution.
As a method to solve these problems, researches have already been made to predetermine efficient measurement positions in advance [1]. In the method of determining the measurement position in advance, it is important to position the UAV at the determined measurement position. Currently, position estimation of UAV is performed using various sensors. However, depending on the environment, UAV position error may occur greatly.
Proposed maneuvering support method |
|
Therefore, I proposed a method to perform position feedback by pilot with visually teaching the measurement position without using a sensor. We will use Augmented Reality (AR) technology to teach the operator the measurement position. Visually teach the measurement position to the pilot using the Head Mounted Display (HMD), and the pilot maneuvers the UAV to reach the measurement position. By acquiring a data at the arrival measurement position, it realizes measurement work without leakage while guaranteeing accuracy.
In this research, we aim to realize UAV maneuvering support that enables efficient measurement work using the proposed method. There are the following three issues of teaching method to ensure that the UAV reaches the measurement position.
1. Teach clearly the measurement position and direction.
2. Teach a positional relationship of UAV and teaching position in the depth direction
Kotaro Asa, Yuki Funabora, Shinji Doki and Kae Doki,“Automatic Measuring Position Determination of UAVs for Visual Inspection System of Infrastructures Based on 3D Construction Model Considering Accuracy of Data”，Transactions of the Society of Instrument and Control Engineers，Vol.53，No.3，pp.229-235．2017．(In japanese)
Experiment |
|
In order to clearly teach the measurement position and direction, we created a 3d models considering the shape of UAV actually used. There are two kinds of 3d model. First, there are models that omit detailed parts from the shape of UAV, and the second type are models made in occupied areas of the models. Pilot can move the UAV to the measurement position by piloting it to the position matching the model. Also, we made the models translucent so that we can grasp the depth position relationship between UAV and model.
With these models, in order to investigate a model that can move the UAV to a desired position while keeping the desired direction, a real machine experiment was conducted. The distance between the 3d models and the pilot was 5 m, and the object to be measured was a white board in the room. Subjects performed a task to measure the measurement object without leakage. The experiment procedure is explained in the above figure.
Result |
|
The figure above shows the result of the position of the UAV placed with the 3d models. This is the result of seeing from above, and the UAV`s angle is also expressed. According to this result, the models ‘E’ and ‘F’ considering shape of UAV more than other models had the smallest position error and angle error of UAV and model. therefore, we found that the detailed representation of the 3d model leads to the possibility of clearly grasping the depth position.
19E
ap
研究背景 |
|
無人飛行体(UAV)を用いた構造物外観計測作業
近年、無人飛行体(UAV)を用いた構造物外観計測作業が注目されています。UAVを用いた構造物外観計測作業はUAVに搭載されているカメラで画像データを取得する作業です。UAVを用いた構造物外観計測作業において二つの要求があります。一つ目の要求は構造物全領域の計測です。二つ目の要求は所望の精度（解像度）以上の画像データを取得です。UAVの操縦者はこれらの要求を満たすために、UAVが到達すべき位置（以下、計測位置）を決定します。しかし、操縦者の技量によって計測できていない領域（以下、計測漏れ）が発生したり、逆に画像データを必要以上に取得してしまうことで、非効率な計測作業になるといった問題が考えられます。
これらの問題を解決する方法として、効率的な計測位置を事前に決定する研究がすでにされています[1]。事前に計測位置を決定する方法は、決めた計測位置にUAVを位置させることが重要です。現在は様々なセンサを用いてUAVの位置推定が行われています。しかし、環境によってはUAVの位置誤差が大きく発生する場合があります。そこで私は、センサを用いず、計測位置を視覚的に教示することによって人による位置フィードバックを行う方法を提案します。操縦者に計測位置を教示するために拡張現実（以下、AR）技術を用います。本研究では、提案する方法を用いて効率的な計測作業を可能とするUAVの操縦支援の実現を研究目標とします。提案する方法の課題は以下の三つがあります。
1.計測位置を視覚的に教示する方法の有効性の確認
2.正確な位置フィードバックを可能とする計測位置の教示方法の検討
3.UAVを用いた実環境上での検討
[1]麻晃太朗，舟洞佑記，道木慎二，道木加絵，“UAVによるインフラ設備外観の自動点検システムの実現に向けた三次元モデルに基づく状態データの精度を考慮した計測位置算出”，計測自動制御学会論文集，Vol.53，No.3，pp.229-235．2017．
研究内容 |
|
1.計測位置を視覚的に教示する方法の有効性の確認
計測位置教示効果の基礎検討として、計測位置を点として教示する単純な教示効果をシミュレーション上で確認しました。計測対象は10[m]×10[m]のコンクリート製壁面としました。また、コンクリート診断に要求される0.2[mm]のひびを検出できるように計測条件を設定しました。計測条件を基に計測位置を決定して計測位置を点として教示しました。各被験者は計測位置を教示しない場合および教示する場合で、UAVを用いて計測実験を行いました。計測位置を教示しない場合は被験者が自分で計測位置や経路を決めて自由に計測を行いました。計測位置を教示する場合は被験者は教示された計測位置を参考に計測を行いました。比較するデータとして5人の被験者の計測した領域および撮影回数を取得しました。
研究結果 |
|
計測位置を教示しない場合、5人の被験者の中で3人の計測作業で計測漏れが発生しました。しかし、計測位置を教示する場合はすべての被験者が漏れなく計測することができました。この結果は、計測位置を教示することで漏れの改善が実現できたということを証明しています。次に、計測位置を教示しない場合でも漏れなく計測ができた2人の結果について説明します。実際、計測漏れが発生しなかった2人は計測漏れを無くすために、多くの画像データを取得しました。多くの画像データを取得したということは長時間の計測作業に繋がります。よって、計測漏れが発生しなかった2人は効率の悪い計測作業であったということです。しかし、計測位置を教示した場合は少ない回数で全領域の計測ができました。この結果は、計測位置を教示することで効率の高い計測が実現できたということを証明しています。これらの二つの結果から、計測位置を視覚的に教示する方法の有効性を確認できました。
今後の予定 |
|
2.正確な位置フィードバックを可能とする計測位置の教示方法の検討
正確な位置フィードバックを可能とする計測位置の教示方法について検討する必要があります。AR技術を用いて計測位置を教示する場合は遠近感（奥行）が正しく把握できるようにする必要があります。また、計測機器の向きも把握できるようにする必要があります。現在は計測位置をUAVの3D半透明モデルで教示する方法を検討中です。実際のUAVを実空間上に配置されたUAV3Dモデルの大きさおよび方向を合う位置に移動させることで、人による位置フィードバックが実現できると考えています。
ポスター |
|
