RESEARCH

研究内容

General Feature Extraction

汎用特徴の抽出​

In order to achieve manpower saving in mobility, it is necessary to solve the problem of recognizing a wide variety of external environments. For example, in order to replace human driving behavior with a machine, a number of recognition tasks such as pedestrian recognition, vehicle recognition, roadway recognition, white line recognition, signal recognition, and sign recognition are required to be processed in real time. The extraction of generic features from sensor input to various recognition tasks has important implications as a core technique for these complex outer-field recognizers. In deep learning, which allows us to approximate a function that returns an ideal output from a sensor input, we study a new optimization method that allows us to separate the general and special parts of the task.

モビリティにおける省人化を実現するには、多種多様な外環境の認識問題を可解にする必要がある。例えば人が行う運転行動を機械で代替するには、歩行者認識・車両認識・走行路認識・白線認識・信号認識・標識認識を始めとした数多くの認識タスクの実時間処理が求められる。センサー入力から様々な認識タスクに汎用的な特徴量を抽出することは、これら複合的な外界認識器の中核的技術として重要な意味を持っている。センサー入力から理想的出力を返す関数の近似を可能にする深層学習において、タスクに汎用的な部分と特殊な部分の分離を可能にする新たな最適化手法を研究する。

Search Based on Semantic Distance

意味的距離に基づく検索

The development of a technique for estimating the semantic distance between data samples is not only a contribution to mobility, but also has the fundamental significance of being the next breakthrough in AI technology as a technique that can bring about effects such as data sample rarity evaluation, data set completeness verification, and data sample classification under class indeterminacy. We study how to map into semantic distance space and how to reduce the amount of operations.

データ標本間の意味的距離の推定技術の開発は、データ標本のレアリティ評価・データセットの網羅性検証・クラス不定の下でのデータ標本の分類などの効果をもたらしうる技術として、モビリティへの貢献に留まらず、AI 技術における次のブレークスルーと呼ぶにふさわしい基礎的な意義を持つ。意味的距離空間への写像の方法や演算量の削減方法を研究する。

Inheritance of Generalization Capabilities between Machine Learning Models

機械学習モデル間の汎化能力の継承

Environmental awareness at the edge requires high generalization capability, real time processing, and limited power consumption at the same time. Large-scale deep neural network models consisting of many processing layers show high generalization capability, but the problem is that the processing load is too large. Therefore, we study developmental methods such as large-scale knowledge distillation and semi-supervised learning for the compacting of large-scale models.

エッジにおける環境認識には、高い汎化能力・実時間処理・限られた消費電力の制約を同時に満たすことが求められる。多数の処理層から成る大規模な深層ニューラルネットワークモデルは高い汎化能力を示すものの、処理負荷が多大であることが問題である。そこで、大規模モデルのコンパクト化を対象とした、大規模な知識蒸留や半教師あり学習などの発展的手法を研究する。

Analysis of Learning Processes in Deep Learning

深層学習における学習過程の解析

It is known that the performance of a deep neural network model is highly dependent on an initial set of values, called multiple hyperparameters. In the development of models, it is common to use some combination of them to actually learn and evaluate them to produce better models. In recent years, attempts have been made to describe the learning process in deep learning by thermodynamic motion, which has led to a better understanding of the mechanism of generalization capabilities. We conduct research to better understand this mechanism by collecting and analyzing various statistics in the learning process by large-scale computation.

深層ニューラルネットワークモデルの性能は、複数のハイパーパラメタと呼ばれる初期設定値に大きく依存することが知られている。モデルの開発においては、それらのいくつかの組み合わせを用いて実際に学習・評価することで、より良いモデルを生成することが一般的である。近年、深層学習における学習過程を熱力学的な運動によって記述する試みが成され、これにより汎化能力を獲得するメカニズムの理解が進みつつある。学習過程における種々の統計量を大規模計算によって収集・解析することで、このメカニズムをより深く理解するための研究を行う。

Theory of Model Ensembles

モデルアンサンブルの理論

Studies of the learning process have shown that a certain inference bias is potentially present in a single deep neural network model. The ensembleization of models is effective in correcting this bias and has been used in many settings, but the method remains in the heuristic phase. Research is focused on establishing a basic understanding and methodology of model ensembles.

学習過程の研究によって、単体の深層ニューラルネットワークモデルにはある種の推論の偏りが潜在的に存在することが分かってきた。モデルのアンサンブル化はこの偏りを是正する効果があり、多くの現場で用いられているが、その方法は発見的段階に留まっている。モデルアンサンブルの基礎的な理解と方法論の確立を主眼とした研究を行う。