汎用的な
手書き図形入力インタフェースの開発

情報工学科 助教授
佐賀 聡人


手書き図形認識の現状と手書き図形認識エンジン開発の必要性
 タブレットやPDAなどのペン入力デバイスが普及するにつれて,コンピュータ画面に直接書き込むことのできる,オンライン手書き入力インタフェースの実用化が進んでいます.このうち,手書き文字認識技術は既に実用化され,実際多くの応用製品が一般的に用いられるようになっています.しかし一方で,手書き図形認識技術に関しては,過去に幾つかの研究や製品化の試みはあるものの,一般に広く普及するようにはなっていません.
 この主な原因は,文字に関しては汎用的な手書き文字認識アルゴリズムがアプリケーションと独立した「手書き文字認識エンジン」という形で既に提供されてアプリケーション開発が容易であるのに対して,図形に関しては汎用的な「手書き図形認識エンジン」が存在していないことにあります.従来のアプローチでは,(1)個々の手書き図形入力アプリケーション固有の機能に強く依存した形で図形認識アルゴリズムの開発が行われ,また(2)認識できる図形の種類が一般的な作図に必要となる図形要素を全て網羅するように設計されていませんでした.そのため,従来の手書き図形認識法を手書き図形認識エンジンとして様々な作図アプリケーションに汎用的に利用することは難しかったのです.
 このような現状に対して,私たちは,特定の作図アプリケーション開発の一部として手書き図形認識アルゴリズムを開発するという従来のアプローチから脱却し,徹底的に汎用性を追求した手書き図形認識法,すなわち手書き図形認識エンジンを確立するという新しいアプローチの研究を進めています.また実際に手書き図形認識エンジンを汎用的に用いた様々な作図アプリケーションを試作することで,このアプローチが実用的な手書き図形入力インタフェースを見通しよく開発するうえで有効なことを実証的に示す研究を進めています.
 この研究成果が普及すれば,子供のお絵描きから精密なCAD図面の作成に至るまで,様々な作図アプリケーションにおいて,スケッチ描画動作で直感的に図形を入力できるような環境を提供することが可能になるはずです.

汎用的手書き図形認識エンジンFSCIの開発
 手書き図形認識エンジンとして「ファジースプライン曲線同定法(FSCI)」を開発しています.これは,作図アプリケーションに依存した情報を一切用いずに描画動作に関する情報のみを用い,かつ,一般的な図面を構成する図形要素として重要な7種類の幾何曲線プリミティブ,すなわち,「線分(L)」,「円(C)」,「円弧(CA)」,「楕円(E)」,「楕円弧(EA)」,「閉じた自由曲線(FC)」,「開いた自由曲線(FO)」のすべて(図1参照)を認識させることのできる極めて汎用性の高いオンライン手書き図形認識アルゴリズムです.


図1 FSCIで認識する7種類の幾何曲線プリミティブ

 従来一般の図形認識法では「長方形」や「三角形」などを認識対象に含めるのが普通ですが,FSCIでは汎用性の追求のため,あえてこれらを認識対象から排除し,認識対象を7種類の幾何曲線プリミティブに限定しています.FSCIで「線分」がきちんと認識できれば,その結果から,「長方形」や「三角形」などを認識することはアプリケーション側で簡単にできるからです.
 さてここで高々7種類しかない幾何曲線を認識する問題は,一見簡単な問題に思えます.しかし,これらの間には,「円」は「楕円」の特別な場合であり,「楕円」は「閉じた自由曲線」の特別な場合である,といった包含関係が存在するため手書き描画形状だけでこれらを区別して認識させることは原理的に困難な問題です.そのため従来この7種類の幾何曲線を区別して認識させることのできる図形認識法は存在しませんでした.例えば図2の左端の丸を「円」として入力したい場合もあれば「閉じた自由曲線」として入力したい場合もあるわけで,その区別をその描画形状だけから判断することは困難なのです.


図2 FSCIの認識特性

 FSCIでは,描画形状とともに描画動作の動特性から描画の雑さの程度を見積もることで描画をファジースプライン曲線(FSC)という曖昧さを内包した曲線として内部表現し,その上で描画意図を推論するという従来にないユニークなアプローチをとることでこの困難を克服しています.そのためFSCIでは,ユーザが描画形状とともに描画動作の雑さの程度を意図的に変化させることで似た形状の描画であっても幾何曲線の種類の違いを区別して認識させることが可能なのです.具体的な例として,図2(a)のように雑な描画動作で曖昧な丸を描くことでその動作が象徴であることを伝えてFSCIに「円」を認識させることができます.一方,図2(b)のように丁寧な描画動作で描画形状の具体的な形状の重要性を強調することでFSCIに「閉じた自由曲線」を認識させることもできます.
 このFSCIでは「ファジー理論」と「スプライン補間」がその中核の要素技術となっています.また,その認識特性をチューニングするために,「ニューラルネット」や「遺伝的アルゴリズム」などのいわゆる「ソフトコンピューティング」とよばれる一連の技術を駆使しています.

FSCIによる2次元手書き図形
入力システムの開発

 FSCIを手書き図形認識エンジンとして利用し,これにグラフィカルユーザインタフェース(GUI)を追加することで2次元手書き図形入力システムが実現できることを実証的に示し,その性能を評価する研究を進めています.図3 はその一例で,「液晶タブレット」というディスプレイとタブレットが一体となった入力デバイス上に直接描画することで次々と幾何曲線を入力してゆくことができます.

FSCIによる3次元手書き図形入力システムの開発
 FSCIは空間次元数に依存しないアルゴリズムとなっているため,3次元描画にも適用できます.そこで,空中にペンで直接的に空間描画を行えるバーチャルリアリティー環境を利用し,そこにFSCIとGUIを実装することで3次元手書き図形入力システムを実現し,その性能を評価する研究を進めています.図4はその一例で,空中に描画することで次々に幾何学的な立体プリミティブを生成してゆくことができます.

FSCIによる重ね書きスケッチ入力システムの開発
 前述の手書き図形入力システムでは,一筆の描画が行われるごとにFSCIが幾何曲線を順次認識して確定します.一方,人が本物の紙の上でスケッチを行う場面では,何度も重ね書きを繰り返しながら徐々に描画形状を修正することがよく行われます.私たちは,FSCIをこのようなスケッチ入力にも適用できるようなアルゴリズムの研究も進めています.図5はその一例で,左上に示す空間中の重ね書き描画だけで正確な立体図形を生成することができています.

手書き図形入力システムと既存の
作図アプリケーションとの連携

 手書き図形入力システムだけで全ての作図を完了することは現実的ではありません.したがって,手書き図形入力システムを既存の作図アプリケーションと簡単にしかも密接に連携させて利用できる環境を如何に提供できるかが,手書き図形入力普及の鍵になると思われます.そこで私たちは,手書き図形入力システムをフロントエンドプロセッサ(FEP)として機能させ,これを一般の作図アプリケーションと連携させて動作させる機構の研究を進めています.これが完成すれば,ちょうど普通の人が「ワープロ」と「かな漢字変換FEP」を連携して利用しているのと同じような手軽さで「CAD」と「手書き図形入力FEP」を連携させて利用することが可能になるはずです.





















































































































図3 FSCIを用いた2次元手書き図形入力システムの例


図4 FSCIを用いた3次元手書き図形入力システムの例

図5 FSCIを用いた重ね書き図形入力の例


All rights reserved. Copyright (c) Muroran Insutitute of Technology.