Top
東京都立大学学部卒業制作作品

指文字学習支援ゲーム(仮)

2021

東京都立大学大学院 修士研究

テーマ

指文字学習支援のためのゲーム制作

制作期間

2021/04-

制作体制

個人制作

使用ツール

p5.js
ml5.js

Purpose
- 目的 -

指文字の練習を遊びながらできるWebタイピングゲームを制作する。

Background
- 背景 -

指文字とは、聴覚障がい者のコミュニケーションツールであり、50音を手の形や動きに対応させたものである。
私は大学入学から現在までの5年間、学内の聴覚障がい学生の授業支援ボランティアを続けており、聴覚障がい学生と手話や指文字を使いながらコミュニケーションをとっていた。
しかし、新型コロナウイルスの流行に伴い、支援がオンラインに移行したために、手話や指文字を使う機会が減少し、学習した手話や指文字をほとんど忘れてしまった。
そこで、気軽に自宅でも指文字が学習できるWebタイピングゲームを制作しようと考えた。

現状では未だゲーム制作には至っておらず、javascriptベースの指文字認識システムを開発中である。

System
- システム -
  • Mediapipe Hands
    骨格トラッキング

    骨格トラッキング
  • p5.js + ml5.js
    関節の角度を取得 + 機械学習

    深層学習による指文字の識別
  • Mediapipe Handsの骨格トラッキングで取得した指の、各関節の角度を計算し学習させる。

Prototype
- プロトタイプ -

プロトタイプとして、動きのある指文字「の」「も」「り」「を」「ん」を除いた45音を学習させ、識別テストを行った。

結果として、45音のうち41音は識別できた。

Future Prospects
- 課題と展望 -

・動きのある指文字の認識システムを構築、実装する。
・ゲームの内容・UIを制作する。