- 目的 -
指文字の練習を遊びながらできるWebタイピングゲームを制作する。
2021
テーマ
指文字学習支援のためのゲーム制作制作期間
2021/04-
制作体制
個人制作
使用ツール
p5.js
ml5.js
指文字の練習を遊びながらできるWebタイピングゲームを制作する。
指文字とは、聴覚障がい者のコミュニケーションツールであり、50音を手の形や動きに対応させたものである。
私は大学入学から現在までの5年間、学内の聴覚障がい学生の授業支援ボランティアを続けており、聴覚障がい学生と手話や指文字を使いながらコミュニケーションをとっていた。
しかし、新型コロナウイルスの流行に伴い、支援がオンラインに移行したために、手話や指文字を使う機会が減少し、学習した手話や指文字をほとんど忘れてしまった。
そこで、気軽に自宅でも指文字が学習できるWebタイピングゲームを制作しようと考えた。
現状では未だゲーム制作には至っておらず、javascriptベースの指文字認識システムを開発中である。
Mediapipe Hands
骨格トラッキング
p5.js + ml5.js
関節の角度を取得 + 機械学習
Mediapipe Handsの骨格トラッキングで取得した指の、各関節の角度を計算し学習させる。
プロトタイプとして、動きのある指文字「の」「も」「り」「を」「ん」を除いた45音を学習させ、識別テストを行った。
結果として、45音のうち41音は識別できた。
・動きのある指文字の認識システムを構築、実装する。
・ゲームの内容・UIを制作する。