2021年05月18日

話した言葉を見える化、文字に変換してくれるコミュニケーション支援アプリ「UDトーク Version 158」 with iOS 14.5 VoiceOver

このアプリは、iPhone 12 Pro, iOS 14.5のVoiceOver環境で読み上げ操作を確認しています。
使用しているアプリのバージョンは158です。


スマートフォンが普及したことにより、コミュニケーションの手段は広がってきています。
このアプリは、聞き取った言葉を見える化する、文字にしてくれるということで、聴覚障害ユーザに情報を伝える手段として様々な場所で活用されています。
また、議事録作成、講演会、会議などでもその威力を大いに発揮しているようです。

有料アドオンの他、ビジネス向けの法人アカウント用に購読制のプランが用意されています。
ここでは無料プランでの利用について紹介しています。


VoiceOverユーザにとっても使いやすいアプリとなっています。
目の見えない・見えにくい人と、耳の聞こえない・聞こえにくい人とが会話をする場合にも、十分役立ってくれることでしょう。
また、VoiceOverの点字出力機能を利用することで、
盲ろう社、視覚と聴覚の二つの障害を併せ持つユーザとのコミュニケーション支援にも大きな役割を果たしてくれると期待できます。
残念ながらiOSの日本語点字出力は、分かち書きが中途半端なために、マス開けのない日本語点字に慣れている人でないと使いづらいものになっています。


UDトークはその名の通り、会話のユニバーサルデザインを目指して開発されています。
・聴覚障碍ユーザとのコミュニケーション
・翻訳機能を利用して外国語ユーザとのコミュニケーション
・やさしい漢字に変換することで世代間コミュニケーション

「UDトーク」
https://apps.apple.com/jp/app/ud%E3%83%88%E3%83%BC%E3%82%AF/id666188441

UDトークアプリで目の前の人と会話する場合、1台の端末を共有しながら使うこともできます。
また、複数の端末があれば、お互いの画面に自分の話した言葉を表示させることができます。この場合、相手が目の前にいなくても、遠隔地にいる相手との会話ができるということでもあります。
Androidアプリもリリースされています。

UDトーク - コミュニケーション支援アプリ - Google Play のアプリ
https://play.google.com/store/apps/details?id=jp.shamrock_records.udtalk


UDトークは多機能なアプリなので、ここでは基本的なことについてのみ紹介しています。







__________目次の先頭へもどる__________

■1 初期設定


インストール直後にアプリを開くと、マイクへのアクセスを許可するかどうかの問い合わせが表示されます。
つづいて、利用規約に同意します。

「タップして利用規約に同意する」ボタンを実行します。

初期設定の画面が表示され、名前と使用する言語を選択します。
名前の欄にはiPhoneで使われている名前が自動的に挿入されています。
名前については、設定メニューの中でも編集できます。

「タップしてUDトークを始める」ボタンを実行します。



__________目次の先頭へもどる__________

■2 トップ画面のレイアウト


画面の最下行には、二つのタブ切り替えボタンが表示されています。

  • ・ホーム
    主にこの画面を利用することが多いです。

  • ・トーク
    トークの一覧を閲覧できます。


「ホーム」タブの画面では、画面の左上端に「設定」ボタンが表示されています。
他のボタンは縦に並んで表示されています。
実際の画面では、それぞれのボタンに長い説明文が付記されているので、読み上げ音声を最後まで聞かないとボタンの役割がわかりにくいかもしれません。

  • ・トークに参加する ボタン
    公開されたトークのQRコードをカメラで読み取って参加します。

  • ・いますぐトークを公開する ボタン

  • ・招待されたトークを確認する ボタン

  • ・自分のユーザID

  • ・トークを始める ボタン
    話した言葉を音声認識を使って文字化し自動翻訳で多言語に翻訳します。

  • ・自分が話す言語の設定 ボタン

  • ・トークの内容を聴く ボタン
    トーク設定内の「音声をファイルで保存する」をオンにするとあとから音声を再生して聞くことができます。




__________目次の先頭へもどる__________

■2-1 アプリの設定メニュー


アプリ全般の設定メニューと、トークの設定メニューが用意されています。

アプリ全般の設定メニューは、
トップ画面で、
「設定」ボタンを実行すると、次のメニューが表示されます。

  • ・閉じる ボタン
    画面の右上端に配置されています。

  • ・アプリのバージョン番号

  • ・利用規約「一般」 ボタン

  • ・個人情報保護方針 ボタン

  • ・法人向けプラン ボタン

  • ・アドオンの購入 ボタン

  • ・単語登録アカウント ボタン

  • ・タップして写真を選択

  • ・接続先(サーバー)として起動する オン・オフ切り替えボタン

  • ・音声のモニタリング
    しない、遅らせる、バランス、高速

  • ・「トークを始める」の会話ログの自動消去
    しない、トーク開始時、発話開始時、非アクティブ

  • ・「タップして話す」ボタンのスワイプ動作 オン・オフ切り替えボタン

  • ・外部マイクのボタンを検出する オン・オフ切り替えボタン

  • ・NG単語を有効にする オン・オフ切り替えボタン

  • ・保存済みのユーザーIDの編集 ボタン




__________目次の先頭へもどる__________

■3 トークを始める


では、目の前の人が話している言葉を文字化したい場合の操作手順を紹介します。
二つの方法が用意されており、
マイクとキーボードから入力された言葉を文字化してくれます。
手書きによりイラストとしての表示もできるようです。

「ホーム」タブの画面で、
「トークを始める」ボタンを実行します。

この画面では、最上部と下部にボタン類が配置されています。
画面の大部分には聞き取った言葉が文字化されて表示されます。

この画面に表示されているボタン類は次の通りです。

画面の左上端に
・閉じる ボタン

画面の右上端に
・メニュー ボタン

画面の下から2行目には、左から、
・翻訳をミュート ボタン
・音声合成をミュート ボタン
・漢字かな変換をミュート ボタン

画面の最下行には、左から、
・手書き ボタン
・押して話す ボタン
・キーボード ボタン



__________目次の先頭へもどる__________

■3-1 マイクで聞き取る


マイクで収録を始めるには、
「押して話す」ボタンを実行します。
画面の最下行の中央、ホームボタンのあるiPhoneであれば、ホームボタンのすぐ上に配置されています。

すると、聞き取りモードになり、画面には聞き取った言葉が次々と文字化されて表示されます。古い内容から順に表示されるので、タイムラインの一番下に表示されているのが最新のテキストです。
ボタンの名前は、
「押して止める」ボタンに代わり、ここを実行すると、聞き取りモードは終了します。

聞き取りモードの間はVoiceOverの読み上げ音声も文字化されてしまうので、3本指の2回タップで読み上げ音声をミュートしておくとよいでしょう。

点字ディスプレイで変換された文字を確認する場合は、
「翻訳をミュートする」ボタン
あるいは、案内メッセージが表示されているかもしれませんが、
その箇所から1本指で左スワイプを1回、あるいは2回した箇所に最新の文字化されたテキストを確認できます。ここがタイムラインの最下行になります。
短いフレーズであれば、点字ディスプレイをパンする必要はありませんが、長いフレーズであればパンしたり、行スクロールさせて読む必要があります。

聞き取りモードを終了するのではなく、一時停止したい場合には、
標準ジェスチャーであれば1本指で2回タップします。
再開するには、同じ操作を行います。
VoiceOverがオンの状態では、
iOS 12以前は1本指の3回タップ、
iOS 13以降であれば1本指の4回タップを行います。


文字化されたテキストは編集することもできます。
編集したいテキストの箇所を実行すると、オンスクリーン・キーボードが表示されます。
その箇所がテキストフィールドに入っているので、編集可能です。
「閉じる」ボタンを実行すると、トークの画面に切り替わります。



__________目次の先頭へもどる__________
■3-1-1 翻訳機能を利用する

聞き取った言葉を文字化して、さらにそれらを翻訳させて表示することができます。
外国語を話す人と会話するときには、とても便利な機能です。

「翻訳をミュート」ボタンを実行します。
この時、機能がオンになったのかオフになったのか、VoiceOverの読み上げ音声では確認できません。
再び同じボタンを実行すると、翻訳モードはオフになります。

翻訳モードがオンの状態で、指定した言語との間で翻訳が可能であれば、
「押して話す」ボタンの箇所が、左右二つのボタンに分かれて表示されます。
この時、それぞれのボタンはVoiceOverでは「ボタン」としか読み上げてくれません。
左側は自分の話す言語、右側が翻訳される言語のボタンとなります。
デフォルトでは、左側が日本語、右側がアメリカ英語になっています。
翻訳される言語は変更可能です。

左側のボタンを実行すると、日本語の聞き取りモードになります。再び同じボタンを実行すると聞き取りは終わって翻訳された結果が表示されます。
右側のボタンを実行すると、外国語を聞き取るモードになり、同じボタンを実行すると聞き取りが終わって、日本語が表示されます。

自分が話した内容、つまり翻訳前の内容を確認するには、翻訳された箇所を実行します。すると、テキストフィールドが表示されて、自分の話した言葉がその中に入っています。
聞き取りがうまくなされておらず、意図しない翻訳になっているようであれば、そのテキストフィールド内を編集できます。編集後に「閉じる」ボタンを実行して前の画面に戻ると、翻訳結果も変更されています。



__________目次の先頭へもどる__________
■3-1-2 連続して会話を翻訳する

前述した方法で翻訳を続けていくこともできますが、会話をしている途中で聞き取りモードをその都度終了させるのは面倒に感じるかもしれません。
その場合には、次のような方法も利用できます。

  • 1. 左側のボタンを実行して日本語を話、画面には翻訳された外国語を表示する。
    この時、聞き取りモードを終了するために同じボタンを実行しない。


  • 2. 右側のボタンを実行して、外国語を話してもらう。画面には日本語に翻訳された内容が表示される。
    この時、聞き取りモードを終了するために同じボタンを実行しない。


  • 3. 日本語から外国語に翻訳するために、左側のボタンを実行する。


この作業を繰り返していくと会話を続けていくことができます。
聞き取りモードを終了するには、直前に話を開始したのと同じ側のボタンを実行します。
上の例では、左側のボタンを実行することで、聞き取りモードを終えることができます。



__________目次の先頭へもどる__________
■3-1-3 翻訳言語を変更する

画面の右上端に表示されている
「メニュー」ボタンを実行します。
「相手が話す言語の設定」ボタン、
あるいは
「自分が話す言語の設定」ボタンを実行します。

言語名の一覧が表示されますが、
国別、言語別、使用履歴に分類して表示することもできます。

言語名の前に
「」音声認識」と表記されている言語は、翻訳できる言語となります。
「読み上げ」と表記されている言語は、その言語の発音で発声させることのできる言語です。

もし「音声認識」の表記のない言語や、「読み上げ」とだけ表記されている言語を指定した場合は、翻訳機能は利用できません。


実は画面の右上端の「メニュー」ボタンを実行しなくても、言語を選択する画面を表示させることができます。
「翻訳をミュート」がオンになっている状態では、自分の話す言語と相手の話す言語のボタンが表示されていますが、
VoiceOverがオンの状態では、
1本指で2回タップ&ホールド、あるいは
iOS 13以降であれば1本指の3回タップを行います。



__________目次の先頭へもどる__________
■3-1-4 文字化したテキストを合成音声で読み上げさせる

聞き取りモードを開始すると、話している言葉が文字化されるわけですが、聞き取りモードを終了した時に、そのテキストを合成音声で読み上げさせることができます。
VoiceOverユーザの場合であれば、テキストの箇所をタッチすることで、文字化された内容を確認することができます。これはVoiceOverの音声で読み上げていることになります。
それとは別に内蔵されている合成音声が読み上げてくれるのです。
この機能はVoiceOverがオンでもオフの環境でも利用できます。

「音声合成をミュート」ボタンを実行します。
この時、機能がオンになったのかオフになったのか、VoiceOverの読み上げ音声では確認できません。
再び同じボタンを実行すると、読み上げモードはオフになります。

この機能を利用して便利だと考えられるシーンは、
たとえば、言葉を発することの難しい人や、文字を読むのが苦手な人が会話する場合、
キーボードやマイクからの言葉を文字化して、そのテキストを、合成音が読み上げてくれるので、スムーズな会話になることでしょう。

また、翻訳機能と組み合わせて使うことも可能です。
翻訳中に聞き取りモードを終了させるこどにより、それぞれの発音で読み上げてくれます。
ただし、読み上げ可能な言語は「メニュー」、「翻訳/音声認識/読み上げの言語設定」の中で、「読み上げ」と表記されている言語が対象です。

VoiceOverユーザの場合、注意しておくことがあります。
音声合成がオンの状態では、画面にタッチして文字化されたテキストを確認することはできません。
VoiceOverの音声でテキストを読み上げさせたい場合、あるいは点字ディスプレイに表示させたい場合は、必ず音声合成をオフにしてください。



__________目次の先頭へもどる__________
■3-1-5 文字化する日本語テキストをやさしく表記する

日本語を文字化すると、相手にとっては読みにくい漢字が含まれてしまうかもしれません。
それを避けるために、ひらがなだけで文字化したり、やさしい漢字だけに指定しておくことができます。

「漢字かな変換をミュート」ボタンを実行します。
すると、画面には次の選択肢が表示されます。
  • ・読み仮名を表示する オン・オフ切り替えボタン

  • ・大阪弁で表示する オン・オフ切り替えボタン

  • ・漢字かな交じり

  • ・すべてひらがな

  • ・小学一年生

  • ・小学二年生

  • ・小学三年生

  • ・小学四年生

  • ・小学五年生

  • ・小学六年生

  • ・中学生


目的の箇所を選択状態にします。
画面の右上端にある「閉じる」ボタンを実行して、前の画面に戻ります。

前述した方法で話ことばを文字化してみてください。
画面上のテキストを確認すると、指定したレベルの日本語表記に変更されています。



__________目次の先頭へもどる__________

■3-2 手書きする


「トークを始める」画面では、左下端に
「手書き」ボタンが配置されています。
このボタンを実行すると、指でなぞったものをイラストとして表示してくれます。
VoiceOverがオンの状態では利用できません。

「手書き」入力のだ面では、右下端に
「paint send」ボタンが用意されています。
このボタンを実行すると、一つ前の画面に戻り、手書きされたものが会話のタイムラインに表示されます。



__________目次の先頭へもどる__________

■3-3 キーボードからタイプする


「トークを始める」画面では、右下端に
「キーボード」ボタンが配置されています。

このボタンを実行すると、オンスクリーン・キーボードが表示されます。

「キーボード入力の言語設定」ボタンを実行すると、言語を切り替えできます。

タイプした後で、画面の左上端にある
「閉じる」ボタンを実行すると、一つ前の画面に戻り、タイプされた文字が会話のタイムラインに表示されます。

もし合成音声で読み上げるモードがオンになっていれば、「トークを始める」画面に切り替わった時点で、文字化されたテキストが読み上げられます。

翻訳モードとの併用も可能です。



__________目次の先頭へもどる__________

■3-4 トークの設定メニュー


トークした内容については、削除したり共有することができます。
合成音声で読み上げさせる場合の声の種類を変更したり、速度を調整することも可能です。
マイクで聞き取りモードの開始と終了時には、ビーブ音を鳴らすこともできます。

また、日本語音声エンジンの選択、文字サイズやハイライト表示などのカスタマイズもできます。

「トークを始める」画面の右上端には
「メニュー」ボタンが配置されています。
このボタンを実行すると、次の設定項目が表示されます。

  • ・閉じる ボタン

  • ・会話ログをメールで送信する

  • ・会話ログを共有する

  • ・会話ログを管理ツールに送信する

  • ・会話ログをクリアする

  • ・アプリ内辞書に単語を登録する ボタン

  • ・辞書を選択する ボタン

  • ・相手が話す言語の設定 ボタン

  • ・自分が話す言語の設定 ボタン

  • ・トークを公開する ボタン

  • ・外部字幕サービス連係

  • ・フルスクリーン表示をする

  • ・ARモードで表示する

  • ・シアターモードで表示する

  • ・フルスクリーン/プロジェクタ表示設定 ボタン

  • ・トーク設定 ボタン

  • ・読み上げ設定 ボタン

  • ・感じかな日本古設定 ボタン

  • ・法人アカウント選択 ボタン

  • ・ガイドを表示する ボタン


主要な項目についてのみ、次に紹介します。



__________目次の先頭へもどる__________
■3-4-1 トークをクリアする

トークのタイムラインをクリアすることができます。
「会話ログをクリアする」の箇所を実行します。



__________目次の先頭へもどる__________
■3-4-2 トークの内容を共有する

トークの内容のファイルを添付したメールを送信したり、その他の方法で共有することができます。

「会話ログをメールで送信する」
あるいは、
「会話ログを共有する」
の箇所を実行します。

txt, html, csv, csv_v2のファイル形式で共有できます。



__________目次の先頭へもどる__________
■3-4-3 聞き取りモードの開始と終了時にビープ音を鳴らす

収録の開始と終了はビープ音を鳴らして確認させるようにしておくと便利です。

「トーク設定」の箇所を実行します。

「ボタンを押した時に音を出す」のオン・オフ切り替えボタ
この箇所をオンにすると、ビープ音で確認できるようになります。



__________目次の先頭へもどる__________
■3-4-4 話者名、自分の名前を変更する

複数の人と会話をするときに、だれが話した内容なのかを分かりやすくしてくれます。
そのためにも自分の名前は適切なものに編集しておくとよいでしょう。

「トーク設定」の箇所を実行します。
話者名のテキストフィールドを編集できます。



__________目次の先頭へもどる__________
■3-4-5 トークを録音する

トークの内容を録音しておくことができます。

「音声をファイルで保存する」のオン・オフ切り替えボタン
この箇所をオンにすると、収録されたトークの内容を保存しておくことができます。

保存された録音ファイルは、トップ画面の
「トークの内容を聞く」ボタン
を実行することで、
・一覧表示
・再生
・削除
・共有
などの操作ができます。

再生と一時停止の操作については、VoiceOverの2本指の2回タップ、マジックタップのジェスチャーは利用できません。
再生速度は、
0.5, 0.75, 1.0, 1.5倍速を指定できます。



__________目次の先頭へもどる__________
■3-4-6 フルスクリーンモードについて

トークのタイムラインを表示する画面はフルスクリーンで表示させることができます。
「フルスクリーン表示をする」
の箇所を実行すると画面が切り替わります。

さて、フルスクリーン表示から元の表示画面に切り替える方法ですが、
標準ジェスチャーであれば1本指で2回タップします。
VoiceOverがオンの状態では、
iOS 12以前は1本指の3回タップ、
iOS 13以降であれば1本指の4回タップを行います。



__________目次の先頭へもどる__________
■3-4-7 合成音声の読み上げ設定

トークの内容は合成音声で読み上げさせることができますが、その声の速度や読ませ方について指定しておくことができます。

「読み上げ設定」ボタンを実行します。

トークの読み上げについて、どの端末で読み上げさせるかを指定できます。
・しない
・自分のみ
・相手のみ
・すべて

また、速度、ピッチ、声の種類を指定できます。
速度とピッチはピッカー操作で調整しますが、
上に配置されている項目が速度、下がピッチとなります。



__________目次の先頭へもどる__________

■4 複数の端末でトークを始める


2台以上の端末間でトークを始めるにはいくつかの方法が用意されています。

・QRコード読み取り
・URL送信
・ユーザIDの入力

また、公開モードを指定できるようになっています。
・発言と編集
・閲覧のみ
・編集のみ


ここでは、アプリのトップ画面からの操作を案内しますが、トークを開始した後でも
「メニュー」ボタンを実行して、
「トークを公開する」ボタンを実行することでも、
同じ手順で操作できます。



__________目次の先頭へもどる__________

■4-1 QRコードでつながる


アプリのトップ画面の「ホーム」タブで、
「いますぐトークを公開する」ボタンを実行します。
画面にはQRコードが表示されているので、相手の端末のカメラで読み取ってもらいます。

相手側の端末では、UDトークのトップ画面で、
「トークに参加する」ボタンを実行します。
カメラでQRコードを読み取ることで、トークに参加できます。



__________目次の先頭へもどる__________

■4-2 URLを送信する


アプリのトップ画面の「ホーム」タブで、
「いますぐトークを公開する」ボタンを実行します。
「メールで送信」ボタンを実行します。

URLとQRコードを転送できる共有メニューが表示されます。
たとえば、メールで送信する場合は、「メール」を選択して、相手に送ってください。

相手側の端末では、メールを開き、本文内のURLを実行します。
Safariでウェブページが開き、
「iOSでUDトークに参加する」のリンクを実行します。

確認メッセージが表示されるかもしれませんが、
UDトークのアプリが開いて、トークに参加できます。



__________目次の先頭へもどる__________

■4-3 ユーザーIDをタイプして招待する


アプリのトップ画面の「ホーム」タブで、
「いますぐトークを公開する」ボタンを実行します。
「招待する」ボタンを実行します。

テキストフィールドが表示されるので、相手のユーザーIDをタイプします。
「招待する」ボタンを実行します。

相手側の端末では、UDトークのトップ画面で、
「招待されたトークを確認する」ボタンを実行します。

これでトークに参加できます。



__________目次の先頭へもどる__________

■4-4 よく話す相手のユーザーIDを登録する


毎回ユーザーIDをタイプするのは手間になるので、登録しておくことができます。
アプリのトップ画面の「ホーム」タブで、
「いますぐトークを公開する」ボタンを実行します。
「招待する」ボタンを実行します。

「選択する」ボタンを実行します。
次の画面では、登録済みのユーザーIDとグループ名が表示されます。

新規に登録する場合は、
「追加」ボタンを実行します。
テキストフィールドにユーザーIDをタイプします。
「OK」ボタンを実行すると、登録完了です。

登録済みのユーザーを招待する場合は、
「選択する」画面の一覧から、そのユーザーIDかグループ名の箇所を実行します。
次の画面では、
「招待する」ボタンを実行します。

相手側の端末では、UDトークのトップ画面で、
「招待されたトークを確認する」ボタンを実行します。

これでトークに参加できます。



__________目次の先頭へもどる__________

■5 トークの内容をウェブで公開する


トークの内容をウェブページで公開することができます。
イベントなど、多くの人に見てもらうときに便利な機能です。

アプリのトップ画面の「ホーム」タブで、
「いますぐトークを公開する」ボタンを実行します。
つづいて、
「ウェブで公開」ボタンを実行します。

8桁以上のパスコードをタイプするテキストフィールドが表示されます。
自動的にパスコードが割り当てられていますが、好みの数字に編集できます。
「パスコードをセット」ボタンを実行して、次に進みます。

あるいは、パスコードが不要であれば、
「パスコードなし」ボタンを実行して、次に進みます。

「URLを共有する」ボタンを実行します。
選択肢の中から共有する方法を選びます。

「閉じる」ボタンを実行すると、トーク画面に切り替わります。
トークの内容は、トークを終了するまでウェブ上で公開されます。


URLを受け取った人は、ブラウザでそのURLにアクセスすることで内容を閲覧できます。



__________目次の先頭へもどる__________

■6 複数のトークを管理する、「トーク」タブ


トークによっては設定を変更する機会が多くなるかもしれません。
その場合には、トークを別々に管理すると手間が省けます。

アプリのトップ画面の「トーク」タブを選択状態にします。
ここでは、作成されたトークの名前が一覧表示されます。

「新しいトークを追加」ボタンを実行すると、トークの名前を入力する画面になります。
名前をタイプして
「OK」ボタンを実行して、一覧表示の画面に戻ります。

利用したいトークの名前の箇所を実行すると、トークを開始する画面に切り替わります。

一覧表示の画面で「編集」ボタンを実行することで、
トーク名の並べ替えや削除ができます。


__________目次の先頭へもどる__________

■7 Zoomミーティングに字幕を表示する


「外部字幕サービス連係」の機能を利用すると、ZoomミーティングにUDトークで文字化した内容を字幕として表示させることができます。

その方法については、別記事で紹介しています。

UDトークを使ってZoomに字幕を表示する: Voice of i -- 見えなくても使えるiPhone(ゲートウェイ)
http://voicei.seesaa.net/article/479750288.html?1611803947



__________目次の先頭へもどる__________

■8 関連情報


UDトーク | コミュニケーション支援・会話の見える化アプリ
http://udtalk.jp/

UDトーク オンラインマニュアル(日本語版)
https://teachme.jp/r/udtalk

UDTalk’s Online Manual(English ver.)
https://teachme.jp/r/udtalk_en


機能制限とアドオンについて | UDトーク
https://udtalk.jp/addons/



__________目次の先頭へもどる__________

posted by @voice_of_i at 12:59| Comment(0) | コミュニケーション関連のアプリ | このブログの読者になる | 更新情報をチェックする
この記事へのコメント