2021年01月24日

LiDARスキャナを利用して人と物を検出する視覚支援アプリ「Super LiDAR Version 1.0」 with iOS 14.3 VoiceOver

このアプリは、iPhone 12 Pro, iOS 14.3 VoiceOver環境での読み上げ操作を確認しています。

仕様しているアプリのバージョンは1.0です。


LiDARスキャナとAIを利用して、背面カメラに写る物体の名前の読み上げ、人の検出、
そこまでの距離を読み上げてくれるアプリです。
また、人がマスクを着用しているかどうかも見極めてくれます。

フィードバックの方法は、音声読み上げのほかに、ハプティックフィードバック(振動)と、サウンドの高低が用いられています。
また、VoiceOverがオフの環境でも上記三つの方法でフィードバックしてくれます。

インターネット接続無しでも使えるのが特徴です。

アプリのメニュー言語は英語。
物体の名前なども英語で読み上げられます。

「Super Lidar - Lidar for Blind」
https://apps.apple.com/jp/app/super-lidar-lidar-for-blind/id1543706309






__________目次の先頭へもどる__________

■1 アプリを初めて開くと


インストール直後にアプリを開くと、案内文と共に、
メールアドレスをタイプするテキストフィールドが表示されます。
「Enter mail」のテキストフィールドにメールアドレスをタイプした後、
「Please enter a valid email address」ボタンを実行します。
「GET STARTED」ボタンを実行します。

カメラの仕様を許可するかどうかの問い合わせが表示されるので、
「OK」ボタンを実行します。

案内文が表示されます。
「OK」ボタンを実行して次に進むと、そこがメイン画面となります。



__________目次の先頭へもどる__________

■2 メイン画面のレイアウト


検出モードがオンの状態です。

画面には二つのボタンが表示されています。
左上端には、
「Open Menu」ボタン。
設定メニューやアプリの紹介などを表示します。

画面の最下行で中央部には、
「Stop Detecting」ボタン。
ここを実行すると、検出モードは停止します。
再開するには、同じ場所にある
「Start Detecting」ボタンを実行します。



__________目次の先頭へもどる__________

■3 使ってみる


検出中はカメラで見回すだけのシンプル操作です。

音声で読み上げられる種類は、
・物体の名前とそこまでの距離
・人の存在
・人がマスクをしているかどうか

サウンドの高低で表現しているのは、物体までの距離です。
物までの距離が遠いと高くなり、
近いと低い音になります。

ハプティックフィードバック(振動)が表現しているのは、物体の大きさです。
物体のサイズが大きいと、振動は連続的で強くなり、
小さいと振動はなくなります。



__________目次の先頭へもどる__________

■4 設定メニュー


「Open Menu」ボタンを実行すると、
検出する物の種類を選ぶことができます。

  • 「Detect People」 人の検出

  • 「Detect Environment」 周囲の物体の検出

  • 「Detect All」 すべてを検出


どれかを選択状態(selected)にします。
デフォルトでは「Detect All」が選ばれています。

「back」ボタンを実行すると、メイン画面に戻ります。



__________目次の先頭へもどる__________

■5 関連情報


開発チームの関係者とのインタビューがPodcastで公開されています。
Coming Soon! Super Lidar ? The First Lidar App for iPhone 12 Pro Series. LiDAR ? Light Distance and Ranging from the Makers of Supersense AI for the Blind
https://blindabilities.com/?p=6408

開発チームのウェブサイトは、
Mediate - Research and Innovation Lab
https://www.mediate.tech/

Super Lidar - Lidar for Blind | AppleVis
https://www.applevis.com/apps/ios/productivity/super-lidar-lidar-blind



__________目次の先頭へもどる__________

posted by @voice_of_i at 23:19| Comment(0) | 生活に役立つアプリ | このブログの読者になる | 更新情報をチェックする

2021年01月21日

写真を指でなぞって探索、LiDARスキャナで空間も探索、マイクロソフトのAIが活躍する視覚支援アプリ「Seeing AI Version 4.0」 with iOS 14.3 VoiceOver

このアプリは、iPhone 12 Pro, iOS 14.3 VoiceOver環境での読み上げ操作を確認しています。

使用しているアプリのバージョンは4.0です。


iOSデバイスのカメラを利用することで、現段階で可能な視覚支援の機能を盛り込んだアプリになっています。

VoiceOverがオフの環境でも、認識結果を読み上げさせることができます。

2017年7月にアメリカなどでリリースされましたが、2018年5月17日に日本でもリリースされました。

毎年5月の第3木曜日は、
Global Accessibility Awareness Day (GAAD)
グローバル・アクセシビリティ・アウェイクネス・デー、
世界各地でアクセシビリティを啓発するイベントが開催されていますが、それに合わせてのタイミングで日本でもダウンロードできるようになりました。

しばらくの間はメニュー言語が英語のままでした。
日本語ローカライズされたバージョンがリリースされたのは2019年12月3日、この日は
国際障害者デー - Wikipedia
https://ja.wikipedia.org/wiki/%E5%9B%BD%E9%9A%9B%E9%9A%9C%E5%AE%B3%E8%80%85%E3%83%87%E3%83%BC
Microsoft社はこの日に合わせてのリリースを準備していたと思われます。

さらに2020年12月には「LiDARスキャナ搭載端末向けに「世界」チャンネルが追加されました。


ところで、このアプリの興味深い展は「写真の探索」という機能が搭載されていることです。
2019年3月に追加された機能です。

写真の上を指でなぞると、指の下にある物体の名前を読み上げてくれます。
まるでアップルマップの地図データを指で触っているのと同じような、建物や物体の位置関係や名前を具体的にイメージさせてくれます。
写真との新しい付き合い方を教えてくれるアプリだと言えます。

App名: Seeing AI、デベロッパ: Microsoft Corporation
https://itunes.apple.com/jp/app/seeing-ai/id999062298?mt=8


これまでにも同じような機能を持つアプリはいくつもリリースされていますが、このアプリは複数の機能を一つにまとめたようなマルチツールになっています。

チャンネルを切り替えることで、以下の機能が利用できます。
いくつかの機能はインターネットに接続していなくても利用できますが、基本的にはインターネットにつながっていないと認識処理は始まりません。

  • 「短いテキスト」
    リアルタイムに文字を認識します。


  • 「ドキュメント」
    書類を撮影して文字認識します。


  • 「製品」
    商品のバーコード読み取り。


  • 「人物」
    人物の顔の表情や年齢を教えてくれます。
    また、顔の情報を登録しておくことで、その人の名前を確認できます。


  • 「通貨」
    紙幣を認識します。


  • 「シーン、プレビュー」
    風景の情報や、物体の名前を教えてくれます。


  • 「色、プレビュー」
    色を認識します。


  • 「ライト」
    光の明るさを音で表現します。


  • 「世界、プレビュー」
    LiDARスキャナ搭載のデバイスでのみ表示されます。
    空間の様子を認識します。



インストールして初めてアプリを起動すると、案内文が表示されます。
また、チャンネル機能を初めて利用する時にも、案内文が表示されます。
「閉じる」ボタンを実行することで、その案内メッセージを閉じることができます。







__________目次の先頭へもどる__________

■1 トップ画面のレイアウト


利用するチャンネル、機能によって、画面内に表示されるボタンの種類は異なります。
基本的なボタンは、

「メニュー」ボタン
画面の左上端に配置されています。
各種設定を行えます。

「クイックヘルプ」ボタン
画面の右上端に配置されています。
使用しているチャンネル機能の説明を表示します。

「チャンネル選択のピッカー」
画面の最下行に配置されています。
1本指の上スワイプか下スワイプで切り替えます。


その他にもチャンネル画面によって関連したボタン類が表示されます。
たとえば、

「アナウンスの一時停止」ボタン
読み上げを停止するためのボタンです。
読み上げを再開するには、
「アナウンスの再開」ボタンを実行します。

「撮影」ボタン
写真を撮影するボタンです。



__________目次の先頭へもどる__________

■2 各チャンネルの紹介


チャンネルを切り替えることで、複数の機能を使い分けることができます。
画面の最下行に配置されているピッカーの箇所で1本指の上スワイプ、または下スワイプを行います。



__________目次の先頭へもどる__________

■2-1 リアルタイムで文字認識する「短いテキスト」


カメラをかざす操作で文字を認識します。
撮影ボタンを押す必要はなく、リアルタイムにOCR処理してくれます。

設定メニューの中にあるフラッシュライトの自動点灯機能をオンにしておけば、暗い環境では自動的にライトがオンになります。



__________目次の先頭へもどる__________

■2-2 写真を撮影して文字認識する「ドキュメント」


紙に書かれているような広い範囲の文字を認識させる時に利用します。
手動で「撮影」ボタンを押すこともできますが、紙の四隅を認識して自動撮影する機能も搭載されています。

書類の四隅を認識すると、
「そのまま」と音声で案内された後に、自動的に写真が撮影されます。

すべての四隅がフレームに入っていない場合には、
「端が表示されていません」
「左上隅が表示されていません」
などとアドバイスしてくれるので、それを参考にしてiPhoneと書類との距離を変えてみたり、距離はそのままでiPhoneを水平
方向にずらしてみるとよいでしょう。

認識結果が表示されている画面では、データの保存や共有をすることができます。



__________目次の先頭へもどる__________

■2-3 バーコードを読み取る「製品」


商品のバーコードを読み取って、その商品情報を表示します。
カメラをかざしながらバーコードを見つける操作となり、撮影ボタンを押す必要はありません。



__________目次の先頭へもどる__________

■2-4 顔認識、表情を伝えてくれる「人物」


人物の顔写真を撮影します。
顔の表情や推測される年齢を教えてくれます。

顔認識機能では、顔の写真を登録しておくことで、その人の名前を確認できます。
カメラでかざすだけの操作となります。

この画面では、カメラを背面にするか前面にするかを切り替えることができます。
「前面カメラに切り替え」ボタンが表示されていれば、今は背面カメラを使用する状態です。



__________目次の先頭へもどる__________
■2-4-1 顔認識させるために顔写真を登録する

チャンネルが「人物」の状態では、顔写真と名前を登録しておくことで、カメラで見まわしたときにその人の顔を見つけると、名前を読み上げてくれます。

顔写真の登録をするには、
「顔認識」ボタンを実行します。

「撮影」ボタンを実行して、顔写真を3枚撮影します。
ファインダーに顔が入っているかどうかはVoiceOverの読み上げで確認できます。
撮影が終わると、名前をタイプするテキストフィールドが表示されます。
「done 完了」ボタンを実行して登録完了です。

顔写真を撮影する画面では、表側のカメラを利用するようにデフォルト設定されていますが、背面カメラに変更することは可能です。

さて、登録が完了して次の画面では、顔写真を追加するための「追加」ボタンと、登録した顔につけられた名前が一覧表示されています。

登録済みの顔写真を削除するには、名前の箇所で1本指の下スワイプか上スワイプを行って、「削除」という項目に合わせて1本指ダブルタップで実行します。
名前の箇所を実行すると、名前の変更ができます。


「戻る」ボタンを実行すると、
「撮影」ボタンと「顔認識」ボタンの並ぶ画面に戻ります。
最下行にはチャンネル切り替えをするためのピッカー項目です。

登録した顔を認識させる方法は、カメラで見回すだけの操作なので、ボタンを実行する必要はありません。



__________目次の先頭へもどる__________

■2-5 紙幣を識別する「通貨」


紙幣を認識します。
現時点では、
・インドルピー
・イギリスポンド
・カナダドル
・ユーロ
・アメリカドル
・日本円
が認識可能です。
複数の国の紙幣を同時に認識することはできず、目的の紙幣を指定しておくことが必要になります。

カメラをかざしておくだけの操作となり、撮影ボタンを押す必要はありません。

紙幣の種類を指定するには、
「メニュー」ボタン、「設定」ボタン、「通貨」ボタンを実行して、目的の紙幣を選択状態にします。



__________目次の先頭へもどる__________

■2-6 風景描写や物体認識をする「シーン、プレビュー」


風景の情報や、物体の名前を教えてくれます。
「撮影」ボタンを実行して撮影します。

認識結果が表示されている画面では、データの保存や共有をすることができます。
さらに「写真の探索」ボタンを実行することで、写真の中の物の位置関係を知ることができます。



__________目次の先頭へもどる__________
■2-6-1 写真の情報を指で探ってみる「写真の探索」

写真の中に写っている物の位置関係を、指でなぞりながら知ることができます。
「シーン、プレビュー」のチャンネルで撮影した写真の認識結果が表示されている画面には、「写真の探索」ボタンが表示されています。

このボタンを実行すると、画像の解析が始まり、認識された物体の数を読み上げます。
そして、指でなぞれるモードに切り替わります。

画面に1本指でタッチして、そのまま指を滑らせます。
指の下に物があれば、その名前が読み上げられます。
スワイプの操作では物体の名前を確認することはできないので、タッチか、ドラッグします。

ちなみに1本指で右か左にスワイプして読み上げられる項目は、
「戻る」ボタン
「テキストブロックの非表示」ボタン
「クイックヘルプ」ボタン
この三つです。

写真を探索するモードでは、画像に写っている文字も認識して表示させます。
もし文字情報が邪魔であるということであれば、
「テキストブロックの非表示」ボタンを実行します。

文字情報を表示させたければ、
「テキストブロックの表示」ボタンを実行します。


気を付けることとして、
写真を探索するモードでは、VoiceOverのジェスチャーはほとんど反応しなくなるようです。
1本指のダブルタップは動作します。

このモードから抜け出すには、「戻る」ボタンを実行します。



__________目次の先頭へもどる__________

■2-7 色を識別する「色、プレビュー」


色を認識します。
カメラをかざしておくだけの操作となり、撮影ボタンを押す必要はありません。



__________目次の先頭へもどる__________

■2-8 光の明るさを音で表現してくれる「ライト」


光の明るさを音の高さで表現します。
カメラをかざしておくだけの操作となり、撮影ボタンを押す必要はありません。

明るいと高いビープ音が聞こえ、暗いと低い音になります。



__________目次の先頭へもどる__________

■2-9 LiDARスキャナを利用した近接センサーや空間認識の「世界、プレビュー」


LiDARスキャナ搭載のデバイスにのみ表示されるチャンネルです。
背面カメラで見回すと、映像の中の物体の名前を読み上げます。
ステレオヘッドセットを装着すると、Microsoftの3Dサラウンド、空間オーディオの機能により、物の位置を表現します。ドアが右側にあれば、右耳から「ドア」という読み上げ音声が聞こえます。

画面内で利用できるボタンが三つあります。
  • 「近接センサー」ボタン 画面の最上行で「クイックヘルプ」ボタンの左側

  • 「空間の概要」ボタン 画面下部で左側

  • 「ビーコンを配置」ボタン 画面下部で右側




__________目次の先頭へもどる__________
■2-9-1 近接センサー

「近接センサー」ボタンを実行して選択状態にすると、LiDARスキャナを利用して物体までの距離をハプティックフィードバック、振動で表現してくれます。
物に近づくと振動は強くなり、遠ざかると弱くなります。
3メートル以上離れると振動はなくなります。

近接センサーが検知できるのは直線状の物だけで、目の前に細い棒が立っていても、LiDARスキャナの光線がそこに当たっていなければ、検知することはできません。
バーチャル白杖を使っているような感覚で、iPhoneを角度を変えながら空間を探索するとよいでしょう。



__________目次の先頭へもどる__________
■2-9-2 空間の概要

「空間の概要」ボタンを実行すると、それまでに空間認識して検知された物体の名前をすべて読み上げます。



__________目次の先頭へもどる__________
■2-9-3 ビーコンを配置

特定の物体を探す時に役立つ機能です。
選択肢の中から探したい物体の名前を選んで機能を開始すると、空間オーディオの効果音を聞きながら、その物体を探し当てることができます。

1. 「ビーコンを配置」ボタンを実行します。

2. ピッカー操作で探したい物体を選びます。
選べる物体は、これまでの空間認識で検出された物に限られます。
たとえばボトルを選んでみることにします。

3. 「開始」ボタンを実行します。

4. ボトルのある方向から効果音が聞こえます。
ステレオヘッドセットを装着している場合、左側から音が聞こえたら、ボトルは左側にあるということです。
カメラをその方向に向けて、効果音が正面から聞こえるようにします。

5. 効果音が正面から聞こえたら、そのまま前に進みます。
ボトルまでの距離が約50センチの近さになると、
ファンファーレのような効果音が鳴り、
発見しましたという合図です。

そろりそろりと手を伸ばして物体がそこにあるかを確認してみましょう。

探索中、その物体までの距離は表示されており、
画面の下部で中央です。

途中で探索を終了したい場合は、
「ビーコンを削除」ボタンを実行します。

また、近接センサーを選択状態にしながら探索することもできます。



__________目次の先頭へもどる__________

■3 カメラロールから写真を読み込んで認識させる


すでに写真がカメラロールに保存されている場合、それを取り込んで認識処理させることができます。
「写真の探索」機能も利用できるので、たとえば旅先で撮影した写真をなぞりながら新しい思い出を見出すこともできるでしょう。

画面の左上端にある「メニュー」ボタンを実行して、「設定」の中に入り、「写真の参照」ボタンを実行します。
カメラロールに保存されている写真の一覧を表示します。
最新の日付の写真から順に並べたい場合は、設定のメニューの中で切り替えできます。

目的の写真の箇所を実行することで、認識処理が始まります。
風景描写だけではなく、文字が含まれていればその認識結果を表示します。
写真データに情報が登録されていれば、場所や日付も表示されます。


認識結果の画面では、
共有、再分析、削除、「写真の探索」のボタン類が表示されています。



__________目次の先頭へもどる__________

■4 共有機能を利用して写真を認識させる


アプリによっては共有機能を利用して、画像データをSeeing AIに送って認識処理させることができます。

たとえば、写真アプリで任意の写真を表示させている状態では、画面の左下端に「共有」ボタンが配置されています。
「共有」ボタンを実行して表示されるメニューの中から、
「Seeing AIでの認識」
を実行します。

メニューの中に該当の項目が入っていなければ、
「共有」、「その他」、「Seeing AIでの認識」の切り替えボタンをオンにする必要があります。



__________目次の先頭へもどる__________

■5 カメラロールに保存する


チャンネルによっては、撮影した写真をカメラロールに保存することができます。
「写真の保存」ボタンを実行すると、カメラロール内の「Seeing AI」というアルバムに保存されます。

ただし、認識結果の文字列が写真の名前として表示されるわけではありません。



__________目次の先頭へもどる__________

■6 その他のアプリで表示されている画像を認識処理させてみる


インターネット上のウェブページを閲覧していたり、他のアプリでニュース記事を閲覧していると、画像を含んでいるコンテンツの多さに気づかされます。
それらの画像の内容が代替テキストで説明されていれば、視覚障害のあるユーザにとっては少しは意味あるものとなりますが、説明なしの画像であればやり過ごすしかない情報となってしまいます。

しかし、ニュース記事の場合、本文に書かれていない文字情報が画像の中には含まれていたり、あるいは本文のテキストよりも役に立つ情報が入っていることもあります。
それらの画像の中の文字や風景をSeeing AIアプリで説明させることができれば、有用な情報源になってくれることでしょう。

アプリによっては、用意されている共有メニューから直接Seeing AIアプリに画像データを受け渡して、認識処理させることができます。
また、共有メニューからSeeing AIアプリに送ることのできない場合は、カメラロールに写真や画像を保存することにより、前述の方法、
  • ■3 カメラロールから写真を読み込んで認識させる

  • ■4 共有機能を利用して写真を認識させる

  • これらの手順で認識処理します。

    風景の説明と文字認識の結果は画面上に表示されて、
    「写真の探索」ボタンが実行できます。



    __________目次の先頭へもどる__________
    ■6-1 メールに添付された写真を認識させてみる
    写真などの画像データが添付されたメールを受信すると、本文を表示させた画面から添付ファイルを選んで開くことができます。
    本文の最後の箇所で添付ファイル名の一覧を確認することができます。

    VoiceOverは「添付ファイル」という読み上げに続いてファイルの名前を読み上げ、最後にデータ形式を読み上げます。
    「イメージ」とよみあげられたら、それは画像データです。
    ちなみにイメージという読み上げを確認できたら、3本指でシングルタップしてみると、iOS内で認識された画像の簡単な説明をVoiceOverは読み上げます。

    • 1. イメージの添付ファイル名の箇所を実行します。
      画像が表示されます。


    • 2. 画面の下端にある「共有」ボタンを実行します。


    • 3. メニューの中から「Seeing AIでの認識」ボタンを実行します。
      Seeing AIの画面に切り替わり、認識結果が表示されます。
      「閉じる」ボタンを実行すると、前の画面に戻ります。




    __________目次の先頭へもどる__________

    ■6-2 Safariで表示されている画像を認識させてみる、カメラロールに保存して


    ウェブブラウザであるSafariアプリでウェブページを閲覧中、表示されている画像は直接Seeing AIアプリに受け渡すことができません。
    したがって、その画像ファイルをカメラロールに保存するかダウンロードする必要があります。

    ウェブページに表示されている画像の箇所では、VoiceOverは項目名につづけて「イメージ」という要素名を読み上げます。
    ローター・カテゴリーを「イメージ」に合わせると、画像の箇所を見つけやすいです。

    画像の箇所をフォーカスさせている状態で、1本指のダブルタップ&ホールドを行います。
    あるいは、1本指のトリプルタップを行います。
    コンテクストメニューが表示されるので、その中から
    「写真に追加」ボタンを実行します。
    これでカメラロールに画像データを保存できます。

    保存した画像データを削除するには、
    写真アプリを開いて該当の写真を削除してください。



    __________目次の先頭へもどる__________

    ■6-3 Safariで表示されている画像を認識させてみる、ファイルをダウンロードして


    画像の箇所をフォーカスさせている状態で、1本指のダブルタップ&ホールドを行います。
    あるいは、1本指のトリプルタップを行います。
    コンテクストメニューが表示されるので、その中から
    「写真に追加」ボタンを実行すればカメラロールに保存できるわけですが、もし「写真に追加」というメニューが見つからなければ、画像ファイルをダウンロードすることで操作できます。

    • 1. 選択肢の中から、
      「リンク先のファイルをダウンロード」ボタンを実行します。
      これで画像ファイルをiOSのファイルアプリ内の「ダウンロード」フォルダの中に保存できます。


    • 2. ダウンロードされたファイルを表示させるには、Safariの最上部でアドレス入力欄が表示されているメニューバーの右端にある「ダウンロード」ボタンを実行します。


    • 3. ダウンロードされた最新のファイルが表示されるので、そのファイル名の箇所を実行します。


    • 4. 画面の下端にある「共有」ボタンを実行します。


    • 5. メニューの中から「Seeing AIでの認識」ボタンを実行します。
      Seeing AIの画面に切り替わり、認識結果が表示されます。
      「閉じる」ボタンを実行すると、前の画面に戻ります。



    ダウンロードした画像データを削除するには、
    ファイルアプリを開き、ダウンロードという名前のフォルダを開き、該当の画像データを削除してください。



    __________目次の先頭へもどる__________

    ■6-4 Twitterの発言に添付されている画像を認識させる


    公式のTwitterアプリでTwitterの発言を閲覧している場合、投稿に添付されている画像をSeeing AIで認識させることができます。
    寫眞アプリで画像を認識したのと同じような手順です。

    まずは公式Twitterアプリでタイムラインを表示します。
    画像が添付されている投稿があれば、その箇所を1本指のダブルタップで実行して、その発言の詳細画面を表示します。
    「風景 イメージ」とVoiceOverが読み上げる箇所があれば、それはSeeing AIで認識できる画像です。

    イメージの箇所を実行すると、画像がフルサイズで表示されます。
    画面の右上端にある「その他のアクション」ボタンを実行すると、共有メニューが表示されるので、「Seeing AIでの認識」の箇所を実行します。
    メニューの中に該当の項目が入っていなければ、
    「アクションを編集」を実行して、「Seeing AIでの認識」の切り替えボタンをオンにする必要があります。オンにした後は「完了」ボタンを実行します。



    __________目次の先頭へもどる__________

    ■7 各種設定


    画面の左上端の「メニュー」ボタンを実行して、「設定」ボタンを実行してみましょう。

    • 「通貨」ボタン
      紙幣を識別するチャンネルで、どの紙幣を認識するか指定します。


    • 「Siri ショートカットの構成」ボタン
      Siriで呼び出せるようにします。


    • 「Haptic Touch ショートカットの構成」ボタン
      3D Touch、あるいはコンテクストメニューの表示内容を編集します。


    • 「チャンネルの並べ替え」ボタン
      ピッカー操作で切り替えるチャンネルの項目順序を変更できます。
      また、不必要な項目を非表示にすることもできます。


    • 「明るさの管理」のオン・オフ切り替え保弾
      写真の撮影時、自動的にLEDフラッシュをオンにするかしないかを指定します。


    • 「ボイスの選択」ボタン
      VoiceOverがオフの環境で認識結果を読み上げる時、その声の種類を選択します。


    • 「音声速度」の調整スライダー
      VoiceOverがオフの環境において、読み上げ音声の早さを指定します。


    • 「最新の写真を最初に表示」のオン・オフ切り替えボタン
      カメラロールに保存してある写真を表示するとき、ここがオンになっていると、最新の写真から順に表示します。




    __________目次の先頭へもどる__________

    ■8 簡単な操作でアプリの機能を呼び出せる「Siriショートカットとコンテクストメニュー」


    目の前にある書類の内容を文字認識したいときの操作は、iPhoneのロックを解除して、ホーム画面からアプリを開き、チャンネルを「短いテキスト」に合わせるという手順になります。
    この手順を簡略化することができます。



    __________目次の先頭へもどる__________

    ■8-1 Siriで呼び出すための「Siriショートカット」


    Siriにリクエストするフレーズを登録することで、Siriから確実にアプリの機能を呼び出すことができます。
    iPhoneのロックを解除しておく必要がありますが、ホーム画面からでも、他のアプリを表示している状態でも、Siriにそのフレーズをリクエストすれば直接アプリが起動して、たとえばリアルタイムに文字認識してくれるモードになってくれます。

    設定するには、「メニュー」、「設定」と進み、「Siri ショートカットの構成」ボタンを実行します。

    次のアクティビティにフレーズを割り当てることができます。
    • ・短いテキストを認識する

    • ・ドキュメントを認識する

    • ・製品を認識する

    • ・人物を認識する

    • ・通貨を認識する

    • ・シーンを認識する

    • ・色を認識する

    • ・ライトを認識する

    • ・新しい人物を認識する

    • ・写真の参照


    たとえば「短いテキストを認識する」というアクティビティをSiriショートカットで利用できるようにしてみましょう。

    「短いテキストを認識する」の箇所を実行します。
    テキストフィールドにはSiriにリクエストしたいフレーズをタイプします。
    デフォルトのフレーズのままでよい場合は編集する必要はありません。
    「Siriに追加」ボタンを実行すれば完了です。
    Siriにそのフレーズで話しかけて、そのアクティビティが実行されるかどうか確かめてみてください。
    声ではなく、タイプ入力でSiriにリクエストする設定にしている場合は、そのフレーズをタイプします。

    アクティビティの一覧が表示されている画面では、すでにSiriショートカットに追加されている項目は「選択中の」という読み上げがされます。
    項目の箇所を実行すると、フレーズの変更や、Siriショートカットから削除することができます。



    __________目次の先頭へもどる__________

    ■8-2 ホーム画面からコンテクストメニューでアクティビティを呼び出す


    ホーム画面上でSeeing AIアプリのアイコンを1本指でダブルタップして実行すると、そのままアプリが起動します。
    そうではなく、コンテクストメニューを表示させて実行したいアクティビティを選んで開くことができます。

    ホーム画面でSeeing AIアプリのアイコンをフォーカスさせたら、1本指のダブルタップのジェスチャーではなく次の操作を行います。
    3D Touch対応のiPhoneであれば、画面を押し込みます。
    iOS 13において、3D Touchに対応していない端末の場合は、1本指でダブルタップ&ホールドします。効果音や振動が確認できたら、指を画面から離します。ホールドの時間が長いと、約2秒ほど指をタッチしたままにしているとホーム画面の編集モードに切り替わってしまうので気を付けてください。

    コンテクストメニューが表示されたら、実行したい項目名を1本指でダブルタップします。すると、Seeing AIはそのチャンネルの状態で起動します。


    設定するには、「メニュー」、「設定」と進み、「Haptic Touch ショートカットの構成」ボタンを実行します。
    Haptic Touchという表現は3D Touchの代わりに使われています。


    現在コンテクストメニューに表示されるアクティビティの一覧と、追加できるアクティビティの一覧を確認できます。
    ここでは、メニューに表示させたいアクションの追加、削除、並べ替えの操作ができます。

    「挿入」ボタンを実行すれば、そのアクティビティがコンテクストメニューに表示されます。
    削除するには、項目名の箇所で1本指の上スワイプか下スワイプを行い、「削除」という読み上げが聞こえたら1本指でダブルタップして実行します。



    __________目次の先頭へもどる__________

    ■9 関連情報


    Microsoftの紹介ページは、
    Seeing AI | Talking camera app for those with a visual impairment
    https://www.microsoft.com/en-us/seeing-ai/

    Seeing AI に日本語版が新登場
    https://www.microsoft.com/ja-jp/ai/seeing-ai

    スマホが目の代わりになる「Seeing AI」が日本語対応。アプリ開発時のこだわりをシャイフ氏に聞く(西田宗千佳) - Engadget 日本版
    https://japanese.engadget.com/2019/12/03/seeing-ai/?guccounter=1

    失明の開発者が語る「テクノロジーは平等な世界への扉」、「Seeing AI」日本語対応インタビュー【国際障がい者デー】 | Business Insider Japan
    https://www.businessinsider.jp/post-203459

    Eyes On Success with hosts Peter and Nancy Torpey (1915 Seeing AI App from Microsoft (Apr. 10, 2019))
    http://podcast.EyesOnSuccess.net/eos_1915-seeing-ai-app-from-microsoft-apr-10-2019_podcast.mp3

    第5回 iPhoneのアプリ紹介 @Seeing A I(シーイング エーアイ) AOCR - ニポラチャンネル YouTube
    https://www.youtube.com/watch?v=jvm1V83ckDQ



    __________目次の先頭へもどる__________

    posted by @voice_of_i at 15:02| Comment(0) | 生活に役立つアプリ | このブログの読者になる | 更新情報をチェックする

    人までの距離を教えてくれる拡大鏡の機能「人の検出」 with iOS 14.3 VoiceOver

    この機能は、iPhone 12 Pro, iOS 14.3 VoiceOverの読み上げ環境で操作を確認しています。

    これは、LiDARスキャナ搭載のデバイスでのみ利用できる機能です。
    夜間の写真撮影の制度を上げたり、ARのために活用することが期待されている機能がLiDARスキャナです。
    光線を発信して物体までの距離を測定できるので、視覚障碍ユーザの間では屋内ナビゲーションシステムに利用できないものかと注目されています。

    iOSに標準で組み込まれている「拡大鏡」機能ですが、iOS 14.2からは人までの距離を検出できる機能が追加されました。

    VoiceOverがオフの環境でも、音、読み上げ、振動によるフィードバックは利用できます。

    iPhoneの拡大鏡を使用して周りの人を検出する - Apple サポート
    https://support.apple.com/ja-jp/guide/iphone/iph41bdfe6c7/14.0/ios/14.0






    __________目次の先頭へもどる__________

    ■1 視覚障害ユーザが「人の検出」機能に期待すること


    目が見えていなくても、白杖を使ったり、ガイドドッグといっしょであれば、街中の独り歩きはできます。
    そのためには歩行訓練や盲導犬とペアになるためのトレーニングを受ける必要がありますが…
    最近ではナビゲーションアプリを利用することで、知らない場所へも一人でストレスなく出かける人が増えてきているようです。
    しかし、困る場面は多々あるのも事実。

    その一つが、人の列の最後尾を見つけられないということです。
    列の端がどこなのか分からないために、間違えて列の途中に割り込んでしまうことがあったりします。
    また、列が先に進んでいるのに気づかずに、取り残されてしまうことはよくあります。
    あるいは、列に並んでいるつもりが、まったく関係のない人たちの群れにまぎれているだけで、無意味な時間を過ごしてしまったという経験を持つ人も多いでしょう。

    「人の検出」機能を利用すれば、目の前に人がいるのかどうか、その人までの距離を確認できるわけです。
    列の最後尾を見つけられるかもしれません。
    人との感覚をあけておかなければならない場面でも役立ちそうです。
    前からやって来る人を颯爽とよけたり、
    点字ブロックの上で佇んでいる人たちにぶつからないで済みそうです。



    __________目次の先頭へもどる__________

    ■2 ジェスチャで「人の検出」をオンにする


    まずは拡大鏡の画面を呼び出す必要があります。
    いくつかの方法があります。
    ・「設定」アプリを開いて、「アクセシビリティ」、「拡大鏡」をオンにして、アクセシビリティショートカットで呼び出す。
    ・コントロールセンターから呼び出す。
    ・Siri ショートカットを作成する。
    ・背面タップで呼び出す。
    など。

    アクセシビリティ設定の中で「拡大鏡」をオンにすると、必然的にアクセシビリティショートカットに「拡大鏡」が割り当てられてしまいます。
    こうなってしまうと、ホームボタン、あるいはサイドボタンのトリプルクリックでVoiceOverをオン・オフしたいユーザにとっては不都合です。

    そんな人のためにVoiceOver環境では新しいジェスチャが加わりました。
    ●「4本指のトリプルタップ」
    人の検出をオンにします。
    ホーム画面からも、他のアプリを表示していても
    4本指で3回タップすることで拡大鏡の画面に切り替わり、自動的に「人の検出」機能がオンになります。

    背面カメラを向けた方向に人がいると、
    その人までの距離を、音、読み上げ、振動でフィードバックしてくれます。
    カメラで見回すだけの操作などで、とてもシンプルに使えます。



    __________目次の先頭へもどる__________

    ■3 拡大鏡を呼び出してから「人の検出」をオンにする


    拡大鏡の画面を表示させた状態では、
    「人の検出」ボタンが表示されています。
    ここを実行すると、人の検出機能がオンになります。

    もし「人の検出」ボタンが表示されていなければ、拡大鏡の中の設定メニューを開いて追加する必要があります。
    「設定」ボタンを実行します。
    画面の左下よりに配置されています。
    その他のコントロールを追加するために、
    「人の検出を挿入」ボタンを実行してください。
    次に
    「完了」ボタンを実行します。



    __________目次の先頭へもどる__________

    ■4 「人の検出」画面のレイアウト


    画面の最上行には「終了」ホ段があります。

    画面の最下行には人までの距離、または人が検出されたかどうかを文字で表示しています。

    画面の真ん中には、VoiceOverがイメージと読み上げる要素が二つあります。
    VoiceOverの画面認識機能をオンにしている場合、そのイメージである映像を言葉で表現してくれようとします。
    VoiceOverカーソルでイメージの箇所をフォーカスしたままにしておくと、映像が変化する旅に説明読みをします。
    「A person with white shoes is standing on the yellow block」
    などのように。
    現時点では日本語による説明読みはしてくれませんが、
    リアルタイムに風景描写してくれる可能性を秘めています。



    __________目次の先頭へもどる__________

    ■5 「人の検出」を終了する


    「人の検出」がオンになっている画面では、左上端に
    「終了」ボタンが配置されています。
    ここを実行すると、検出機能はオフになり、拡大鏡の画面に切り替わります。

    また、ホーム画面を表示する操作でも終了できます。



    __________目次の先頭へもどる__________

    ■6 「人の検出」機能のカスタマイズ


    「人の検出」に関する設定メニューは拡大鏡の画面から表示させます。

    「人の検出」がオンになっている画面からは「終了」ボタンを実行して、
    拡大鏡の画面に切り替えます。
    「設定」ボタンを実行します。
    画面の左下よりに配置されています。

    メニューの中から、
    「人の検出」ボタンを実行します。

    ・距離の単位(メートルかフィート)
    ・音程距離の調整(ピッカー操作)
    ・フィードバックの方法(音、読み上げ、触覚)

    変更したら、一つ前の画面に戻って
    「完了」ボタンを実行しておきます。



    __________目次の先頭へもどる__________

    ■7 使用するにあたっての注意点


    明るい環境でないとうまく反応しないようです。
    また、ゆっくりとiPhoneを動かすようにというアドバイスも再生されます。

    ところで、人の検出を利用するには、iPhoneの背面カメラを探索したい方向に向ける必要があります。
    電車内やお店の中では、盗撮行為をしていると勘違いされてしまうかもしれません。
    相手を不安にさせてしまう恐れもあります。

    利用シーンを選びながら使いたいものです。

    また、目の前に複数の人がいても、この機能で検出できるのは一人だけです。




    __________目次の先頭へもどる__________

    ■8 関連情報


    【豆知識】iPhone 12 ProとiPad ProのLiDARスキャナで、人との距離を測る - iをありがとう
    https://arigato-ipod.com/2021/01/knowledge-magnifier-detect-people-nearby.html


    __________目次の先頭へもどる__________
    posted by @voice_of_i at 14:20| Comment(0) | 生活に役立つアプリ | このブログの読者になる | 更新情報をチェックする

    特定の物体までの距離を教えてくれるLiDARスキャナ対応アプリ「What'sOverThere」 with iOS 14.3 VoiceOver

    このアプリは、iPhone 12 Pro, iOS 14.3のVoiceOver 読み上げ環境で操作を確認しています。
    仕様しているアプリはバージョン番号が案内されていません。

    LiDARスキャナ搭載のデバイスでのみ動作するアプリです。
    2020年3月に発売されたiPad Proシリーズ、
    2020年10月に発売されたiPhone 12 ProシリーズにはLiDARスキャナが搭載されています。

    「What'sOverThere」
    https://apps.apple.com/jp/app/whatsoverthere/id1505077334

    LiDARスキャナを利用することで、夜間での写真撮影の制度を上げたり、ARへの応用が期待されています。
    被写体までの距離を測定できるという特徴があるので、
    視覚障害ユーザの間では、物体までの距離測定ができるということで、
    屋内ナビゲーションなどへの活用が注目されています。

    iPhone 12 Pro / Pro Maxに搭載の『LiDARスキャナ』とは?その仕組みや機能について解説|TIME&SPACE by KDDI
    https://time-space.kddi.com/ict-keywords/20201204/3020

    このアプリでは、背面カメラからの映像の中の物体をタップすることで、
    その物体の名前と距離を読み上げてくれます。
    判別できる物体は7種類です。
    • - 天井

    • - ドア

    • - 床

    • - 椅子

    • - テーブル

    • - 壁

    • - 窓


    画面内に表示されるボタンは二つ。
    EnglishボタンとJapaneseボタン。
    言語の切り替え用です。

    実際の操作はVoiceOverをオフにする必要があります。
    背面カメラを測定したい方向に向けて、
    画面を1本指でシングルタップします。
    「2.5メートル先に壁があります」
    などのように読み上げられます。
    音声はiOS内蔵のKyokoです。

    判別できない物体の場合は、
    「1.8メートル先に何かがあります」
    と教えてくれます。

    アプリによっては物体を自動検出してその名前を読み上げてくれるものもありますが、
    このアプリでは、手動でタップする必要があります。

    たとえばドアまでの距離を知りたい場合、
    画面が見えている人であれば、画面内に写っているドアをタップすることになります。
    見えていない人の場合、適当に画面をタップすることになります。
    しかし、
    ・カメラをいちいち動かさなくてもよい
    ・その空間のレイアウトを知るのに役立つ
    などのメリットが考えられます。

    今後はLiDARスキャナ機能を利用した視覚障害ユーザ向けのアプリはいくつもリリースされるでしょうが、
    このアプリはその先駆けであると言えます。

    posted by @voice_of_i at 10:44| Comment(0) | 生活に役立つアプリ | このブログの読者になる | 更新情報をチェックする

    2021年01月01日

    言葉を発声しにくくても意思を伝える時に役立つVOCAコミュニケーションアプリ「Voice4u AAC Ver.3.11.0」 with iOS 14.3 VoiceOver

    このアプリはiPhone XS, iOS 14.3のVoiceOver環境で読み上げ操作を確認しています。
    使用しているアプリのバージョンは3.11.0です。

    画面上に並ぶ絵カードのアイコンをタッチすることで、それに関連付けられた音声が再生されます。
    言語障害などで声を出しにくい人が、自分の意思を伝えるのに活用できます。

    180の絵カードが用意されていますが、自分で作成して追加することもできるようになっています。
    声は、アプリ内蔵の音声かiOS内蔵の音声を選べますが、人の声を録音して割り当てることもできます。

    「Voice4u AAC 絵カードアプリ」をApp Storeで
    https://apps.apple.com/jp/app/voice4u-aac-%E7%B5%B5%E3%82%AB%E3%83%BC%E3%83%89%E3%82%A2%E3%83%97%E3%83%AA/id340814570





    __________目次の先頭へもどる__________

    ■1 絵カードを選んで声を出す


    「閲覧」タブの画面で、「カテゴリー」が選択状態であれば、画面のほぼ全体にカテゴリー名が表示されています。
    カテゴリー名を実行すると語句、具体的なフレーズが表示されるので、目的のフレーズの箇所を実行します。
    すると、そのフレーズが再生されます。



    __________目次の先頭へもどる__________

    ■2 トップ画面のレイアウト


    アプリのトップ画面では、最下行に三つのタブ切り替えボタンが並んでいます。
    左から、
    • 「閲覧」タブ
      カテゴリーからフレーズを選んで再生します。


    • 「追加」タブ
      フレーズを追加します。


    • 「その他」タブ
      設定メニューなどを表示します。




    __________目次の先頭へもどる__________

    ■2-1 閲覧画面


    画面の最上行には四つのボタンが並んでいます。
    左から、
    • 「追加」ボタン
      カテゴリーを追加します。

    • 「カテゴリー」ボタン

    • 「お気に入り」ボタン

    • 「編集」ボタン



    「カテゴリー」ボタンが選択されていると、次のカテゴリー名が表示されます。
    • ・洗面所/お風呂

    • ・気持ち/行動

    • ・食べ物

    • ・一般

    • ・挨拶

    • ・ヘルプ/お願い

    • ・場所

    • ・もの

    • ・はい/いいえ

    • ・ひと

    • ・緊急

    • ・未分類


    デフォルトでは、タイル式に表示されていますが、リスト表示に切り替えることもできます。
    「その他」タブの画面で「アプリの設定」ボタンを実行し、
    「タイル状に表示」のオン・オフ切り替えボタン
    ここをオフにするとリスト形式で表示されます。

    カテゴリー名の箇所を実行すると、具体的なフレーズが表示されます。
    フレーズの箇所を実行することで、音声が再生されます。
    音声の種類は一括変更と個別変更ができるようになっています。
    一括変更するには、
    「その他」タブの画面で「アプリの設定」ボタンを実行し、
    「常に自動音声を使う」のオン・オフ切り替えボタン
    オンになっていると、iOS内蔵のKyokoの声になります。
    オフになっていると、アプリ内蔵の声になります。



    __________目次の先頭へもどる__________

    ■2-2 カテゴリーとフレーズを編集する


    カテゴリー一覧が表示されている画面で、「編集」ボタンを実行すると編集モードに切り替わります。
    「完了」ボタンを実行すると、編集モードは終了します。

    編集モードでカテゴリー名の箇所を実行すると、
    • ・削除

    • ・名前の変更

    • ・画像の変更

    ができます。


    フレーズが一覧表示されている画面で、「編集」ボタンを実行すると編集モードに切り替わります。
    「完了」ボタンを実行すると、編集モードは終了します。
    編集モードでフレーズの箇所を実行すると、
    • ・削除

    • ・語句の変更

    • ・音声の変更

    • ・カテゴリーの変更

    • ・お気に入り登録

    • ・コピー

    • ができます。



      __________目次の先頭へもどる__________

      ■2-3 新しいカテゴリーを追加する


      カテゴリー名が一覧表示されている画面で、「追加」ボタンを実行します。
      名前と画像を登録できます。



      __________目次の先頭へもどる__________

      ■2-4 新しいフレーズを追加する


      画面の最下行にタブ切り替えボタンが表示されている画面で、「追加」タブを実行します。

      • 1. 語句(フレーズ)をタイプして、「次へ」ボタンを実行します。


      • 2. 「edit button small」ボタンを実行すると、四つの項目を編集できる画面です。
        ・ごく(フレーズ)
        ・音声
        ・画像
        ・カテゴリー


      • 3. 声を録音するには、「再生」ボタンの箇所から1本指で右スワイプを1回行なって
        「button record」ボタンを実行すると、録音が始まります。
        「edit button small」ボタンを実行します。
        録音を停止するには、同じ箇所を実行しますが、項目名は
        「button stop record」ボタン
        に変更されています。
        「button play」ボタンを実行すると、録音された音声を再生できます。
        「保存する」ボタンを実行すると、音声が保存されて、一つ前の画面に戻ります。


      • 4. カテゴリーを指定するには、
        「Unknown」の箇所から1本指で右スワイプを1回行なって
        「edit button small」ボタンを実行します。
        ピッカー操作でカテゴリーを選択します。
        「保存する」ボタンを実行すると、一つ前の画面に戻ります。


      • 5. 「保存する」ボタンを実行して、
        「了解」ボタンを実行して追加の操作は完了です。



      録音した声を再生させるには、
      「その他」タブの画面で「アプリの設定」ボタンを実行し、
      「常に自動音声を使う」のオン・オフ切り替えボタン
      ここがオフになっている必要があります。



      __________目次の先頭へもどる__________

      ■3 設定メニュー


      画面の最下行にタブ切り替えボタンが表示されている画面で、「その他」タブを実行します。
      「アプリの設定」ボタンを実行します。

      「編集機能をロックする」のオン・オフ切り替えボタン
      オンにしておくと、間違えて削除されることを防ぐために編集禁止にできます。

      「フルスクリーンにする」のオン・オフ切り替えボタン
      オンにしておくと、語句(フレーズ)の箇所を実行した時に音声は再生されず、画像が大きく表示されます。
      イメージの箇所を実行すると、音声が再生されます。

      「タイル状に表示」のオン・オフ切り替えボタン
      リスト表示したい場合はオフにします。

      「常に自動音声を使う」のオン・オフ切り替えボタン
      オンになっていると、iOS内蔵のKyokoの声になります。
      オフになっていると、アプリ内蔵の声になります。
      録音した音声を再生させたい場合はオフにしておきます。

      「自動的に言語を選択」のオン・オフ切り替えボタン
      オフにしておくと、「言語」ボタンを実行することで、特定の言語を指定できます。



      __________目次の先頭へもどる__________
    posted by @voice_of_i at 22:41| Comment(0) | コミュニケーション関連のアプリ | このブログの読者になる | 更新情報をチェックする