このアプリケーションを使用すると、FaceTimeビデオ通話に字幕を付けることができます

革新的なアプリケーションが数か月間市場に出回っており、FaceTimeの使用がますます多くのユーザーに拡大しています。聴覚障害者や障害者のことを考えて、開発者のJordi Bruinは2021年11月、字幕やライブ翻訳を作成できるアプリケーション「Navi」 をこのビデオ通話アプリで公開しました。

海外旅行中にレストランのメニューをスキャンして翻訳できるiOSアプリ「Cibo」の作成者でもあるBruinは、訪問中にNaviを作成することにしました WWDC 。

SharePlayセッションに参加した後、障害を持つ人々の間でトランスクリプトを作成するアイデアを実現する方法を想像し始めました。Naviは、FaceTimeで以下のようなユーザーを支援します。

-FaceTime通話用のインスタントキャプション。

-受信した字幕を20以上の言語にリアルタイムで翻訳します。

-ピクチャー・イン・ピクチャー（PiP）を中心に構築された経験。

-macOSでは、字幕はビデオウィンドウに直接スーパーインポーズされます。

-キャプションはAppleのサーバーを介してエンドツーエンドで暗号化されます。

ナビはどのように作られましたか

前述のとおり、Ciboも所有しているBruinは、どのようにしてNaviを作成したかを9to5Macに説明した。

「2021年4月、私はハッカソンに参加し、MixtoTelephonyUpLink APIでプレイし、ミュートされた人がテキスト読み上げ機能を使って通話中に話せるようにしました。WWDC の間に SharePlay セッションを見て、文字起こしのアイデアを再び現実的にするためにイメージシェイプを作成し始めました。」

主な目的は、聴覚障害やその他の障害を持つ人々が簡単にビデオ通話に参加できないようにすることでしたが、このアプリは、同じ言語を話さないが、リアルタイムで参加したい人にも役立ちます。

「SharePlay は、開発者がFaceTime通話でユーザー間で情報をやり取りするための非常にシンプルな API を追加します。これらはすべて暗号化され、非常に低いレイテンシーです。TestFlightには500人以上の人がいましたが、テストでは全員に電話をかける必要があったので、もっと良い方法を見つけなければならなかったので、結局はさまざまなデバイスから何度もFaceTimeを使わなければなりませんでした。そして、ライブ翻訳機能を使っていて、私が話せない言語の人と会話できるとき、それは今でも私を驚かせます。それは時々本当にSF映画のように感じます」とBruinは付け加えました。

この2つのオーディエンスを念頭に置いて、開発者はまだ聴覚障害やその他の障害を持つ人々のためにNaviを改善し続けたいと考えています。「TestFlight の聴覚障がいのあるユーザーの中には、すでに非常に便利だと聞いたことがあるので、何よりも、特定のニーズに合わせてアプリをより良く機能させるために何か追加できるものがあれば、その人から話を聞きたいです。」

Naviは翻訳済みなので、FaceTimeビデオ通話でも使えます

現在、「Navi」では、ポーランド語、トルコ語、タイ語、ウクライナ語、ドイツ語（オーストリア）、フランス語（スイス、フランス、カナダ）、フィンランド語、ベトナム語、イタリア語、スウェーデン語、ドイツ語、日本語、ポルトガル語（ブラジル、ポルトガル）、スペイン語（メキシコ、スペイン）、ノルウェー語、デンマーク語、クロアチア語、中国語（伝統的で簡略化された）。

ただし、2022年以降、不明な日付に、ユーザーは無制限のサービスを楽しむために1回限りの支払いを行う必要があります。動作を確認するには、次の簡単な手順に従ってください。

1。FaceTime通話を開始します。

2。ナビを開きます。

3、「キャプションを有効にする」 というボタンを押して、FaceTime通話で他の人を招待します。

3。SharePlay への招待を承諾すれば完了です。

読み続ける