This content originally appeared on Twilio Blog and was authored by Anthony Lazaro
この記事はAnthony Lazaroがこちらで公開した記事(英語)を日本語化したものです。
ビデオ会議では、音声品質が最も重要です。実際、オンライン会議の参加者の81%は、高品質な音声を会議の重要な成功要件とみなしています (1) 。しかし、オンライン会議がどこからでも行われる世界では、きれいな音声をキャプチャすることは困難です。結局のところ、背景ノイズは発生するものなのです。
この問題を解決するために、TwilioはKrisp Technologies Incと提携し、AIベースのノイズキャンセル機能をリリースしました。この機能は、Twilio VideoサービスのGroupルームをご利用の全てのお客様にプラグインとして提供されます。
ノイズキャンセル機能を使えば、ビデオアプリケーションで直接、最高クラスの音声体験を提供できます。以下のデモ(2分弱)をご覧になり、ノイズキャンセル機能を実際に体験してください。
Twilio Video ノイズキャンセル機能のデモ
音声品質が重要な理由
音声品質は、ユーザーのビデオ体験に影響を与えるだけでなく、会議の効果を向上させるという研究結果が出ています。以下はその例です。
- 音質は信頼性に直結する - 脳が情報を理解するのに苦労すると、その情報を否定する傾向が強くなるという研究結果があります。
- 背景ノイズは集中力を低下させる - 背景音や低レベルの騒音は、しばしば人々の集中力を削ぎ、ストレスの原因となります。(Zoom疲れという言葉を聞いたことがありますか?)
- 映像品質よりも音声品質が重要 - 2022年の調査研究により、音声品質は体験全体の知覚品質に影響を与えることが明らかになりました。よって、低品質の音声は体験全体の知覚を低下させ、これが「ざらざらした感じのビデオをクリアな音声であれば見る」が「HDビデオであっても音声品質が低ければ見るのをやめる」といったことにつながる理由です。
ここで悪いニュースは、音声は誰でも、どこからでも発生する可能性があるということです。たった一人の悪質な背景ノイズが通話全体を台無しにしてしまうのです。このような理由から、Twilio Video向けのKrisp音声プラグインを構築することに決めました。
Twilio Videoのクラス最高のノイズキャンセル機能
Krisp.aiは、ノイズキャンセル技術のリーダーとして、毎月750億分以上のノイズを浄化しています。Krisp.aiの技術(英語記事、日本語記事)は、背景音と人間の声を区別することができる最先端のディープニューラルネットワーク(DNN)をベースに構築されています。
Krisp Audio Plugin for Twilio Videoは、この技術を基に開発されました。この軽量な音声プロセッサは、クライアントアプリケーション内で動作し、非常にクリアな音声を作成することができます。このプラグインを使用することで、Twilio Videoベースのビデオアプリケーションでは背景ノイズを除去し、ノイズキャンセル機能で高品質な音声体験を提供できます。
Twilioを活用し、Indeed社はオールインワンのオンライン面接プラットフォームを構築することで、採用プロセスを変革しています。毎年20万人以上のオンライン面接を行うIndeedは、アクセシビリティを高め、求職者と面接官の両方にとってのオンライン体験を向上させるために、AIを活用したノイズキャンセルのソリューションを必要としていました。
“ノイズキャンセル機能は、環境やデバイスに関係なく、求職者と面接官による公平な面接体験を提供できるため、当社のオンライン面接プラットフォームには欠かせない機能です。"
- Indeed社、プロダクトマネージャー、コニー・チェン氏
Twilio Videoのノイズキャンセル機能のメリット
- 業界をリードする音声品質 - Zoom、Webex、Microsoft Teams、Google Meet、Krispなどを比較したSigmaConnectivityの調査では、Krispは標準評価データセットで最も高い平均G-MOSスコアを獲得しています。
- 簡単な実装 - Krisp Plugin for Twilioは、わずか数行のコードでTwilio VideoのGroupルームにノイズキャンセル機能を簡単に追加できます。音声プラグインは複数のブラウザでサポートされており、Twilio SDKは自動的にブラウザのサポートをチェックし、プラグインがサポートされていない場合は通常の音声トラックをシームレスに返します。これにより、すべてのブラウザ、すべてのデバイスで最高の音声体験を実現するための簡単な実装が可能になります。
- 柔軟なプログラミング - SDKの音声プロセッサAPIにより、ビデオ通信中にKrisp音声プラグインを簡単に無効化・有効化することができます。このAPIにより、お客様やユーザーの音声を完全に制御できます。
「コミュニケーション業界のグローバルリーダーであるTwilio Inc.と提携し、Twilio Videoプラットフォームの数百万人のユーザーに当社のノイズキャンセル技術を提供できることを嬉しく思います。Krispは、Twilioのソリューションに自然にフィットする技術であり、デスクトップおよびモバイルデバイス向けで市場をリードするTwilio Videoで高度な音声・音質を補完します。お客様は必ずやその違いにお気づきになるでしょう。"
- Krisp社、Executive VP、ロバート・シェンフィールド氏
Twilio Videoにノイズキャンセル機能を追加する
JavaScript SDK 2.24.0(iOSとAndroid版は近日公開予定)で、パブリッシュされた音声トラックに対して動作する新たな音声プロセッサAPIが追加されました。この新APIでは、生の音声がTwilio Video用のKrisp音声プラグインを経由し、AIベースのノイズキャンセルを実現します。
このプラグインは、Twilio SDKと一緒にロードされ、マイクと音声エンコーダー間の音声パイプラインの一部として、前処理と呼ばれる段階で実行されます。この段階では、AIベースのノイズキャンセルアルゴリズムが、犬の鳴き声、工事の騒音、クラクション、コーヒーショップでの会話など、不要な音を除去する処理を実行します。
前処理の後、音声はエンコードされ、エンドユーザーに配信されます。重要なのは、すべてがお手元のデバイス上で行われ、遅延はほとんどなく、メディアがサーバーに送信されることもないという点です。
具体的には以下の2つのステップで、ノイズキャンセルを追加できます。
ステップ1:プラグインをインストールする
プラグインはnpmで@twilio/krisp-audio-pluginとして公開されています。npmで以下のようにインストールします。
npm install @twilio/krisp-audio-plugin
インストールしたら、Webサーバを通じて ./node_modules/@twilio/krisp-audio-plugin/dist/ の内容をホストする必要があります。ブラウザが更新されたときに古いバージョンを使用しないようにするために、ホストされたパスにプラグインのバージョン番号を追加することをお勧めします。
ステップ2:アプリケーションの設定
アプリケーションでは、ローカル音声トラックを作成する際に noiseCancellationOptionsにkrispを使用することを指定する必要があります。また、アプリケーションサーバーがKrispファイルをホストしているパスを指定する必要があります。(前述のステップ1を参照。)
以下の例では、Webサーバーの /noise_cancellation_plugin/1.0.0/dist においてファイルをホストしていると仮定しています。
const { connect, createLocalAudioTrack } = require('twilio-video');
// Create a LocalAudioTrack with Krisp noise cancellation enabled.
const localAudioTrack = await createLocalAudioTrack({
noiseCancellationOptions: {
sdkAssetsPath: 'path/to/hosted/krisp/audio/plugin/dist',
vendor: 'krisp'
}
});
if (!localAudioTrack.noiseCancellation) {
// If the Krisp audio plugin fails to load, then a warning message will be logged
// in the browser console, and the "noiseCancellation" property will be set to null.
// You can still use the LocalAudioTrack to join a Room. However, it will use the
// browser's noise suppression instead of the Krisp noise cancellation. Make sure
// the "sdkAssetsPath" provided in "noiseCancellationOptions" points to the correct
// hosted path of the plugin assets.
} else {
// Join a Room with the LocalAudioTrack.
const room = await connect('token', {
name: 'my-cool-room',
tracks: [localAudioTrack]
});
if (!localAudioTrack.noiseCancellation.isEnabled) {
// Krisp noise cancellation is permanently disabled in Peer-to-Peer and Go Rooms.
}
}
/**
* Enable/disable noise cancellation.
* @param {boolean} enable - whether noise cancellation should be enabled
*/
function setNoiseCancellation(enable) {
const { noiseCancellation } = localAudioTrack;
if (noiseCancellation) {
if (enable) {
// If enabled, then the LocalAudioTrack will use the Krisp noise
// cancellation instead of the browser's noise suppression.
noiseCancellation.enable();
} else {
// If disabled, then the LocalAudioTrack will use the browser's
// noise suppression instead of the Krisp noise cancellation.
noiseCancellation.disable();
}
}
}
今すぐお試しください
Twilio Videoのノイズキャンセル機能は、Twilio VideoのJavaScript SDK 2.24.0で導入され、Twilio Video iOSおよびAndroid SDKにおいても近日中にリリースされる予定です。この機能は、GroupルームのすべてのTwilio Videoユーザが利用できます。追加情報については、開発者向けドキュメントをご確認ください。
コミュニケーションの未来を創造しましょう!
This content originally appeared on Twilio Blog and was authored by Anthony Lazaro
Anthony Lazaro | Sciencx (2022-09-05T14:14:09+00:00) Twilio VideoにAIノイズキャンセル機能が登場！. Retrieved from https://www.scien.cx/2022/09/05/twilio-video%e3%81%abai%e3%83%8e%e3%82%a4%e3%82%ba%e3%82%ad%e3%83%a3%e3%83%b3%e3%82%bb%e3%83%ab%e6%a9%9f%e8%83%bd%e3%81%8c%e7%99%bb%e5%a0%b4%ef%bc%81/
Please log in to upload a file.
There are no updates yet.
Click the Upload button above to add an update.