To Do リスト用にホーム アシスタントの音声コントロールを設定しました — 実際に機能したのは次のとおりです

To Do リストに何か追加したいことを思いついたのに、リストを開いてタスクを追加するまでに、それが何であったかを忘れてしまうことはよくあります。ホーム アシスタントを使用して、音声で To Do リストにタスクをすばやく追加できるかどうかを確認することにしました。

ホーム アシスタントの組み込みコマンドでは不十分な理由

デフォルトでは、ショッピングリストにタスクが追加されます。

クレジット: Adam Davidson / How-To Geek

ホームアシスタントには、アシストと呼ばれる独自の音声アシスタントがあります。デフォルトでは、Assist は LLM ではなく事前定義された文パターンに依存して、ユーザーの意味を解釈します。代わりに、ユーザーが話したコマンドと、事前定義された文テンプレートを含むファイルとの間の一致を検索します。

一致するものが見つかった場合は、適切なアクションが実行されますが、コマンドが事前定義された文のいずれかと一致しない場合、Assist はコマンドを理解できません。 「寝室の照明をオンにする」や「5 分間のタイマーを開始する」など、一般的なパターンを使用する基本的なスマート ホーム コントロールに適しています。

あらかじめ定義された文には、「X をリストに追加してください」などのコマンドが含まれています。残念ながら、このコマンドのデフォルトのアクションは、ネイティブのホーム アシスタントのショッピング リストに何かを追加することです。これは、Assist を使用して音声を使用して買い物リストに商品を追加する場合には非常に便利ですが、本来の目的には役立たないため、いくつかのカスタマイズを行う必要がありました。

Assist を LLM に接続すると、自然言語処理を使用してユーザーの意図を判断できるようになります。 LLM の助けを借りずにこれを機能させることができるかどうかを確認したかったのです。

ブランド

シードスタジオ

CPU

ESP32-S3R8

reSpeaker Lite 音声アシスタント キットには、2 つのマイク アレ​​イ、事前はんだ付けされた XIAO ESP32-S3 コントローラー、およびオンボードの自然言語理解、干渉キャンセル、音響エコー キャンセル、ノイズ抑制、および自動ゲイン制御を備えた XMOS XU316 オーディオ プロセッサが含まれています。 5W スピーカーを接続すると、ESPHome 経由でホーム アシスタントに接続できる独自のローカル音声アシスタントを作成できます。

ホーム アシスタントでカスタム センテンスを使用する

実際の話し方をティーチングアシスト

ユーザーの発言と適切なコマンドを照合するために Assist が使用する定義済みの文だけでなく、独自のカスタム文を設定することもできます。これにより、音声コマンドと照合するための追加の文が Assist に提供されます。たとえば、「重要なタスクに (タスク) を追加する」などのカスタム文を追加できます。

これらのカスタム センテンスは、一致したコマンドを特定のアクションに変換するインテント スクリプトによって参照できます。この場合、目的は、(タスク) データを使用して新しい To Do アイテムを作成することです。

これにより、To-Do リスト項目の追加をどのように依頼するかを正確に決定し、それらのタスクを適切なリストに追加する方法を正確に決定できます。これにより、独自のカスタム音声コマンドを作成し、それらのコマンドが何を行うかを定義できます。

文のバリエーションの生成がはるかに簡単になりました

AI チャットボットが面倒な作業をこなします

クレジット: Patrick Campanale / How-To Geek

カスタム センテンスを使用する場合の問題は、常に同じ方法で物事を要求するとは限らないことです。 「(タスク) を重要なタスクに追加する」という正確な表現を使用する必要があることを覚えていない可能性があり、代わりに「(タスク) を重要なタスク リストに追加する」などと言うかもしれません。この文はカスタム文のパターンと一致しないため、アシストはそれを認識せず、ToDo リストには何も追加されません。

この問題を解決する簡単な方法は、カスタム文にフレーズの言い方のバリエーションを追加することです。 「重要なタスク リストに (タスクを) 入れてください」という文をカスタム センテンスのリストに追加し、そのフレーズが認識された場合にインテント スクリプトに同じアクションを実行させることができます。その後、どちらかのフレーズを言って、ToDo リストに項目を追加できます。

バリエーションを追加すればするほど、より多くの異なる表現をカバーできるようになりますが、さまざまなオプションをすべて考えて入力し、ホーム アシスタントに貼り付けるのは非常に面倒です。ありがたいことに、最近ではもっと簡単な方法があります。

これは、LLM が最適な種類のテキストベースのタスクです。私はクロードに、重要なタスク リストにタスクを追加するよう求める別の方法を生成するように依頼し、カスタム センテンスに必要な形式を与えると、大量のさまざまなバリエーションが生成され、それをホーム アシスタントに貼り付けました。

カスタムセンテンスは完璧ではありません

私が欲しかったものには十分です

クレジット: Adam Davidson / How-To Geek

全体として、システムは非常にうまく機能しています。 「ねえ、ジャービス、『ToDo リストの音声コントロールの設定に関する記事を書いて』を重要なタスクに追加してください」と言うと、驚くべきことに、そのリクエストの真ん中にあるテキストの壁全体が、私が追加したいタスクであることを理解します。

別の表現を使用すると、通常は機能します。特定の聞き方を覚える必要はありません。ただし、完璧ではありません。場合によっては、私が使用したフレーズがクロードと私が思いつかなかったものである場合には失敗することがありますが、ほとんどの場合、それはまさに私が必要なことを実行します。

ローカル音声制御は AI に依存する必要はありません

AI の助けがなければ、ローカル音声アシスタントは依然として Alexa などのクラウドベースのオプションほどの機能がありません。ただし、特定のタスクを実行してもらいたい場合は、その仕事をうまくこなすことができます。もう少しセットアップが必要ですが、確実な結果が得られます。さて、私が再び ToDo リストに加えようとしていたものは何だったでしょうか?