Gemini と Google AI にはどのような機能が期待されているのでしょうか?

過去 1 年ほどで、Google は消費者向けアプリ全体で、Gemini ブランドの AI やその他の機能を多数プレビューしてきました。 ここでは、発表されたすべての内容と、いつ利用可能になるかについて説明します。

ピクセル

Made by Google 2023 の終わりに、「ピクセル間のギャップをインテリジェントに埋め、細部を予測する」ズーム エンハンス機能が Pixel 8 Pro 向けに公開されました。 デバイス上の「カスタム生成 AI 画像モデル」を活用することで、Google はこれをズームし忘れたときに役立つと宣伝しました。

これは生成 AI の驚くべきアプリケーションであり、写真のフレーミングと編集にさまざまな可能性をもたらします。 つまり、SF で見慣れたズームの最適化が、手の中の携帯電話の中で実現されます。

Googleは10月に、これは「後で実現する」と述べた。 Pixel の機能は 3 回リリースされましたが、まだ到着していません。 Googleが言及しているモデルがマルチモダリティを備えたGemini Nanoであるかどうかは不明です。 現時点では、Pixel 9 Proでその携帯電話のメインの写真機能としてデビューする可能性があります。

グーグルハウス

Google Home アプリでは、生成 AI がイベントを「最近起こったことの簡略化されたビュー」に要約するために使用されます。 この「簡単で簡単な要約」では箇条書きを利用するほか、会話形式で「家について質問」してビデオ履歴クリップを検索し、自動化を取得することもできます。 「ベータ機能」は、2024 年に Nest Aware の定期購入者に提供される予定です。

フィットビット

Fitbit Labs では、Fitbit Premium ユーザーが実験的な AI 機能をテストし、フィードバックを提供できるようになります。

そのような機能の 1 つは、自然な会話形式で Fitbit データについて質問できるチャットボットです。 フィットネスの目標を念頭に置いたこの「パーソナライズされたコーチング」は、パーソナライズされたグラフを含む応答を含む「実行可能なメッセージとガイダンス」を作成することを目的としています。

• 「たとえば、アクティブゾーン時間（AZM）が何分かをさらに深く掘り下げて、睡眠の回復度合いと相関させることができます。」
• 「…このモデルは、睡眠パターンと睡眠の質の違いを分析し、それらの洞察に基づいて運動の強度を変更する方法に関する推奨事項を提案できる可能性があります。」

このアプリは舞台裏で、Fitbit と、Gemini 上に構築された Google Research の新しい Personal Health LLM ソフトウェアを利用しています。 3月から「FitbitモバイルアプリのFitbit Labsプログラムに登録している限られた数のAndroidユーザー」を対象に「今年後半」に開始される予定だ。

Google画像

「写真に質問」機能を使用すると、ライブラリ内の写真やビデオについて質問できます。 画像検索とは異なり、情報を抽出してテキストで回答を与えることができます。 ジェミニを活用したクエリには、「これまでに行ったすべての国立公園で撮った最高の写真を見せてください」や「レナの誕生日パーティーで取り上げたテーマは何ですか?」などがあります。 これらは、「最高の写真を提案」し、その写真にキャプションを作成するために使用できます。 Ask Photosは間もなく開始される「ベータ機能」であり、Googleはすでに将来のさらなる機能を示唆しています。

Gmail + Google Workspace

Android および iOS 用の Gmail では、右上隅に Gemini ボタンがあり、これを使用すると、完全なプロンプトを入力するためのサイド パネルに相当するモバイル版を表示できます。 Gmail では、よりパーソナライズされた詳細かつ正確な提案を提供するコンテキストに応じたスマート リプライも利用できるようになりました。 これは 7 月に Workspace Labs でリリースされる予定です。

4 月の Cloud Next 2024 で、Google はモバイル Gmail の入力を支援する音声プロンプト機能もプレビューしました。 一方、インスタントポリッシュ機能は「ワンクリックで大まかなメモを完全なメールに変換します」。

デスクトップ ウェブでは、Gmail、Google ドライブ、ドキュメント/スプレッドシート/スライドでサイド パネルを利用できます。 その後、Gemini は Google Chat にアクセスして会話を要約し、質問に答えます。

グーグルマップ

昨年 2 月、Google は、マップで LLM を使用して「Ask About」チャットボットを強化すると発表しました。 これを使用すると、あなたの主張に一致する場所を、補足的な質問とともに見つけることができます。 これは、ユーザーが投稿した 2 億 5,000 万件の場所、写真、ビデオ、レビューに関する詳細情報を利用しています。

クロム

Gemini Nano は Chrome デスクトップ ブラウザ上で起動され、Help Me Type などのブラウザ機能を強化します。 最新のラップトップおよびデスクトップのほとんどで利用できるはずです。

Google検索

AI Overviews のリリースに合わせて、Google は Search Labs に初めて導入される多数の今後の機能をプレビューしました。

• 元の AI の概要を基にして、それを「単純化」（ほんの数文）したり、「分解」（より長い応答）したりすることができます。
• マルチステップ推論機能を使用すると、複雑な質問を複数のクエリに分割するのではなく、一度に行うことができます。
• 食事や旅行の計画を立てる
• 人工知能によって整理された検索結果ページ
• ビデオ検索: ビデオを録画し、それについて質問します。

アンドロイド

Gemini Nano は、Pixel でマルチモダリティを搭載して「今年後半」に発売され、デバイス上/オフラインの TalkBack 説明や、明らかなパターンの呼び出しをリッスンするリアルタイムの詐欺アラートなどの機能を強化します。 Google は今年後半に詳細を発表する予定です。

Google は I/O 2024 で、Android 上の Gemini が結果を表示するために全画面 UI を開く代わりに、間もなくオーバーレイ パネルにどのように変わるかのプレビューも披露しました。 これにより、コンテキストを維持するだけでなく、作成した画像を会話にドラッグ アンド ドロップできるようになります。 Gemini Advanced サブスクライバーの場合、ユーザーは、それぞれ「このビデオを聞く」ボタンと「この PDF を聞く」ボタンを使用して、Gemini でビデオと短いドキュメントを見ることができます。 これは「今後数か月以内に」展開される予定です。 さらに、Dynamic Suggestions Gemini Nano とマルチモダリティを使用して、画面に表示されている内容を理解します。

たとえば、双子座とピックルボールについての会話をすると、「近くのピックルボール クラブを探す」や「初心者向けのピックルボールのルール」などが提案されるかもしれません。

モバイルで特に役立つもう 1 つのアドオンは、Google カレンダー、タスク、Keep 用の Gemini Extensions です。 これにより、ジェミニがカレンダーのイベントに変換できる、今後のいくつかの日付が含まれるページの写真を撮ることができます。 今後数か月以内に、Utilities によって Gemini モバイル デバイスが Android 上の Watch アプリにアクセスできるようになります。

私たちはまた、この夏に Gemini モバイル アプリが Pixel タブレットに登場するのを待っています。

ツイン

Live アプリを使用すると、Gemini と双方向の会話ができます。 エクスペリエンスをより自然にするために、Gemini アプリは短い返信を送信します。新しい情報を追加したり、説明を求めたりするために中断できます。 10 種類の音声から選択でき、Google は Gemini Live アプリが面接の準備やスピーチの練習に役立つことを想定しています。 「今後数か月以内」に Gemini Advanced メンバーに提供される予定です。

「今年後半」には、Gemini Live でライブ カメラ モードをオンにできるようになります。 現実世界の何かを指して、それについて質問するだけです。 これは Project Astra によってサポートされています。

Gems は Gemini のカスタマイズされたバージョンで、「ジム仲間、副料理長、プログラミング パートナー、またはクリエイティブ ライティングのメンター」を持つことができます。 Gemini Advanced メンバーはカスタム gem を作成できますが、すべてのユーザーは Learning Coach などの既製の gem にアクセスできます。

体幹に何をしてもらいたいのか、体幹にどのように反応してもらいたいのかを簡単に説明します。たとえば、「あなたは私のランニングコーチです。毎日のランニングプランを教えてください。そして、ポジティブで、明るく、やる気を出してください。」などです。 Gemini はこれらの指示を受け取り、ワンクリックでそれを強化して、特定のニーズを満たす gem を作成します。

Gemini Advanced ユーザーは、単にアクティビティを提案するだけでなく、実際に移動時間や停車地、人々の興味を考慮して詳細な旅程を作成する「総合プランナー」も利用できます。 Gemini は、Gmail のフライト/旅行の詳細、Google マップでのホテル近くのグルメや博物館のおすすめ情報、その他のアクティビティの検索を使用します。