文章と画像をまとめて扱うAI

マルチモーダルとは

文章や画像など複数の情報を扱うAIの考え方です。用語はマルチモーダルAIで説明しています。

基本から学ぶ

まずは基本の使い方に慣れましょう。日本語での使い方を参考にしてください。

マルチモーダルの基本

マルチモーダルとは、文章だけでなく画像や音声など複数の種類の情報をまとめて扱える、という考え方です。文章専用のAIと何がちがうのかを知ると、できることの幅が分かります。

• 写真を見せて「これは何の料理か」と聞くなど、画像を理解させる使い方ができます。
• 文章で指示を出して、新しい絵やイラストを作らせる使い方もできます。
• 文章と画像を組み合わせて、図を説明させたりグラフを読ませたりもできます。
• 一つのやり取りの中で、見ることと書くことを行き来できるのが特徴です。
• 対応する形式やできる範囲はサービスごとに違うので、公式サイトで確認しましょう。

画像を扱うときの手順

画像を扱えるAIは便利ですが、見たものを必ず正しく読み取るとは限りません。安心して使うために、次のような手順で進めると失敗を減らせます。

1. 聞きたいことをはっきり決めてから、関係する画像だけを渡します。
2. 人の顔や個人が分かる写真、他人の作品は安易に入れないようにします。
3. 返ってきた説明が画像の内容と本当に合っているかを自分の目で見比べます。
4. 作らせた画像は、そのまま正式な用途に使う前に細部の不自然さを確かめます。
5. 仕事で使う場合は、画像の権利や利用範囲のルールも合わせて確認します。

文章と画像をつなぐAI

複数の形を扱う

文章だけでなく画像もいっしょに扱えるAIは、言葉での説明と絵を組み合わせて答えられるので、伝わり方が分かりやすくなります。

指示を具体的に

画像について聞くときは、知りたい点を短くはっきり伝えると、ぼんやりした答えにならず、ねらった内容に近づきやすくなります。

このテーマに関心があれば、大規模言語モデル（LLM）も役立ちます。