トークン（AI・ChatGPT）

なぜ大切か

一度に扱える量に関係します。目安を知りたいときはトークン目安ツールが便利です。

身近な例

日本語は文字数とトークン数が近いこともありますが、正確ではありません。関連語にコンテキストウィンドウがあります。

よくある誤解

トークンについて、まちがえやすい点をはっきりさせます。

• トークンは一文字や一単語とぴったり同じではありません。短い語の一部が一トークンになることもあります。
• 日本語と英語ではトークンの数え方が変わります。同じ意味でも数がちがうことがあります。
• トークンは入力した文だけでなく、AIが返す答えの文にも数えられます。
• 長い文章ほどトークンが増え、扱える上限や料金に関わってきます。短くする工夫が役立ちます。

似た言葉とのちがい

トークンと混同しやすい言葉を、ちがいがわかるように比べます。

• コンテキストウィンドウ: 一度に扱えるトークンの総量の上限を表します。トークンはその中に入る中身の一つ一つにあたります。
• プロンプト: AIに出す指示や質問の文そのものです。それを細かく分けて数えたものがトークンです。
• GPT: トークンを読み書きして文章を作る仕組みです。トークンはGPTが扱う材料にあたります。

数える単位

文字との違い

トークンは文字そのものではなく、AIが処理しやすいように分けた言葉のかたまりのことを指します。

料金との関係

有料のAPIでは、やり取りで使ったトークンの数によって料金が決まることが多くなっています。