AIの「トークン」とは？仕組みと調べ方、料金への影響をやさしく解説

ChatGPTやClaudeを使っていると「トークン数の上限に達しました」「1トークンあたり◯円」といった表示を目にすることがあります。

しかし、トークンが何を指すのか、文字数や単語数とどう違うのか、結構知らないまま使ってたりしますよね。
意味を知らないまま使っていると、AIの利用料金が想定より高くなったり、長い文章を入力できずに戸惑ったりすることがあります。

この記事で、トークンとは何かを再確認しましょう。

トークンとは何か

トークンとは、AIが文章を処理するときに使う「言葉の最小単位」のことです。

AIは文章を細かい部品に分解してから理解し、また組み立てて返事を書いています。
この最小単位がトークンというわけです。

トークンは必ずしも1文字や1単語と一致しない

下の図は後で紹介するトークナイザーというツールで見た文字とトークンの関係を表したものです。

冒頭の「AI」が１トークンとして認識されているのに対し、自動化の「自」「動」「化」はそれぞれ一文字で１トークンとカウントされています。

かと思えば、同じ日本語でも「サイト」は三文字で１トークンになっています。

トークン数の計算方法はモデル（AIの種類）によっても異なります。

英語より日本語の方が多くのトークンが必要

この例にもある通り、英語はほぼ１単語＝１トークンなのに対し、日本語は特に漢字で１文字＝１トークンのケースになる傾向があります。

そのため、同じ意味の文章でも、日本語は英語よりトークン数が多くなりやすい傾向があります。

トークン数や料金を調べる方法

今、トークンを調べるためのいろんなツールが出ています。
これらで調べたトークン数や料金は絶対のものではありませんが、おおよその値を知るには便利です。

Tokenizer

Tokenizerは、OpenAIが提供しているトークン計算機です。「トークナイザー」と読むんだと思います。
下のように入力するだけで、日本語でもトークン数と文字数を教えてくれます。

全モデルに対応していないかもしれませんが、これを見ておけば、ほぼ間違いと考えていいでしょう。

どこで区切ってトークンをカウントしているのか分かりやすくていいですね。

Jotform AI

Jotform AIは、OpenAI以外のモデルにも対応しているほか、おおよその料金も計算してくれます。

モデルによって文字数やトークン数が異なることが分かります。
ちなみに私が入力した文章の料金は約0.28ドル（45円）でした。

LUFT AI

LUFT AIは、さらにClaudeの計算もしてくれます。モデル数が多いのもいいですね。
先に紹介したものと併せて使うといいでしょう。

無料で会員登録できますが、登録しなくても計算してくれました。

実務でのトークンとの関わり方

実務の中で「今どれぐらいのトークンを使っているんだろう」と考えることはありません。また、トークン数をいちいち考えることも、現実的ではないと思います。

AIに正確な回答をさせたい以上、ある程度詳細にプロンプトを書く必要があります。
よりコストのかかるモデルを使う必要もあるでしょう。

しかし、だからといって、普通に書いていたのでは、コストが膨らむばかりです。
現に1年間のAIの予算を4月で使い切ってしまったという企業も報告されています。

トークン数を意識することはないにしても、コストを少しでも抑えるという考え方が重要です。

レイ

AI自動化ナビゲーター

XYouTubeContact

AI自動化本来の目的は、自動化そのものではありません。自動化によって時間を有効活用することです。誰にとっても一日は24時間。AI自動化関連の情報を見つけ、まとめ、発信する。それによって、多くの人が時間をより有効活用できるようにする。それがAI自動化ナビゲーターである私の使命だと思っています。ぜひフォローして下さいね。