トークン(LLM)

トークンは、LLMが文章を処理する最小単位で、単語そのものではなく『単語の断片』に近い概念です。ChatGPT・Claude・GeminiなどのLLMは文章を直接扱うのではなく、まずトークナイザーでトークン列に分解し、各トークンを数値IDに変換してからモデルに入力します。英語では概ね1トークン=約4文字、日本語では概ね1トークン=約1〜2文字という目安で、この単位が『料金計算』『コンテキストウィンドウ上限』『応答速度』すべての基準になります。

具体例として、英語の『Hello』は1トークン、『ChatGPT』は2トークン、『 artificial intelligence』は3トークン。日本語の『こんにちは』は約3〜5トークン、『人工知能』は約4〜6トークンに相当します。日本語は英語よりトークン効率が悪く、同じ内容を伝えるのに2〜3倍のトークンを消費するため、日本語ユーザーは料金面で不利になる傾向があります。2025年以降の日本語特化モデル（Swallow・Tanuki等）はこの効率を大きく改善しています。

料金体系は、OpenAI・Anthropic・GoogleいずれもAPI利用で『入力トークン×単価＋出力トークン×単価』で課金される従量制です。2026年時点の参考値として、Claude Opus系は入力$15/1Mトークン、出力$75/1Mトークン、GPT-5は入力$10/1Mトークン、出力$30/1Mトークン程度です。1Mトークン=100万トークンで、英語の小説約10冊分、日本語文書約5冊分に相当します。

コンテキストウィンドウ（モデルが一度に扱えるトークン量）は、2026年時点でClaude 4.7 Opusが100万トークン、GPT-5が50万トークン、Gemini 3 Proが200万トークンなど巨大化しています。ただし、コンテキストを使い切るほど料金は比例して上がり、応答速度も遅くなるため、実務では必要最小限のトークンで収める工夫が重要です。

トークン節約のコツとして、①不要な前置きを削る、②長文は要約してから渡す、③JSONより簡潔なMarkdownで応答指定、④英語で指示を書く（出力は日本語指定）、⑤プロンプトキャッシュ機能の活用、などがあります。Claudeのプロンプトキャッシュでは、共通部分を90%割引で再利用できるため、大規模アプリで大きなコスト削減効果があります。

トークン数の確認方法は、OpenAIは `tiktoken` ライブラリ、Anthropicは `anthropic` SDKに付属のcount_tokens関数、Google は Gemini API のcountTokensエンドポイントで、事前に正確な数を計算できます。