この記事で分かること

  • トークンとは、文字数でも単語数でもなく、AIが文章を処理する際の独自の単位であること
  • 入力できる分量の上限や従量課金の基準として、実務上どう効いてくるか
  • 整数設例で見る、トークン数から分割回数・作業時間を見積もる考え方
  • 「日本語1文字＝Nトークン」と断定できない理由と、実務での概算の仕方

30秒で分かる定義

トークンとは、生成AIなどの言語モデルが文章を処理する際に区切って扱う最小の単位であり、文字数とも単語数とも一致しない独自の数え方をするものです。英語では Token（読み方：とーくん）と呼ばれ、トークン数・token化・トークナイズといった表現でも使われます。大規模言語モデル（LLM）や生成AIは、文章をそのまま読んでいるのではなく、いったんトークンという単位に区切ってから処理しています。同じ文字数の日本語と英語を比べても、トークンへの区切り方が異なるため消費されるトークン数は同じにならず、言語によって「同じ長さ」の意味が変わる点が実務上の落とし穴になります。

なぜファイナンス実務で重要なのか

トークンを意識する必要があるのは主に3つの場面です。第一に、一度に入力・出力できる分量には上限があることです。この上限は入力と出力の合計トークン数で決まることが多く、超えた分は扱われなかったり途中で切れたりします。第二に、多くのAIサービスはトークン数に応じた従量課金を採用していることです。具体的な単価は提供者・モデルにより異なり変動も速いため本記事では触れませんが、「文章が長いほど処理量が増える」という感覚は、AIツールを選定・運用する際の前提になります。第三に、長い文書をどう分割するかという設計判断に直結することです。有価証券報告書のような長大な文書はそのままでは入り切らないことがあり、分割・要約・必要箇所だけを検索して渡す（RAG）といった設計が必要になります。

仕組み

トークン化（トークナイズ）は、文章を単語よりさらに細かい単位（文字の組み合わせや語の一部）に分割し、モデルが学習時に作った語彙（トークンの一覧表）と照らし合わせて処理する仕組みです。この語彙は提供者・モデルごとに個別に作られているため、同じ文章でもモデルが変われば区切り方もトークン数も変わります。あるツールで測ったトークン数を、別のモデルにそのまま流用することはできません。

要素内容実務上の含意
サブワード分割単語よりさらに細かい単位に区切る方式見慣れた専門用語や固有名詞ほど多くのトークンに分かれることがある
語彙（ボキャブラリー）学習時に作られる、トークンの区切り方の一覧表提供者・モデルが変われば同じ文章でもトークン数は変わる
入力＋出力の合計1回のやり取りで消費されるトークン数は、入力と出力の合計で数えられることが多い長い指示文を書くほど、出力に使える余地が狭くなる

ここで重要なのは、正確なトークン数は、使用するモデルの分割方式に依存するため事前には正確に分からないという点です。「日本語は英語より1文字あたりのトークン消費が多くなる傾向がある」とは言われますが、これは分割方式に左右される傾向であって、一律の倍率として断定できるものではありません。実務では、あらかじめ余裕を持った見積り（バッファ）を置いて扱うのが安全です。

整数設例で確認する

設例（架空）。ある決算短信の抜粋資料が6,000文字だとします。使用するAIツールで事前に一部を測ったところ、この資料は1文字あたり平均1.5トークン程度を消費すると仮に置きます（実際の値は資料の内容やモデルによって変わるため、本番作業では必ず事前に計測してください）。総トークン数は 6,000 × 1.5 ＝ 9,000トークンです。

指示文と出力に使う分を差し引いた後、資料本体に使えるのが1回あたり3,000トークンだとすると、必要な分割回数は 9,000 ÷ 3,000 ＝ 3回です。検算すると 3,000 × 3 ＝ 9,000 で総トークン数と一致します。

1回の分割につき、AIの出力を原本と突き合わせる確認作業に4分かかるとすると、確認作業だけで 4分 × 3回 ＝ 12分。3回分の要約をつなげて矛盾がないか見直す統合作業に8分かかるとすると、合計作業時間は 12分 ＋ 8分 ＝ 20分です。文字数に引き直すと 3,000 ÷ 1.5 ＝ 2,000文字が1回分となり、2,000文字 × 3回 ＝ 6,000文字で元の文字数と一致します。あくまで仮定値にもとづく設例であり、実際の値は資料と使用ツールごとに異なります。

概算するときの注意点

実務でトークン数を扱うときに避けたいのが、「日本語1文字＝Nトークン」という固定の換算式で断定してしまうことです。文章の内容（漢字の多さ、数字や記号、専門用語、表形式のデータなど）によって消費されるトークン数は変動し、提供者・モデルによっても異なります。現実的な進め方は次のとおりです。

  • 本番で使う予定のツール・モデルで、実際の資料（またはその一部）を使ってトークン数を事前に測定する
  • 測定した値をそのまま使わず、数字や表が多い資料では消費量が増えやすいことを踏まえ、2〜3割程度の余裕（バッファ）を見込む
  • 複数のモデルを使い分ける場合は、モデルごとに測定し直す（他モデルの数値を流用しない）
  • 資料が更新・改訂された場合は、都度測定し直す

実務での使い方

  • 有価証券報告書のような長大な文書（EDINETで開示される資料など）は一度に入り切らないことがあるため、章単位で分割するか、必要な箇所だけを検索して渡すRAGの仕組みを使うかを、資料の性質に応じて選ぶ
  • 指示文（プロンプト）が長くなりすぎると、資料本体に使えるトークンの余地が狭まるため、プロンプトエンジニアリングの観点から指示文自体を簡潔にする工夫も有効
  • 分割して処理した場合は、分割の境目をまたぐ論点が抜け落ちていないか、原本のページ番号・章番号と突き合わせて確認する工程を必ず入れる
  • AIツールの選定段階では、扱いたい資料のおおよそのトークン数と、ツールが扱える上限・従量課金の考え方を照らし合わせて比較する。比較の進め方は金融実務向けAIツールの選び方を参照
  • 生成AIをファイナンス実務でどう使い分けるかの全体像は生成AI×ファイナンス実務で確認する

実務家が確認するポイントとよくある誤解

誤解1：「トークン数＝文字数」→ 一致しません。区切り方は言語や文章の内容によって変わるため、文字数からトークン数を機械的に割り出すことはできません。

誤解2：「日本語は英語のちょうど2倍のトークンを消費する」→ 日本語のほうが1文字あたりのトークン消費が多くなりやすい傾向はありますが、具体的な倍率はモデルの分割方式・文章の内容によって変わり、一律の数値として断定できません。

誤解3：「トークン数さえ分かれば費用も正確に分かる」→ 課金体系は提供者・モデル・契約形態によって異なるため、費用感は利用時点の公式情報で確認する必要があります。

確認ポイント：大量の資料を投入する前に、サンプルで実測してから分割設計に進むことです。事前測定を省いて資料全体を一度に投入すると、上限超過に気づかないまま後半が欠落した出力を受け取ってしまうことがあります。

日本実務での扱い

トークンという単位そのものについて、日本の法令や会計基準が定義や上限を定めているものではありません。一方で、社内でAIツールを導入・運用する際には、トークン数の考え方が間接的に運用ルールと関わってきます。総務省・経済産業省が公表する「AI事業者ガイドライン」では、AIを利用する事業者に対して入力データの取り扱いや出力結果の確認に関する留意点が示されています。長大な文書を外部のAIサービスに投入する場合、未公表の重要事実や個人情報が含まれていないかを事前に確認する社内規程、委託先管理、処理内容を後から追跡できる監査対応の設計が実務上の論点になります。個別の運用ルールの適否は、自社の規程や専門家への確認が必要です（2026年8月時点）。

面接・実務で問われるポイント

Q：トークン数を、実務でどう見積もりますか。
「正確なトークン数は使用するモデルの分割方式に依存するため、作業前には正確に分かりません。本番で使うツールで対象資料の一部を実測し、数字や表が多い資料は消費量が増えやすいことを踏まえて2〜3割の余裕を見込んだうえで、分割回数や作業工数の見積りに使います。日本語1文字あたりのトークン数を固定値で断定せず、資料ごとに測定し直します。」

深掘りでは「なぜ文字数とトークン数が一致しないのか」が問われます。サブワード分割・モデルごとの語彙の違いまで遡って説明できるかが分かれ目です。

よくある質問（FAQ）

Q. 日本語1文字は何トークンになりますか。
A. 一律には決まっていません。モデルごとに語彙（トークンの区切り方）が異なるうえ、漢字・数字・記号の多さによっても変わります。目安が必要な場合は、実際に使うツールで対象資料の一部を事前に測定するのが確実です。

Q. トークン数を減らすには何をすればよいですか。
A. 指示文（プロンプト）を簡潔にする、資料のうち不要な部分を投入前に取り除く、必要な箇所だけを検索して渡すRAGのような設計にする、といった工夫があります。いずれも、対象資料と使用ツールで実測しながら調整するのが実務的です。

出典・参考（2026-08-16確認）