トークンとは、AIが文章を処理する際に使う「文字や単語のまとまり」の単位です。
日本語では 「1トークン≒1文字」程度が目安となりますが、実際の分割方法や消費量は利用するAIモデルによって異なるため、あくまで参考値としてご覧ください。
また、トークンは 入力(プロンプトや読み込ませた文章) と 出力(AIが生成する回答) の両方で消費されます。
そのため、長文を入力したり、より詳細な回答を求めたりするほど、消費量は増加します。
この記事は役に立ちましたか?
0人中0人がこの記事が役に立ったと言っています