コンテキスト長(Context Window)とは

コンテキスト長はモデルが一度に処理できるトークン数の上限です。入力と出力を合わせた上限であること、長いほど常に良いわけではない点に注意が必要です。

input と output

コンテキスト長は「入力トークン + 出力トークン」の合計上限です。長文を入力しても、出力に使える残りは減ります。

使い切れるとは限らない理由

  • プロバイダーが入力上限を個別に制限する場合があります。
  • 長文の途中(lost-in-the-middle)はモデルが参照しにくい傾向があります。

料金との関係

長いコンテキストほど入力トークンが増え、費用が上昇します。RAG等で関連箇所だけを渡す方が低コストな場合があります。

RAGとの関係

検索拡張(RAG)は、巨大な文書を全部入力する代わりに、関連チャンクをコンテキストに渡す手法です。コンテキスト長とコストのバランスで設計します。