コンテキスト長(Context Window)とは
コンテキスト長はモデルが一度に処理できるトークン数の上限です。入力と出力を合わせた上限であること、長いほど常に良いわけではない点に注意が必要です。
input と output
コンテキスト長は「入力トークン + 出力トークン」の合計上限です。長文を入力しても、出力に使える残りは減ります。
使い切れるとは限らない理由
- プロバイダーが入力上限を個別に制限する場合があります。
- 長文の途中(lost-in-the-middle)はモデルが参照しにくい傾向があります。
料金との関係
長いコンテキストほど入力トークンが増え、費用が上昇します。RAG等で関連箇所だけを渡す方が低コストな場合があります。
RAGとの関係
検索拡張(RAG)は、巨大な文書を全部入力する代わりに、関連チャンクをコンテキストに渡す手法です。コンテキスト長とコストのバランスで設計します。