ロングコンテキスト（Long Context）

概要

ロングコンテキスト（Long Context）は、大規模言語モデル が一度に扱える入力トークン数（コンテキスト長 / Context Length）を大きくし、長大な文書・コードベース・対話履歴を一括で処理できるようにする取り組みです。研究フィード（Daily/）でも、コンテキスト長の拡大は継続的な話題で、100万トークン級のコンテキストを備えたモデルも登場しています。

なぜ重要か

• 長い文書やコードベース全体を一度に与えて推論できる
• RAG の検索結果や エージェントメモリ の履歴を多く詰め込める
• 長期タスク・AIエージェント の文脈保持に直結

技術的な土台

• Attention の計算量は系列長に対し O(n²) — 長文では計算負荷が増大
• 効率化：Flash Attention、Sparse/Linear Attention など
• 位置符号化：RoPE・ALiBi などは学習時より長い系列への外挿に関わる

限界と注意点

• コンテキストを長くしても、中盤の情報が見落とされる（“lost in the middle”）
• 長文ほどコスト・レイテンシが増える
• 長ければよいわけではなく、RAG による的確な情報供給と使い分ける

関連ページ

• Attention
• 位置符号化
• RAG
• エージェントメモリ
• 長期タスク

参考資料（Daily フィード）

• （HN）“1M context is now generally available”（コンテキスト長拡大の動向）
• 実践 LLM アプリケーション開発 --- プロトタイプを脱却し、実用的な実装に迫るための包括的な手引き（コンテキスト長・ロングコンテキストモデル）