LLMに関する論文
基礎論文（Top 5）
1. Attention Is All You Need
- 著者: Vaswani, A., et al.
- 年: 2017
- 重要性: ★★★★★ - Transformerの基礎論文。現代LLMの設計思想の核
- 概要: 自己注意機構により並列性と長距離依存の処理を改善。機械翻訳の性能を飛躍的に向上
- 参照: Transformer, Attention
2. Neural Machine Translation by Jointly Learning to Align and Translate
- 著者: Bahdanau, D., et al.
- 年: 2015
- 重要性: ★★★★★ - 注意機構の初期の重要論文
- 概要: アテンション実装の源流。翻訳時に文の一部を動的に選択
- 参照: Attention
3. Sequence to Sequence Learning with Neural Networks
- 著者: Sutskever, I., et al.
- 年: 2014
- 重要性: ★★★★ - seq2seq構造の提案論文
- 概要: エンコーダ-デコーダモデルの基本形。機械翻訳以外のタスクにも適用
- 参照: Seq2Seq
4. Language Models are Unsupervised Multitask Learners
- 著者: Brown, T. L., et al.
- 年: 2020
- 重要性: ★★★★ - GPT-2論文
- 概要: 自己教師あり学習だけで多様なタスクをこなせることを実証
5. Language Models are Few-Shot Learners
- 著者: Brown, T. L., et al.
- 年: 2020
- 重要性: ★★★★★ - GPT-3論文
- URL: https://arxiv.org/abs/2005.14165
- 概要: Few-shot学習とプロンプトエンジニアリングの起点となった論文
- 参照: Few-shot Learning, プロンプトエンジニアリング
最新研究論文（2026年5月-6月）
注意メカニズムと効率性
| 論文 | arXiv | 概要 |
|---|---|---|
| Grammatically-Guided Sparse Attention for Efficient and Interpretable Transformers | https://arxiv.org/abs/2605.24518 | 文法構造に基づく疎注意 |
| A Generative Pre-trained Transformer with Kerr-soliton Attention | https://arxiv.org/abs/2605.24124 | 物理ハードウェアベースの注意実装 |
| Characterizing the Expressivity of Local Attention in Transformers | https://arxiv.org/abs/2605.00768 | ローカル注意の表現力分析 |
| Kaczmarz Linear Attention | https://arxiv.org/abs/2605.08587 | 線形注意による長文脈対応 |
| Gated DeltaNet-2: Decoupling Erase and Write in Linear Attention | https://arxiv.org/abs/2605.22791 | 線形注意の書き込み・消去の分離 |
| Delta Attention: Residuals | https://arxiv.org/abs/2605.18855 | 残差を用いた注意メカニズム |
| MiniMax Sparse Attention | https://arxiv.org/abs/2606.13392 | スパースアテンション最適化 |
推論・思考プロセス
| 論文 | arXiv | 概要 |
|---|---|---|
| Reasoning Structure of Large Language Models | https://arxiv.org/abs/2606.03883 | 推論構造の分析 |
| HybridThinker: Efficient Chain-of-Thought Reasoning via Compressed Memory | https://arxiv.org/abs/2606.03768 | 効率的なCoT推論 |
| AdapTime: Adaptive Temporal Reasoning | https://arxiv.org/abs/2604.24175 | 時間適応的推論 |
| Try Check and Retry | https://arxiv.org/abs/2605.06651 | （修正と再試行のフレームワーク） |
| Toward Robust In-Context Learning | https://arxiv.org/abs/2606.00014 | ロバストなIn-context学習 |
マルチモーダル・マルチリンガル
| 論文 | arXiv | 概要 |
|---|---|---|
| SenseNova U1: Unifying Multimodal Understanding and Generation | https://arxiv.org/abs/2605.12500 | マルチモーダル統合モデル |
| When Languages Disagree: Self-Evolving Multilingual LLM Judges | https://arxiv.org/abs/2606.08092 | マルチリンガル評価の自己改善 |
| CORA: Analyzing Thinking Answer Gap in Multimodal RLVR | https://arxiv.org/abs/2606.14691 | マルチモーダル推論分析 |
| Robust U1 MLLMs: Self-Recovering Corrupted Visual Content | https://arxiv.org/abs/2606.08063 | ロバストなマルチモーダルLLM |
AIエージェント・メモリ
| 論文 | arXiv | 概要 |
|---|---|---|
| Arbor: Toward Generalist Autonomous Research Agent | https://arxiv.org/abs/2606.11926 | 自律研究エージェント |
| Harness 1: Reinforcement Learning for Search Agents | https://arxiv.org/abs/2606.02373 | エージェント強化学習 |
| MemPro: Agentic Memory Systems as Evolvable Programs | https://arxiv.org/abs/2606.00619 | 進化可能なメモリシステム |
| From Storage to Experience: LLM Agent Memory | https://arxiv.org/abs/2605.06716 | エージェントメモリの実装 |
| Behavioral Transfer in AI Agents | https://arxiv.org/abs/2604.19925 | 行動転移学習 |
| SkillOpt: Executive Strategy for Self-Evolving Agent Skills | https://arxiv.org/abs/2606.14066 | 自己進化スキル最適化 |
| SIA: Self-Improving AI with Harness Weight Updates | https://arxiv.org/abs/2605.27276 | 自己改善メカニズム |
解釈可能性・安全性
| 論文 | arXiv | 概要 |
|---|---|---|
| GYAN: An Explainable Neuro-Symbolic Language Model | https://arxiv.org/abs/2605.04759 | ニューロシンボリック解釈性 |
| Generic Interpretation Approach for Transformer Models with Heterogenous Attention Structures | https://arxiv.org/abs/2605.27458 | Transformer解釈方法 |
| How LLMs Are Persuaded: A Few Attention Heads, Rerouted | https://arxiv.org/abs/2605.09314 | LLM説得メカニズムの解析 |
| Actionable Activation Directions for Detecting and Mitigating Emergent Misalignment | https://arxiv.org/abs/2606.19946 | ミスアライメント検出 |
| Reverse CAPTCHA: Invisible Unicode Instruction Injection | https://arxiv.org/abs/2603.00164 | プロンプトインジェクション |
| Evaluating Language Models for Harmful Manipulation | https://arxiv.org/abs/2603.25326 | 有害性評価 |
| Your Mouse and Eyes Secretly Leak Your Preference | https://arxiv.org/abs/2606.20482 | プライバシー分析 |
モデル最適化・学習方法
| 論文 | arXiv | 概要 |
|---|---|---|
| ZAYA1-8B Technical Report | https://arxiv.org/abs/2605.05365 | 小規模LLMの技術詳細 |
| The MiniMax-M2 Series | https://arxiv.org/abs/2605.26494 | MiniMax最新モデル |
| DRPO: Rethinking Divergence Regularization in LLM RL | https://arxiv.org/abs/2606.09821 | DPO改良版 |
| Beyond Uniform Forgetting: Sequential Direct Preference Optimization | https://arxiv.org/abs/2606.19744 | 優先学習最適化 |
| Pruning via Causal Attribution | https://arxiv.org/abs/2606.19350 | 因果プルーニング |
| Revisiting Parameter-Based Knowledge Editing | https://arxiv.org/abs/2606.00570 | 知識編集手法 |
| Large Language Models Explore by Latent Distilling | https://arxiv.org/abs/2604.24927 | 潜在蒸留 |
ベンチマーク・評価
| 論文 | arXiv | 概要 |
|---|---|---|
| Agents Last Exam (ALE) Benchmark | https://arxiv.org/abs/2606.05405 | エージェント評価ベンチマーク |
| How Controllable Are Large Language Models? | https://arxiv.org/abs/2603.02578 | 制御可能性評価 |
| How Human-Like Are LLMs? Register-Aware Evaluation | https://arxiv.org/abs/2605.23651 | 人間らしさ評価 |
| FinRetrieval: Financial Data Retrieval Benchmark | https://arxiv.org/abs/2603.04403 | 金融RAGベンチマーク |
| DLawBench: Evaluating LLMs in Multi-Turn Legal Consultation | https://arxiv.org/abs/2606.13931 | 法律相談評価 |
その他（応用・実装）
| 論文 | arXiv | 概要 |
|---|---|---|
| dots_tts Technical Report | https://arxiv.org/abs/2606.07080 | テキスト音声合成 |
| FastContext: Training Efficient Repository Explorer for Coding Agents | https://arxiv.org/abs/2606.14066 | コーディングエージェント |
| Cosmos 3: Omnimodal World Models for Physical AI | https://arxiv.org/abs/2606.14199 | 物理シミュレーション |
| ART: Attention Run-time Termination | https://arxiv.org/abs/2606.00024 | 注意実行時最適化 |
| Leveraging LLMs to Improve Precision in Randomized Controlled Trials | https://arxiv.org/abs/2605.30157 | RCT応用 |
| AI Co-Mathematician | https://arxiv.org/abs/2605.06651 | 数学協働 |
| From Knowledge to Action: 2025 LLM Hackathon | https://arxiv.org/abs/2605.03205v1 | ハッカソン報告書 |
| AdaSR: Adaptive Streaming Reasoning | https://arxiv.org/abs/2606.14694 | ストリーミング推論 |
参照リンク
- Transformer - アーキテクチャの詳細
- Attention - 注意メカニズムの仕組み
- Few-shot Learning - 少数例学習の説明
- 大規模言語モデル - LLMの総論
- プロンプトエンジニアリング - プロンプト設計手法
更新日: 2026年6月19日