自己教師あり学習（Self-Supervised Learning）

概要

自己教師あり学習（Self-Supervised Learning, SSL）は、人手のラベルを必要とせず、データ自身から「正解（ラベル）」を作り出して学習する 手法です。大規模言語モデル の 事前学習 を支える中心的な考え方であり、膨大な未ラベルテキストを活用できる点が、LLM 発展の鍵となりました。

仕組み

• データの一部を隠し、それを残りから予測する「擬似タスク（pretext task）」を解く
• 予測対象がデータ内に既にあるため、ラベル付けが不要

言語モデルでの学習目的

事前学習 の学習目的は、おおむね自己教師ありです。

• 完全言語モデリング（FLM） — 次のトークンを予測（GPT 型）
• マスク言語モデリング（MLM） — 隠したトークンを予測（BERT 型）
• 接頭辞言語モデリング（PrefixLM）

教師あり/教師なしとの関係

関連ページ

• 事前学習
• 大規模言語モデル
• BERT
• GPT
• ニューラルネットワーク

参考資料

• 実践 LLM アプリケーション開発 --- プロトタイプを脱却し、実用的な実装に迫るための包括的な手引き（自己教師あり学習）