基本情報技術者試験の令和7年度の公開問題を解こう。
今回のテーマは、「大規模言語モデルにおける「ファインチューニング」とは」である。
問１ 大規模言語モデルを用いた自然言語処理において，事前学習済みのモデルに対して行う，ファインチューニングに関する記述として，最も適切なものはどれか。
ア 強化学習を行い，最適な結果が得られるようにする。
イ 事前学習と同じデータを繰り返し用いて学習を行い，モデルの精度を高めるようにする。
ウ 大量のテキストデータを用いて学習を行い，モデルの精度を高めるようにする。
エ 特定のデータを用いて追加で学習を行い，目的とするタスクに適用できるようにする。
正解：エ
問題のポイント
大規模言語モデル（LLM）における「ファインチューニング」とは何か？
これを理解していれば解ける問題である。
LLM は
- まず 大量のテキストで事前学習（pre-training） する
- 次に 必要に応じて 特定のタスク向けに追加学習（fine-tuning） する
という２段階で作られる。
選択肢の検討
ア：誤り
ファインチューニングとは関係ない。
強化学習は RLHF（人間のフィードバックによる強化学習） のような別工程である。
イ：誤り
事前学習と同じデータを使い続けても、新しい用途に合わせられないため ファインチューニングの目的を満たさない。
ウ：誤り
大量データで学ばせるのは 事前学習（pre-training）。
ファインチューニングは「大量」 とは限らず、むしろ「小規模で専門的なデータ」を使う。
エ：正しい
これがファインチューニングの定義である。
例：
- 医療文章を理解したモデルを作りたい → 医療データで追加学習
- チャットに特化させたい → 会話データで追加学習
つまり
「特化データ」＋「追加学習」＝ファインチューニング である。
コメント