本文へ移動

ファインチューニングの紹介

ファインチューニングプラグインは、LLaMA Factoryをベースに、ローカルLLM(sLLMなどの小型言語モデルを含む)を目的のドメインに合わせてトレーニングする機能です。元データの前処理から、トレーニング、評価、チャットテスト、結果モデルのエクスポートまで、すべての工程を1つの画面で処理できます。このプラグインの画面は現在韓国語で表示されるため、このドキュメントのラベルは翻訳したものです。

トレーニングデータの前処理


作業の流れ

ファインチューニングは、次の5つの段階で進めます。

段階説明
前処理元データ(XML、MD、HTML、JSON、TXT)を、トレーニングの目的(PT・SFT)に合わせて変換・整形します
トレーニングデータセット、モデル、トレーニング方法(STAGE)を指定して、ファインチューニングを実行します
評価完了したトレーニングRunの結果を点検し、データセットの有効性を再検査します
チャットテストトレーニングしたモデルと直接会話して、結果を確認します
エクスポートトレーニングRunを管理し、結果の重みを次のファインチューニングのBase Modelとしてつなげます

注意事項

  • トレーニングにはGPUリソースが必要です。サーバーの仕様を事前に確認してください。
  • トレーニング中は、停止するまでバックグラウンドで処理が続きます。

関連ドキュメント