トレーニングデータの前処理

元データ（XML、HTML、JSON、TXT）をトレーニングの目的（PT・SFT）に合わせて変換・整形し、トレーニングタブに直接つなげます。

ソースフォルダの指定

圧縮ファイル（.zip/.tar.gz）や元のファイル（XML、HTML、JSON、TXTなど）があるソースフォルダのパスを指定します。デフォルトのパスは/@team/.AppData/fine_tuning/rawです。

目標トレーニングステージの選択

変換するデータの目的を選択します。

PTモードでは、別途出力ファイルを用意する必要はありません。変換が完了するとソースフォルダの中に.mdファイルが作成され、ソースフォルダのパスがそのままトレーニングタブに引き継がれます。

SFTを選択すると、最終出力ファイルのパス（JSONL）が表示されます。空欄のままにすると、ソースフォルダ内にdataset.jsonlとして保存されます。

ソースフォルダに含まれる元データの形式

ソースフォルダにどの形式の元データが混在しているかを、参考用に表示します。KIPRIS XML（韓国特許）、HTML（Web文書）、JSON（構造化データ）、TXT/MD（一般的なテキスト）の中から選択でき、この選択は下のパイプラインの説明にのみ反映されます。実際のサーバー処理では、フォルダ内のすべてのファイルを一括で変換します。

パイプラインの実行

PTは2つ、SFTは3つの段階で構成されており、各段階は個別に実行することも、まとめて一括で実行することもできます。

1. 圧縮アーカイブの自動展開：ソースフォルダ内の.zip・.tar.gzファイルを自動的に展開し、ファイルの一覧を確認します。
2. 文書 → Markdown変換：ソースフォルダの文書ファイル（XML、HTML、JSONなど）を、Markdownに一括で変換します。変換された.mdファイルが、ソースフォルダに作成されます。
3. Alpaca JSONL生成（SFT用）：SFTを選択した場合にのみ表示されます。.md・.txtファイルを、instruction/input/output構造のAlpaca JSONLに変換します。

Run Full Pipeline in Batchの一括実行ボタンを押すと、すべての段階が順番に実行されます。完了したらトレーニング（Train）タブに接続を選択し、データセットをトレーニングタブに渡します。

関連ドキュメント

• ファインチューニングの紹介
• トレーニング