🚀 ニフティ’s Notion

簡単に説明

• 機械学習モデルの開発から運用までを効率化するプラクティス
• データの管理、モデルのデプロイメント、モニタリングなどを自動化し、信頼性とスケーラビリティを向上させる
• 機械学習モデルの開発・運用を円滑に行い、ユーザーへ迅速に機械学習プロダクトを提供することが目的
• 機械学習版DevOps
  • DevOpsとは…（ざっくり言うと）DevチームとOpsチームの意見の相違・ギャップを生まないようにする取り組み

• 参考画像

  

  出典：

参考： Why Should You Use MLOps?

• データエンジニアやデータサイエンティストは、データの準備に多くの時間を費やすため、モデルの開発とイノベーションに費やす時間が少なくなる
• モデルの開発と本番環境への展開が遅れるため、企業は競争優位性を失う可能性
• モデルのパフォーマンスが低下し、誤った結果につながる可能性
• モデルの運用と監視にかかるコストが増加
• シャドーサイエンスのリスクが高まる
  • データサイエンティストは、IT部門の監督なしで独自のモデルを開発および展開すること

• 同じデータセットでトレーニングされたモデルでも、異なる結果が得られる可能性
• モデルを再構築するのは困難で、時間と労力がかかる
• モデルのパフォーマンスを監視し、問題が発生したときに迅速に対応するのが困難
• モデルのパフォーマンスを分析し、問題を特定するのが困難

• モデルが誤動作する可能性があり、誤った結果につながる可能性
• モデルがダウンして、ビジネスに支障をきたす可能性
• モデルがハッキングされて、データが盗まれたり、モデルが操作されたりする可能性
• モデルが規制要件を満たしていないため、罰金や訴訟のリスクが高くなる

• モデル開発プロセスの詳細を監査するのが困難
  • モデル開発プロセスの透明性の低下
• モデルの変更履歴を追跡するのが困難
• モデルのバイアスや不正行為を検出するのが困難
  • モデルがどのようにトレーニングされたのか、どのようなデータが使用されたのかを特定するのが難しくなる
• 問題が発生した場合、誰が責任を負うのかを特定するのが困難
  • モデルの責任の所在が不明確になる

• モデルのパフォーマンスが低下し、誤った結果につながる可能性
• モデルの精度と汎化性の低下
  • 汎化性：未知のテストデータに対する識別能力のこと
• モデルが特定のグループの人々に対して不公平な結果を出す可能性
  • モデルがトレーニングデータに過剰適合し、新しいデータに対してうまく動作しない
• モデルのパフォーマンスが時間の経過とともに低下する可能性
  • データ分布の変化やモデルの使用法の変化など、さまざまな要因によって発生する可能性

精度向上のモデルの「トレーニング」作業を行う必要は無い

素で利用するだけであれば、学習用データを準備する必要もない

ただ素の文を出力するだけでは使用先において適していない場合があるため、用途に応じて手法を分ける必要がある

• 例
  • 素の依頼文
    Copy

    あなたは経験豊富な旅行ガイドです。
    〇〇の都市の3日間の観光プランを、異なる興味（歴史、芸術、食事）を持つ旅行者向けに作成してください。

    • プロンプト戦略として以下を加える
      Copy

      １つの興味については70文字以内の出力とし、最大でも合計200文字以内としてください。

  • 素の依頼文
    Copy

    あなたは経験豊富な環境ジャーナリストです。〇〇に関する最新の研究結果を、一般読者向けに解説する記事を書いてください。

    • プロンプト戦略として以下を加える
      Copy

      以下の条件を守ってください：
         - 厳密に300語以内で書くこと
         - 科学的事実のみを報告し、個人的な意見や推測を含めないこと
         - 少なくとも2つの具体的な統計データを含めること
         - 専門用語を使用する場合は、必ず簡単な説明を付けること"