ML Ops/ML Ops Basic

MLOps Series #7 - Katib (AutoML Platform)

PM스터 2023. 1. 28. 16:52
반응형

"이 포스팅은 쿠팡 파트너스 활동의 일환으로, 이에 따른 일정액의 수수료를 제공받습니다."
링크: "https://link.coupang.com/a/bqfD0v

 

MLOps 도입 가이드:기업에서 머신러닝 모델을 가장 효율적으로 운영하는 방법

COUPANG

www.coupang.com

Katib

1) Katib란? 

Katib란 AutoML을 위한 쿠버네티스-네이티브 프로젝트이다.

2) Katib의 구성 요소 

Katib는 Hyperparameter Tuning, Early Stopping, Neural Architecture Search등의 기능을 제공한다. 조금 더 구체적으로 Katib의 기능을 세분화하면 아래와 같다. 

  1. Cluster Management
    1. 쿠버네티스 환경을 통한 클러스터 관리 수행.
    2. Katib는 쿠버네티스 네이티브하기 때문에 쿠버네티스가 자동적으로 Auto-healing, Auto-Scaling, Rollout하게 할 수 있다. 
  2. Agnostic to ML Framework 
    1. ML Framework에 관계없이 동작하는 프로젝트로, Pytorch, Tensorflow, Scikit-learn등을 모두 지원한다. 
    2. Package에 상관없이 Container화만 하면 작동되도록설계되어있다. 
  3. Support Scikit-Optimize, HyperOpt, Optuna
    1. 많은 외부 Hyperparameter Optimization(HPO)기능들을 Katib이 지원한다. 

3) Katib의 Concepts 

  • Katib은 아래와 같은 구조를 따른다.
    •                    → Suggestion - Trial - Worker Job - Pod
    • Experiment → Suggestion - Trial - Worker Job - Pod
    •                    → Suggestion - Trial - Worker Job - Pod
  • Katib의 구조는 기본적으로 Experiment / Suggestion / Trial을 중심으로 구성된다. 
    • Experiment:
      • Hyperparameter Optimization 전체 과정 1회를 의미한다. 
      • Objective + Search Space + Search Algorithm
    • Suggestion:
      • 후보 Hyperparameter조합 1세트
    • Trial:
      • 후보 Hyperparameter조합에 따른 Train & Eval 1세트 

 

Reference:

https://github.com/kubeflow/katib

반응형