인프런 커뮤니티 질문&답변

안녕하세요, 강사님.

빠른 답변 감사합니다!

현재 저는 각 실험(Experiment)마다 아티팩트를 등록하고 있으며, 모델 추론 시 모델 바이너리 파일뿐만 아니라 해당 run_id에 연관된 아티팩트들을 함께 가져와서 사용하고 있습니다.

실무에서는 이러한 run_id를 어떤 방식으로 관리하는지 궁금합니다.
보통 별도의 저장소(DB, 메타데이터 저장소 등)에 run_id를 저장하여 관리하는지, 아니면 AWS Secret Manager나 Parameter Store와 같은 비밀 관리 서비스에 저장하여 활용하는지 실무 사례가 궁금합니다.

감사합니다! 😊

def load_model_and_preprocessor() -> Tuple[PyFuncModel, joblib.load]:
    """
    Load the model and preprocessor from MLflow.
    """
    model_name = Config.get_mlflow_config().get("model_registry_name")
    run_id: str = Config.get_mlflow_run_id()
    logged_model = f"runs:/{run_id}/{model_name}"
    loaded_model = mlflow.pyfunc.load_model(logged_model)

    # 전처리기 로드
    preprocessor_path = mlflow.artifacts.download_artifacts(
        run_id=run_id, artifact_path="preprocessor.pkl"
    )
    preprocessor = joblib.load(preprocessor_path)

    # 상위 50개 피처 인덱스 로드
    feature_path = mlflow.artifacts.download_artifacts(
        run_id=run_id, artifact_path="top_features_indices.npy"
    )
    top_features_indices = np.load(feature_path)

    return loaded_model, preprocessor, top_features_indices

안녕하세요.

회사 아키텍쳐를 자세히 말씀드릴 수 는 없지만, 대략만 말씀드리면, 말씀하신 것과 비슷하게 ML 모델이 배포될 때 run_id를 자체 Secrets 관리 도구와 데이타베이스에 저장하고, 모델 서빙 시 해당 서비스에서 run_id를 조회하여 모델 로드하여 사용하고 있습니다.

AWS를 헤비하게 사용하신다면, IAM으로 특정 서비스 또는 사용자만 run_id를 읽을 수 있도록 제한 가능하면 보안이 더 강화되실 겁니다.

너무 감사드립니다.
궁금했던 포인트들이 해소되었습니다!

항상 좋은 강의를 공유해주셔서 너무 감사드립니다.

혹시 kubeflow, feature store과 같은 다른 MLOps 툴들도 강의 제작 예정이 있으실까요?

저희가 Kubeflow를 사용하고 있지만, 제가 강의 만들어도 별로 강의를 살 사람들이 없어보여서 ㅎㅎㅎ 시간되면, 여기에 익스텐션으로 한번 넣어보겠습니다.