MLOps Pipeline Project: Financial Anomaly Detection (Clone Coding)

 

 

 

 

그.. Docker에다가 gitlab을 하나 설치했고 또 하나 Docker에다가 Airflow를 설치했어.

Airflow에 접속해서 깃랩 걸어주고, 크다음 Airflow 설치한 도커로 들어와서 csv 파일 가져오고 그다음 데이터 다듬어서 학습까지 시켰어

 

 

 

그다음 bentoml 을 import해서 패키징으로 해줬어 같은 도커에다가 그다음 테스트했어 runner로(assert해서 같은지 검증) 

 

 

 

그다음 bentoML로 모델 서빙하려고 Service를 만들었어. (서비스에 input, output을 처리할 수 있게 했어.) 

 

 

그다음 bento 파일 yaml파일을 만들었어. 서비스 정의를 했어 거기에. (requirements 등) 그다음 bento를 빌드해줬어 그다음 컨테이너를 만들어줬어 (containerize) 

 

 

그다음 레지스터에 넣어줬어 이미지 태그 해주고. docker push로 모델 서빙으로 등록되도록 세팅해줬어 

 

 

그다음 GitLab 을 이용한 ML모델 CI/CD 구성을 해줬어 

 

 

깃랩 runner에서 쓰일 이미지를 올리기도 하고 bentoML에서 만든게 docker로 올라갈 수 있도록 해준대 

runner가 gitlab과 통신할 수 있도록 토큰을 넣어줬대. 깃랩 러너 셋팅이 그럼 된거고,

 

 

CICD Variable도 해주고 SSH_key도 해줬어 

 

 

Airflow에도 추가해줬어 Add Variable 가가지고. 그다음 Airflow worker에 셋팅도 해줬어. Docker out of Docker 셋팅하려고 스크립트를 만들어줬어. 

 

 

그다음 pipelinee editor에다가 쭉 코드를 넣어줬어 배포되는 과정. 그리고 최종적으로 artifact 저장이 될거야. 

 

 

Airflow의 DAG에 잘 올라왔어. 이제 모델 서빙 해주고 url로 접속 하니까 Swagger 통해서 테스트 해보고 잘 작동함을 확인했어.