(AI 서비스 개발 기초) 머신러닝 프로젝트 라이프 사이클

이 색깔은 주석이라 무시하셔도 됩니다.

Part 1. Product Serving 개론

머신러닝 프로젝트 Flow (라이프 사이클)

문제 정의의 중요성

• 앞으로 겪을 일은 대부분 문제(Problem)로 정의할 수 있음
  • 회사 업무 외에도 인생에서 겪는 내용도 포함해서
• 문제 정의 : 특정 현상을 파악하고 ⇒ 그 현상에 있는 문제(Problem)을 정의하는 과정
• 문제를 잘 풀기(Solve) 위해선 문제 정의(Problem Definition)이 매우 중요함
• 풀려고 하는 문제가 명확하지 않으면 그 이후 무엇을 해야할지 결정하기 어려워짐
• 예 : 저는 사람들을 행복하게 만들고 싶어요
  • 어떤 사람들을 대상으로? 모든 사람들을 대상으로?
  • 행복의 정의는 무엇인가? 금전적 부? 감정적인 상황?
    • 행복의 정의에 따라 무엇을 할 수 있을지가 다름
• 머신러닝 알고리즘, 개발 능력도 중요하지만, 근본적인 사고 능력도 중요
• 문제를 충분히 정의하고 고민하는 습관을 만드는 것이 중요함
• 머신러닝, AI, 데이터 사이언스, 개발 등 대부분 업무에서 항상 문제 정의가 선행되어야 함
• How보다 Why에 집중
• 문제 정의란?
  • 본질을 파악하는 과정
  • 해결해야 하는 문제는 무엇이고 그 문제를 해결하면 무엇이 좋을까? 어떻게 해결하면 좋을까?

프로젝트 Flow

• 문제를 해결하기 위한 Flow
  • 현상 파악
  • 목적, 문제 정의 ⇒ 계속 생각하기, 쪼개서 생각하기
  • 프로젝트 설계
  • Action
  • 추가 원인 분석

현상 파악

• 어떤 현상이 발견되었는가? 현재 상황을 잘 파악하는 것이 중요
  • 어떤 일이 발생하고 있는가?
  • 해당 일에서 어려움은 무엇인가?
  • 해당 일에서 해결하면 좋은 것은 무엇인가?
  • 추가적으로 무엇을 해볼 수 있을까?
  • 어떤 가설을 만들어 볼 수 있을까?
  • 어떤 데이터가 있을까?
  • 예) 레스토랑의 매출이 감소하고 있다. 3달 연속으로 감소되고 있으며, 전체적인 손님 수가 줄어들고 있다.

구체적인 문제 정의

• 무엇을 해결하고 싶은가?
• 무엇을 알고 싶은가?
• 앞선 현상을 더 구체적으로 명확한 용어로 정리해보기
• 앞선 현상에서 데이터를 확인해보니 다음과 같은 내용을 알 수 있었음
  • 처음 방문하는 손님들이 심하게 줄어들고 기존 손님들도 줄고 있다.
  • 상대적으로 처음 방문하는 손님들이 더 줄어들고 있다.
• 여러가지로 문제를 해결할 수 있음
  • 가게를 SNS 등에 홍보
    • ⇒ 마케팅 조직에서 진행
  • 처음 방문하는 손님들이 어려움을 가지고 있을 수 있음
    • ⇒ 어떤 어려움인지 더 구체적으로 확인해보기
• 처음 방문하는 손님들의 어려움을 확인하기 위해 데이터를 확인해보고, 처음 방문하는 분들에게 인터뷰를 통해 질문
• 그 결과, 가게의 메뉴가 너무 다양하고 설명이 부족해서 메뉴를 선정하기 어려워서 아무렇게나 선택하고 만족도가 낮았다고 함
• 문제 상황 : “메뉴가 너무 다양해서 선정하기 어렵다”
• 이 문제를 일으키는 원인과 해결 방안을 고민해보기
• 원인
  • 메뉴가 다양하다
  • 설명이 부족하다
• 해결 방안
  • 메뉴를 줄인다?
    • ⇒ 비즈니스 상황에 따라 일시적으로 줄일 수는 있지만 궁극적인 해결인지는 반신반의
  • 설명을 늘린다?
    • ⇒ 당장 수정할 수 있는 요소. 어떤 상황에 이 음식을 먹으면 좋은지 가이드를 줄 수 있음
• 당장 진행할 수 있는 설명을 늘리는 방식을 사용하고, 병렬로 손님의 취향에 기반한 음식을 추천할 수 있지 않을까?
• 설명을 늘리는 방식 = 룰 베이스(만약 이런 음식을 좋아한다면 이런 부분을 추천드려요) ⇒ 당장의 문제 해결
• 추천 = 알고리즘 개발 ⇒ 문제 해결의 또 다른 방법
• 문제 정의는 결국 현상을 계속 쪼개고, 그 문제를 기반으로 어떤 어려움을 겪고 있는지를 파악함
• 데이터로 할 수 있는 일을 만들어서 진행하되, 무조건 알고리즘 접근이 최상은 아니라는 방법을 제시할 수 있어야 함(간단한 방법부터 점진적인 접근)
  • 우리는 시간의 제약을 받고 있기 때문
• 원인을 계속 파고들면, 해결 방법이 구체적으로 나올 수 있음
• 여기서 인지하면 좋은 내용
  • 문제를 쪼개서 파악해보자
  • 문제의 해결 방식은 다양하다
  • 해결 방식 중에서 데이터로 해결할 수 있는 방법을 고민해보기
  • 점진적으로 실행하기
• 처음엔 룰 베이스로 만들고 룰 베이스를 베이스라인처럼 활용하여 기준점으로 생각하고 병렬로 모델링을 해보는 것이 좋음
  • 머신러닝, AI가 만능이 아니고 간단한 것을 먼저 제시하고 AI로 문제를 풀 수 있다는 것을 제시하는 것이 좋음

프로젝트 설계

• 경험담
  • 머신러닝 프로젝트 과정 - 최초 생각
    • 문제 정의
    • 데이터 수집
    • 모델 개발
    • 모델 배포
    • 수익 획득!
  • 머신러닝 프로젝트 과정 - 현실
    • 문제 정의
    • 최적화할 Metric 선택
    • 데이터 수집, 레이블 확인
    • 모델 개발
    • 모델 예측 결과를 토대로 Error Analysis. 잘못된 라벨이 왜 생기는지 확인
    • 다시 모델 학습
    • 더 많은 데이터 수집
    • 다시 모델 학습
    • 2달 전 테스트 데이터에선 성능이 좋지만 어제 데이터엔 성능이 좋지 않음
    • 모델을 다시 학습함
    • 모델 배포
    • 최적화할 Metric이 실제로 잘 동작하지 않아 Metric을 수정
    • 다시 시작

문제 정의 후, 프로젝트의 설계를 최대한 구체적으로 하는 것이 좋구나!

• 미리 많은 것을 대비한 상황

• 대비하지 않은 상황

• 프로젝스 설계를 자세히 하는 것이 굉장히 중요하다

• 프로젝트 설계

  • 문제 정의에 기반해서 프로젝트 설계

    • 해결하려고 하는 문제 구체화

    • 머신러닝 문제 타당성 확인

      • 머신러닝 문제를 고려할 때는 얼마나 흥미로운지가 아니라 제품, 회사의 비즈니스에서 어떤 가치를 줄 수 있는지 고려해야 함

      • 머신러닝 문제는 결국 데이터로부터 어떤 함수를 학습하는 것

      • 머신러닝 문제 타당성 평가하기 : 복잡도를 평가하는 방법은 필요한 데이터의 종류와 기존 모델이 있는지 살펴보기

      • 머신러닝은 모든 문제를 해결할 수 있는 마법의 도구가 아님

      • 머신러닝으로 해결할 수 있는 문제지만 머신러닝 솔루션이 최적이 아닐 수도 있음

        머신러닝이 사용되면 좋은 경우

        • 패턴 : 학습할 수 있는 패턴이 있는가?
          • 복권의 다음 결과 예측할 때 머신러닝 시스템을 구축하는 것이 좋을까?
          • 생성되는 방식에 패턴이 없다면 학습할 수가 없음
          • 주식 가격에서 가격이 완전히 무작위라고 믿으면 모델을 만드는게 불필요함
          • 데이터를 탐색해서 패턴을 발견하면 진행
        • 목적 함수 : 학습을 위한 목적 함수를 만들 수 있어야 함
          • 머신러닝 알고리즘은 유용한 패턴을 학습하거나 노이즈를 패턴으로 학습하는 경우도 존재
          • 지도 학습은 정답 레이블과 예측 결과의 차이로 정의할 수 있음
        • 복잡성 : 패턴이 복잡해야 함
          • 주소 검색 문제 → 우편 번호에 기반해서 정렬되어 있으면 머신러닝이 필요하지 않음
          • 집 가격을 예측할 경우 복잡한 패턴이 필요할 수 있음 : 동네의 평균 가격, 공원 유무, 침실 수, 건축 연식, 학교 수, 자연 재해 등
        • 데이터의 존재 여부 : 데이터가 존재하거나 수집할 수 있어야 함
          • 학습할 데이터가 없으면 프로젝트 진행 전에 데이터 수집부터 진행해야 함
          • 데이터가 없다면 룰베이스 알고리즘을 만든 후, 데이터 수집 계획부터 수립
        • 반복 : 사람이 반복적으로 실행하는 경우
          • 사람은 반복에 능숙함. 아이에게 고양이 사진을 보여주고 고양이를 알아보게 할 수 있음
          • 작업이 반복 ⇒ 패턴
          • 사람의 노동력을 줄일 수 있는 관점

        머신러닝이 사용되면 좋지 않은 경우

        • 비윤리적인 문제
        • 간단히 해결할 수 있는 경우
        • 좋은 데이터를 얻기 어려울 경우
        • 한 번의 예측 오류가 치명적인 결과를 발생시킬 경우
        • 시스템이 내리는 모든 결정이 설명 가능해야 할 경우
        • 비용 효율적이지 않은 경우

    • 목표 설정, 지표 결정

      • 프로젝트의 목표
        • Gola : 프로젝트의 일반적인 목적, 큰 목적
        • Objectives : 목적을 달성하기 위한 세부 단계의 목표(구체적인 목적)
      • 예를 들어, 랭킹 시스템에서 고객의 참여(Engage)를 최대화하고 싶은 Goal이 있는 경우
      • Objectives
        • NSFW(Not Safe For Work) 컨텐츠 필터링을 통해 사용자에게 불쾌감을 줄임
        • 참여에 따른 게시물 랭킹 선정 : 사용자가 클릭할 가능성이 있는 게시물 추천
      • 그러나 참여를 위해 최적화를 하면 윤리적인 의문이 존재할 수 있음
        • ⇒ 극단적으로 클릭을 유도할 자극적인 컨텐츠를 노출할 수 있음(Netflix 소셜 딜레마)
      • 더 건전한 뉴스피드를 만들고 싶음
      • 새로운 Goal : 극단적인 견해와 잘못된 정보의 확산을 최소화하며 사용자의 참여를 극대화하는 목표
      • 새로운 Objectives
        • NSFW 컨텐츠 필터링
        • 잘못된 정보 필터링
        • 품질에 따른 게시물 랭킹 선정 : 좋은 품질인 게시물
        • 참여에 따른 게시물 랭킹 선정 : 사용자가 클릭할 가능성이 있는 게시물
      • 목표를 설정하며 데이터를 확인해야 함(지표와 연결되는 내용이기 때문에)
        • 데이터셋이 레이블링이 되지 않은 경우도 존재
        • 데이터 소스 찾아보기
          • 부정 거래 탐지 : 부정 거래자와 정상 거래자의 거래 내역, 계정 정보 등
      • 정확히 찾으려는 데이터가 없는 경우가 있어서 여러가지 시나리오를 고려하는 것이 좋음
        • Label을 가진 데이터가 있는 경우 ⇒ 바로 사용
        • 유사 Label을 가진 데이터가 있는 경우 ⇒ 음악 스트리밍 서비스에서 노래 재생, 건너뛰기 기록은 선호도를 예측하기 위한 유사 Label
        • Label이 없는 데이터 ⇒ 직접 레이블링 or 레이블링이 없는 상태에서 학습하는 방법 찾기
        • 데이터가 아예 없는 경우 ⇒ 데이터 수집 방법부터 고민
        • 데이터셋을 만드는 일은 반복적인 작업 ⇒ 이걸 위해 Self Supervised Learning 등을 사용해서 유사 레이블을 만드는 방법도 존재
      • Multiple Objective Optimization
        • 최적화하고 싶은 목적 함수가 여러가지 있는 경우, 서로 충돌할 수 있음
        • 품질에 따른 게시물 랭킹 선정 vs 참여에 따른 게시물 랭킹 선정
        • 게시물이 매우 매력적이지만 품질이 의심스러울 경우엔?
      • 품질에 따른 게시물 랭킹 선정 : 게시물 품질 예측
        (게시물 예상 품질 - 실제 품질 : quality_loss)
      • 참여예 따른 게시물 랭킹 선정 : 게시물 클릭 수 예측
        (게시물 예상 클릭 수 - 실제 클릭 수 : engagement_loss)
      • 방법 1
        • 단일 모델
        • 두 loss를 하나의 loss로 결합하고, 해당 loss를 최소화하기 위해 모델을 학습하는 방법
        • loss = $\alpha$ quality_loss + $\beta$ engagement_loss
        • 알파와 베타를 필요에 따라 조정해야 함
      • 방법 1의 문제 : 알파와 베타를 조정할 때마다 모델을 다시 학습시켜야 함
      • 방법 2
        • 2개의 모델 (각각의 loss를 최소화)
        • quality_loss를 최소화하고 예상 품질을 반환하는 quality_model
        • engagement_loss를 최소화하고 게시물의 예상 클릭 수를 반환하는 engage_model
        • Rank : $\alpha$ quality_model(post) + $\beta$ engagement_model(post)
        • 이제 모델을 재학습하지 않아도 조정할 수 있음
      • Objective가 여러개인 경우에는 분리하는 것이 좋음
        • 학습하기 쉬워야 함
          • 하나의 objective를 최적화하는 것이 여러 objectives를 최적화하는 것보다 쉬움
        • 모델을 재학습하지 않도록 모델을 분리
        • Objectives는 수정해야 하는 유지보수 일정이 모두 다를 수 있음
          • 예) 스팸 필터링은 품질 순위 시스템보다 더 빠르게 업데이트해야 함

    • 제약 조건(Constraint & Risk)

      • 일정 : 프로젝트에 사용할 수 있는 시간
      • 예산 : 사용할 수 있는 최대 예산은?
      • 관련된 사람 : 이 프로젝트에 인해 영향을 받는 사람은?
      • Privacy : Storage, 외부 솔루션, 클라우드 서비스 등에 대한 개인정보 보호 요구
      • 기술적 제약
        • 기존에 운영하고 있던 환경 : 레거시 환경(인프라)가 머신러닝 적용할 때 큰 제약일 수 있음
      • 윤리적 이슈 : 윤리적으로 어긋난 결과
      • 성능
        • Baseline : 새로 만든 모델을 무엇과 비교할 것인가? 기존에 사람이 진행하던 성능 or 간단한 회귀
        • Threshold : 확률값이 0.5 이상일 경우 강아지라고 할 것인지, 0.7 이상일 경우 강아지라고 할 것인지?
        • Performance Trade-off : 속도가 빠른데 Acc 0.93 vs 속도는 조금 더 느린데 Acc 0.95
        • 해석 가능 여부 : 결과가 왜 발생했는지 해석이 필요할까? 해석이 필요한 사람은?
        • Confidence Measurement : False Negative가 있어도 괜찮은지? 오탐이 있으면 안되는지?

    • 베이스라인, 프로토타입

      • 모델이 더 좋아졌다고 판단할 수 있는 Baseline이 필요
        • 꼭 모델일 필요는 없음
        • 자신이 모델이라 생각하고 어떻게 분류할지 Rule Base 규칙 설계
      • 간단한 모델부터 시작하는 이유
        • 어떻게든 모델의 위험을 낮추는 것이 목표가 되어야 함
        • 가장 좋은 방법은 최악의 성능을 알기 위해 허수아비 모델로 시작하는 것
        • 초기엔 단순하게 사용자가 이전에 선택한 행동을 제안할 수 있고, 추천 시스템에선 제일 많이 구매한 것을 추천할 수도 있음
      • 유사한 문제를 해결하고 있는 SOTA 논문 파악해보기 ⇒ 우리의 문제에선 어떤 시도를 해볼 수 있을까?
      • 베이스라인 이후에 간단한 모델을 만들면 피드백을 들어보면 좋음
      • 회사의 동료들에게 모델을 활용할 수 있는 환경 준비
      • 프로토타입을 만들어서 제공
        • Input을 입력하면 Output을 반환하는 웹페이지
        • 이왕이면 좋은 디자인을 가지면 좋지만, 여기선 모델의 동작이 더 중요
        • HTML에 집중하는 것보다, 모델에 집중하는게 중요
        • 이를 위해 Voila, Streamlit, Gradio 등을 활용

    • 평가(Evaluation) 방법 설계

지표 결정

• 앞에서 Objectives를 구해서 모델의 성능 지표는 확인함
• 모델의 성능 지표와 별개로 비즈니스 목표에 영향을 파악하는 것도 중요
• 앞선 문제를 해결할 경우 어떤 지표가 좋아질까?를 고민해야 함
• 이 부분은 작게는 모델의 성능 지표(RMSE)일 수 있고, 크게는 비즈니스의 지표일 수 있음 (고객의 재방문율, 매출 등)
• 지표를 잘 저으이해야 ⇒ 우리의 Action이 기존보다 더 성과를 냈는지 아닌지를 파악할 수 잇음 (이를 위해 AB Test를 진행하기도 함)
• 만든 모델이 비즈니스에 어떤 임팩트를 미쳤을지(매출 증대에 기여, 내부 구성원들의 시간 효율화 증대 등) 고려하면서 만드는 사람이 되길 바람
• 대부분 기업 : 이익 극대화를 목표
• 머신러닝 프로젝트는 궁극적으로 수익을 높이는 것이 목표
• 간접적으로 기업의 이익 극대화에 영향을 미칠 수 있음
  • 전환율 증대 ⇒ 매출 증대
  • 반복 업무 자동화 ⇒ 내부 직원의 리소스 효율로 인한 비용 절감
  • 간접적으로 더 높은 고객 만족도 창출, 웹사이트에서 보내는 시간 늘리기 등
  • 개인화된 솔루션을 제공해 서비스를 더 많이 사용하도록 만들어 매출을 증가시킬 수 있음
• 개발 및 배포 중에 시스템의 성능은 어떻게 판단할 수 있을까?
• 정답 레이블이 필요한 경우 사용자 반응에서 어떻게 레이블을 추론할 수 있을까?
• 모델 성능을 비즈니스 Goal과 Objectives를 어떻게 연결할 수 있을까?

Action (모델 개발 후 배포 & 모니터링)

• 앞서 정의한 지표가 어떻게 변하는지 파악하기
  • 현재 만든 모델이 어떤 결과를 내고 있는가?
  • 잘못 예측하고 있다면 어떤 부분이 문제일까?
  • 어떤 부분을 기반으로 예측하고 있을까?
  • Feature의 어떤 값을 사용할 때 특히 잘못 예측하고 있는가?

추가 원인 분석

• 새롭게 발견한 상황을 파악해 어떤 방식으로 문제를 해결할지 모색
• 그 과정에서 앞서 진행한 과정을 반복

비즈니스 모델

비즈니스 모델

• 회사에 업무할 때 중요한 것이 무엇인지 알아야 함
• 회사에서 중요한 것 = 비즈니스
• 즉, 비즈니스에 대한 이해도가 높을수록 문제 정의를 잘 할 가능성 존재

비즈니스 모델 파악하기

• 회사는 비즈니스 모델을 만들고, 비즈니스 모델을 통해 매출이 발생함
• 해당 비즈니스 모델에서 어떤 데이터가 존재하고 그 데이터를 기반으로 어떤 것을 만들 수 있을지 생각

1. 회사의 비즈니스 파악하기
   • 회사가 어떤 서비스, 가치를 제공하고 있는가?
2. 데이터를 활용할 수 있는 부분은 어디인가? (Input)
   • 데이터가 존재한다면 어떤 데이터가 존재하는가?
   • 데이터로 무엇을 할 수 있을까?
   • 해당 데이터는 신뢰할만한가? 데이터 정합성은 맞는가? 레이블이 잘 되어있는가? 계속 받을 수 있는가?
   • 다양한 팀에 있는 분들과 직접 인터뷰하는 것도 좋은 방법
   • 무엇을 해볼 수 있을까?
     • 왜 해야하는가?
3. 모델을 활용한다고 하면 예측의 결과가 어떻게 활용되는가? (Output)
   • 고객에게 바로 노출(추천, 얼굴 필터 등) ⇒ 더 좋은 가치 제공 / 매출 증대
   • 내부 인원이 수동으로 진행해야 하는 업무를 자동화할 수 있음

• Uber Case Study

  • 회사가 어떤 서비스, 가치를 제공하고 있는가?

    • 우리가 대표적으로 알고 있는 Uber : Taxi와 유사한 이동 서비스

    • 보통 기업의 홈페이지에 보면 제품(Product) 라인업이 있음

      • Uber : 차량 서비스, Uber Eats, 수익 올리기, 도시 발전 촉진, 비즈니스

        

    • 차량 서비스의 핵심 : 수요와 공급을 매칭시켜 손님과 드라이버가 만날 수 있는 플랫폼 역할

    • 많은 드라이버 ⇒ 손님 관점에서 대기 시간 줄어듬 ⇒ 손님이 많아짐 ⇒ 시간당 많은 수입 ⇒ 많은 드라이버

      

    • 대기 시간 줄이기(ETA, Estimated time of Arrival)
      ⇒ 드라이버의 시간당 수익 증가, 고객의 기다리는 시간 줄임

      • 어떤 차량을 어떤 고객에 배정해야 하는가?

    • Uber 엔지니어링 블로그에서 간접적으로 파악할 수 있음

      Engineering

    • 누군가 산업에 대해 정리해둔 Paper가 있는지 찾아보기
      예) awesome mobility machine learning github

    • 해당 산업군에서 사용하는 기술

      • ⇒ 해당 비즈니스에 어떻게 적용할 수 있을까
      • ⇒ 추가 가치 발견
      • ⇒ 머신러닝, AI가 비즈니스에 영향을 주는 과정을 이해

출처: 부스트캠프 AI Tech 4기(NAVER Connect Foundation)