여러개의 DB 사용하기

• settings.py 설정 변경

  • 새로운 데이터 베이스를 추가

  DATABASES = {
  		'default': env.db('DJANGO_DATABASE_URL'),
      'airflowdb': env.db('AIRFLOW_DATABASE_URL'),
  }
  

  • DB router를 추가한다.

  DATABASE_ROUTERS = {
      'feed.dbrouter.MultiDBRouter',
  }
  

• dbrouter.py 설정

  • 모델 정의시에 app_label에 접근하여 기본적으로 db를 선택하게 된다.

  class Meta:
      ...
      app_label = 'airflowdb'
      db_table = 'recommend_keyword2link'
  		...
  

  • db_for_read, db_for_write, allow_relation, allow_migration
  • 위의 기본적인 메서드를 통해서 여러개의 디비를 통재할 수 있다.

Masterpik API → GET

• postman setting(swagger 작동❌)

  • 토큰 설정을 한다.

  

• API 개요

  • method: GET
  • url: <base>/api/v1/feed/masterpik/
  • filter: NumberFilter 설정 → 굳이 필요한가?

• Django ORM join

  • Django ORM을 이용해서 JOIN을 하는 경우 두 개의 테이블을 돌면서 쿼리를 호출하는 횟수를 최소화하여야 한다.
  • select_related()와 prefetch_related()를 사용하면 보다 편리하게 이를 가능하게 해준다.
    • 위의 두 함수는 자동으로 join 연산을 실행하는 것이 아닌, join의 효율성을 높이기 위해 쿼리 데이터를 모두 불러오는 것을 의미한다.
    • select_related(): 일대일 혹은 일대다 관계에서 사용된다. 쿼리가 한번만 호출되는 장점이 있다.
    • prefetch_related(): 다대다 혹은 다대일 관계에서 사용된다. 테이블의 특성상 join의 대상이 되는 모델을 바로볼때 all()을 반드시 해주어야 한다.
      • 기본적으로 2단 루프를 돌게되는 경우가 생긴다.

• Foreign key 만들기

  • Django의 시스템상 외례키를 등록할 경우 자동으로 <name>_id로 명명된다.
  • 따라서 실수로 미리 어트리뷰트에 <name>_id의 방식으로 작명을 하는 실수가 없도록 하자.

Masterpik list view API

• TODO
  • [ ] 기존의 동작 방식(픽 클릭시)
  • [ ] api 설계
• 기존 동작 흐름
  • GET /api/v1/piks/{pik_slug}/
    • 픽의 슬러그를 이용해 link를 불러온다.
    • 해당 카테고리도 같이 불러온다. → 픽에대한 모든 카테고리를 불러오는 것 같다.
    • 동작 흐름
      • PikViewSet → retrieve → Response
    • Django actions 설정

      • retrieve: read only, return single resouce(expect id)

        • 위와 같은 api에서는 retrieve 액션이 선정된다.
        • 그렇다면 pk와 관련된 정보는 어디서 가져오는가? → kwargs로 정의를 해준다.

        lookup_url_kwarg = 'slug'
        lookup_field = 'slug'
        
        ### get_object()
        filter_kwargs = {self.lookup_field: self.kwargs[lookup_url_kwarg]}
        obj = get_object_or_404(queryset, **filter_kwargs)
        

      • list: read only, return list resouces

  • GET /api/v1/piks/categories/{category_id}/links/
    • 해당 카테고리에 존재하는 link를 불러온다.
    • 위의 API가 선행되고 요청을 보내는 것으로 보인다.
  • GET /api/v1/users/profile/
    • 유저의 프로필
• 새로운 api 흐름

  • categories를 list로

    • API URL → ???
    • airflow db에서 materpik id에 따른 category 데이터를 불러온다.
    • 최대한 비슷한 JSON 타입으로 리턴을 해준다.

    "categories": [
    	{
    	  "id": 6321,
    	  "title": "블록체인 관련 도서",
    	  "editable": true,
    	  "deletable": true,
    	  "count": 2,
    	  "position": -1
    	},
    	...
    ]
    

    • 어떤 DB에 적근을 해야하는가?
      • airflowdb
    • 어떻게 serializer를 만들어야 하는가?

  • categries에 따른 link id를 가져오도록

    • API URL: /api/v1/feed/pik2masterpik/categories/{category_id}/
    • ~~NestedSimpleRouter: 가운데에 들어갈 라우터를 설정~~
      • 굳이 Nested로 설정을 할 필요가 있을까?
      • 그냥 view를 쓰면 될거 같다. → 수정 및 조작이 필요가 없다 → ViewSet❌
    • 필요한 데이터 추출
      • masterpik_links에서 해당 카테고리 아이디에 해당하는 링크 추출
      • linkhub_link에서 관련 링크 정보 추출
      • 동시에 두개의 db에 접근을 하게될 경우 sql이 합쳐지는 상황이 발생하게 된다.
        • 이러한 문제를 해결하기 위해서 list()으로 queryset을 만들어 놓지 말자
        • query를 타입캐스팅으로 인위적으로 sql 쿼리를 분리한다.
    • add_link_filter를 넣어야 하는가?
      • Q는 무엇인가?

        • 쿼리의 where 절에서 or문을 추가하기 위한 객체이다.

        • 첫번쩨 선언 이후로 어떤 쿼리로 연결할지 명시를 해주어야 한다.

          q = Q(no=1)
          q.add(name='lee', Q.OR)
          

AirflowDB 정리

• masterpik_category
  • id
  • target_pik_id: 사용자가 선택한 픽의 아이디
  • category_title
• masterpik_links
  • id
  • category_id🔑
  • lnk_id: 마스터픽을 구성할 메인 서버 링크 아이디
• masterpik_masterpik
  • id
  • topic_id: 제목 부분을 추출할 메인서버 픽 아이디

Machine Learning 자동화

머신러닝 오퍼레이션 자동화, MLOps

Airflow 서버