설명
가장먼저 실행되는 DAG로 학습 말뭉치의 TFIDF를 구하는 DAG이다. 모든 파이프라인 중 가장 먼저 작동해야 한다.
→ 서버와 연결된 후에 가장 먼저 실행이 되어야 한다.
create_db_table
가장 먼저 실행이되면 Postgre 데이터베이스에 필요한 테이블을 추가하는 단계이다.
로우 쿼리를 보내어 테이블을 생성하게 된다.
set_train_file_dfs
학습 파일의 document frequency를 Postgre 데이터베이스에 저장을 하는 테스크
-
성능상 개선점
다른 라이브러리를 사용하지 않고 for을 이용해서 루프를 돌면서 쿼리를 보내게된다.
보내는 쿼리의 횟수를 줄이고, 라이브러리를 적극 활용하여 최적화를 시켜보자
-
개선
pandas와 sklearn를 사용하자
- pandas: 말뭉치 데이터를 불러와서 dataframe 형태로 변환 → read 시간 단축
- sklearn: CountVectorizer를 이용해서 df를 파악하는데 시간 단축
-
문제
라이브러리를 사용하여 위와 같은 db 테이블과 같은 방식으로 사용이 가능하다.
- PostgresHook → airflow에서 지원을 하는 클래스 툴
- padasd → SQLAlchemy와 연동하여 bulk insertion이 가능 하도록
성능
-
2시간이 넘는 상황에서 db와의 연결이 중간에 끊어지는 문제가 발생한것 같다.
-
라이브러리를 적극 사용한 결과
6분 정도 걸리는 것 같다.
