연향동큰손

  • 홈
  • 태그
  • 방명록

2025/09/15 1

대용량 데이터 수집을 병렬 처리로 최적화하기

프로젝트를 진행하면서 고용24에서 제공하는 "내일배움카드 교육" 정보를 OPEN API로 호출하는 방법 대신 DB에 저장하여 조회하는 방식으로 변경하기 위해 모든 데이터를 저장을 해봤다. 국민내일배움카드 훈련과정 API는 총 3가지로 분류된다.훈련과정 목록훈련과정,기관 정보훈련일정훈련과정의 총 개수는 88366개이다. 모든 훈련과정을 저장하기 위해 훈련과정 목록을 저장했고 모든 지역의 훈련과정을 순차적으로 검색했을때 총 1시간 37분이 걸렸다. 이렇게 저장된 훈련과정 ID를 사용하여 훈련과정,기관정보, 훈련일정을 검색하기 위해서는 하나의 훈련 ID당 두번의 API호출이 필요했다.즉, 상세정보를 저장하기 위한 총 조회 횟수는 16만번 이상이 된다. 88366개의 데이터를 순차적으로 돌면서 상세정보를 수집하..

BackEnd/spring 2025.09.15
이전
1
다음
더보기
프로필사진

연향동큰손

https://github.com/yangwoohyeon

  • 분류 전체보기 (240) N
    • BackEnd (100) N
      • spring (22) N
      • 스프링 MVC (25)
      • Thymeleaf (17)
      • HTTP (12)
      • Database (14)
      • Kafka (6)
      • Redis (4)
    • 알고리즘 (0)
      • 백준 (53)
      • 해시 (4)
      • 스택 큐 (8)
      • DP (5)
      • 힙 (2)
      • 정렬 (3)
      • 완전탐색 (6)
      • DFS,BFS (6)
      • 탐욕법(Greedy) (5)
      • 배열 (1)
    • Deployment (13)
      • Docker (5)
      • AWS (5)
      • github Actions (1)
      • Cloudflare (2)
    • 자바 (7)
    • 컴퓨터 (3)
    • git (5)
    • 프로젝트 (1)
    • 에러 일기 (2)
    • 9oormthonUNIV 스터디 프로젝트 (4)
    • DevOps (11)
      • Kubernetes (7)

Tag

@Transactional, 타임리프, Docker, 그래프, BFS, 배포, dfs, AWS, kubernetes, 프로그래머스, 그리디 알고리즘, spring, 백준, 검증, 브루트포스, Kafka, 스프링, 자바, EC2, 정렬,

최근글과 인기글

  • 최근글
  • 인기글

최근댓글

공지사항

Archives

Calendar

«   2025/09   »
일 월 화 수 목 금 토
1 2 3 4 5 6
7 8 9 10 11 12 13
14 15 16 17 18 19 20
21 22 23 24 25 26 27
28 29 30

방문자수Total

  • Today :
  • Yesterday :

Copyright © Kakao Corp. All rights reserved.

  • 깃허브

티스토리툴바