batch

그러면 아래와 같을경우를 생각해 보자. 총 데이터가 50,000개 chunkSize가 1,000 데이터 베이스를 조회할때 pageSize 가 300일때는 어떻게 되는걸까? 성능 차이 데이터베이스 호출 빈도: Page Size가 300일 경우, Chunk Size인 1,000건의 데이터를 처리하기 위해 데이터베이스에 총 4번 호출이 발생합니다 (1,000 ÷ 300 = 3.33, 올림하여 4). 이는 Page Size가 Chunk Size와 같거나 큰 경우에 비해 더 많은 데이터베이스 I/O가 발생한다는 것을 의미합니다. 빈번한 데이터베이스 호출은 네트워크 오버헤드와 I/O 비용을 증가시킬 수 있으며, 이는 전체 배치 작업의 성능에 영향을 줄 수 있습니다. 메모리 사용량: Chunk Size에 비해 상대적..
Chunk 방식 정의: Chunk 방식은 데이터를 일정량의 '조각(Chunk)'으로 나누어 처리합니다. 각 Chunk는 읽기(Read), 처리(Process), 쓰기(Write)의 순서로 진행됩니다. 장점: 대량의 데이터를 효율적으로 처리할 수 있습니다. 재시작 가능성 및 성능 최적화에 유리합니다. 단점: 단순한 작업에는 Tasklet에 비해 과도할 수 있습니다. 구현이 Chunk 단위로 제한됩니다. Tasklet 방식 정의: Tasklet 방식은 한 번의 배치 작업을 단일 작업(Tasklet)으로 처리합니다. 각 Tasklet은 독립적으로 실행되며, 복잡한 로직을 구현할 때 사용됩니다. 장점: 복잡한 로직을 자유롭게 구현할 수 있습니다. 배치 작업의 흐름을 세밀하게 제어할 수 있습니다. 단점: 대량 데..
kalkin
'batch' 태그의 글 목록