172만명의 커뮤니티!! 함께 토론해봐요.
미해결
스프링 배치
skipListener를 등록하여 테스트 중입니다. writer 에서 exception이 발생했는데 바로 skipListener로 넘어가지 않고 동일한 item에 대해 processor, writer를 한번 더 실행하고 skipListener로 넘어가는 현상을 발견했습니다. 찾아보니 spring batch의 기본 동작 로직인 걸로 나오네요. 보다 안정적인 수행을 위해 있는 기능 같은데 이렇게 재실행하지 않고 오류가 발생하면 바로(!!!) skipListener로 넘어가도록 할 수 있는 방법이 있을까요?
미해결
스프링 배치
- 학습 관련 질문을 남겨주세요. 상세히 작성하면 더 좋아요! - 먼저 유사한 질문이 있었는지 검색해보세요. - 서로 예의를 지키며 존중하는 문화를 만들어가요. - 잠깐! 인프런 서비스 운영 관련 문의는 1:1 문의하기를 이용해주세요. 선생님 안녕하세요! 질문이 있습니다. 코드를 봐보니 AsyncItemProcessor를 사용할 때도 트랜잭션은 개별 아이템 단위가 아니라 Chunk 단위인 것 같은데 맞을까요?
미해결
스프링 배치
안녕하세요. 잡파라미터 기본 설정 관련 질문이 있습니다. 스프링 배치에서는 잡파라미터를 입력하지 않은 경우 이전 배치 실행 이력에서 (실행한 적이 있는 경우) 사용되었던 잡파라미터를 가져와 그값을 세팅해서 실행을 시키는대요. 이렇게 처리하는 이유가 무엇인지 궁금합니다. 아무때나 그러는 건 아닌 것 같고 RunIdIncrementer 를 사용할 때만 이렇게 동작하는 것으로 보이는데 어떤 이유가 있을까요?
미해결
스프링 배치
안녕하세요 선생님. 질문이 있습니다. 제가 알기로 배치에서는 청크 단위로 트랜잭션이 관리되는 것으로 알고 있습니다. 그렇다면 같은 트랜잭션 내에서는 같은 트랜잭션 매니저를 사용할 거라고 생각했는대요. 한 step에서 txManagerA 라는 트랜잭션 매니저를 세팅 했는데 writer 로직에서 특정 repository 을 주입 받아 쿼리 수행을 했더니 txManagerB 라는 다른 트랜잭션 매니저를 사용하게 되어 의도와는 다르게 동작합니다. slave db 조회용 txManagerA, entityManagerFactoryA bean을 따로 만들었습니다. jpa 전체 설정은 @EnableJpaRepositories 어노테이션에 의해 마스터 DB용 txManagerB 로 등록되어있습니다. 엔티티, 레파지토리 패키지 경로는 마스터, 슬레이브 둘 다 같습니다. 트랜잭션을 별도로 연것도 아닌데 (propagation=requires_new는 사용하지 않았습니다.) 어째서 부모 트랜잭션의 txManager 를 사용하지 않는건지 잘 이해가 되지 않습니다. 제가 뭔가 설정을 잘못한 걸까요? 아니면 스프링의 트랜잭션 정책일까요?
미해결
스프링 배치
안녕하세요 강사님 강의 정말 잘 듣고 있습니다! 스프링부트에서 기본 제공하는 RunIdIncrementer에서 마지막 반환값 코드를 보면 return new JobParametersBuilder( params ).addLong(this.key, id).toJobParameters(); 기존 paramers에 파라미터를 새롭게 add해주는 것으로 보이는데, 수업 10분쯤, 커스텀 클래스에서는 return new JobParametersBuilder().addString(" run.id ", id).toJobParameters(); 이렇게 JobParametersBuilder 안에 params를 넣어주지 않았는데 왜 잘 동작하는 지 궁금합니다! 제가 이해를 못 했거나, 빠트린 부분이 있을까요~?
미해결
스프링 배치
spring batch5에서 더이상 JobBuilderFactory와 StepBuilderFactory를 지원하지 않아 스프링 가이드를 참고해 JobBuilder와 StepBuilder로 해보고 있는데 아무래도 수업내용과는 코드차이가 있어 어려움이 있는데요, 혹시 spring batch5에 호환되는 버젼의 코드 업데이트 예정이 있으신지 여쭈어봅니다!
미해결
스프링 배치
주황색 박스의 next() 부분을 @Bean public Job batchJob() { return this.jobBuilderFactory.get("batchJob") .start(step1()) .on("COMPLETED") .to(step2()) .on("*") .stop() .from(step1()).on("*") .to(step3()) .on("COMPLETED") .to(step4()) .on("FAILED") .end() .end() .build(); } 이렇게 on("COMPLETED").to(step4()) 로 변경해도 동일하게 동작하는게 맞을까요? next() 로 결국 이전 작업이 성공해야 실행되는것으로 알고있어서요
미해결
스프링 배치
안녕하세요, ItemStream 강의 부분 질문이 있어 글 남갑니다! CustomIteamStreamReader와 Writer는 Bean으로 생성하지 않아도 되는건가요?
미해결
스프링 배치
안녕하세요. 강의 잘 보고있습니다. 다름이 아니고 동일한 Job파라미터로 실행했을때 전 강의에서 분명히 예외가 발생했던 것 같은데 어느순간부터 예외가 발생하지 않고 해당 데이터가 쌓입니다. 해당 테이블은 batch_job_execution 테이블입니다. 예외가 발생하게 할 순 없을까요?
미해결
스프링 배치
안녕하세요. 선생님. JobRunner 코드시에 필드 주입을 사용하는 것을 보고 질문을 드립니다. 보통 다른 사람이 필드 주입을 사용하면 개인 스타일인가 하는 편인데요. Configuration 클래스 작성 시에는 롬복을 이용한 생성자 주입을 하셔서 혹시 차이를 두는 것에 특별한 이유가 있는지 궁금합니다. 강의 잘 보고 있습니다. 감사합니다!
미해결
스프링 배치
질문 드립니다. processor의 return 형식이<A, B> 일 때 processor에서 A를 받아 B로 가공하여 return 하는데 이 때 B말고 다른 C도 함께 writer로 return이 가능한가요? step을 구성할 때 reader -> processor -> writer 순서인데 writer까지 진행된 이후 write 한 객체로 다시 processor 혹은 reader -> writer 등을 진행하고 싶을 땐 어떻게 해야 할까요? processor에서 조건을 사용하여 reader를 호출 하고 있는데 reader를 bean으로 생성하지 않고 reader.read (); 와 같은 방식으로 호출하는데 이 방식이 옳바른 방식인가요?
미해결
스프링 배치
해당 강의와 관련된 질문은 아니지만 동시성 관련 강의 오픈 메일에 링크가 이쪽으로 연결이 돼서요. 11/21~28 오픈 예정이라고 하셨는데 혹시 오픈일정을 알 수 있을까요?
미해결
스프링 배치
안녕하세요. 회사에서 저한테 매일 밤 12시에 20개 사이트에서 각각 1000 ~ 6000개의 데이터를 크롤링 후 해당 데이터 목록을 조회하는 웹 사이트 제작 업무를 맡겨서 진행중입니다. 업무를 시키실 때 스프링 배치를 활용해서 만들라고 하시고, 다른 곳에 출장가셔서 사무실에서 혼자 해당 업무를 완료해야하는 상황입니다ㅠㅠ. 다소 답답한 질문일 수도 있지만 다음과 같은 상황에서 제가 잘못 생각하고 있는 게 있는지, 또 이 상황을 해결하려면 어떤 부분의 강의를 들으면 되는지 여쭙고 싶습니다. 스프링 배치 개념이 익숙치 않기 때문에 스프링 MVC로 먼저 만들어봤습니다. 대신 Insert는 배치쪽에서 해야한다고 생각하여 service단에서 DB에 insert를 하는 dao 메소드를 실행시키지 않고 해당 데이터를 담은 List<VO>를 return 후 controller에서 DB insert하는 쪽으로 생각해봤습니다. 그대로 스프링 배치로 가져오려고 하니 step에서 service를 그냥 실행하고 List<VO>를 받아 DB insert를 하는 dao를 실행하면 되는지 아니면 service에 해당하던 내용을 ItemReader, processor, writer과 같이 스프링 배치에서 사용하는 클래스로 바꿔야 하는건지 잘 모르겠습니다. 또 20개의 서비스를 호출해야 하는데, 1개의 job에서 1개의 step에서 호출하는 게 좋을지, 1개의 job에서 20개의 step을 만드는 게 좋을지 각각 20개의 job을 만드는 게 좋을지 여쭤보고 싶습니다. 감사합니다
미해결
스프링 배치
제 소스코드 공유 드립니다. 위 provider를 실행하면 select 절에 ot.tank_seq가 존재함에도 불구하고 order by 절에서 sortKeys로 설정한 ot.tank_seq를 인식하지 못하는 오류가 발생합니다. 제가 검색해본 결과 join절을 사용해서 가져온 필드를 order by 하려면 alias를 붙여 사용하라고 하던데요. 그래서 위 코드처럼 alias를 붙여 실행하면 이와 같은 제가 설정한 적 없는 WHERE 절이 실행되게 되는데 혹시 왜 그럴까요?
미해결
스프링 배치
Spring Batch Test 강의를 보면 @After public void clear() 함수를 만들어서 insert한 데이터를 직접 삭제하는데 테스트코드에서 자동으로 트랜잭션 롤백이 안되는건가요? 안된다면 할 수 있는 방법은 없나요?
해결됨
스프링 배치
안녕하세요. 강의 수강하며 많은 도움이 되고 있습니다! 제가 현재 Spring Batch 로 배치 업무를 개발 중에 있는 데 질문이 있어 문의드립니다. 청크 프로세스를 사용하여 개발하면서 reader, processor, writer 로 구현하였을 때, 청크 단위로 데이터를 처리할 때 BATCH_STEP_EXECUTION 테이블에 실시간으로 reader 시에는 read_count 가. writer 시에는 write_count 가 청크 단위로 업데이트 되는 걸로 이해하고 있습니다. 문의 드리고자 하는 내용은 ItemReadListener(혹은 이외에 방법)를 통해서 StepExecution 객체를 불러와 readCount, writeCount, commitCount 등을 확인(로깅)하는 방법이 있을지 문의드립니다. 즉, 동일 Step 안에서 청크단위마다 reader() 메소드를 반복 수행할 때 StepExecution의 readCount 를 조회가 가능할 지 궁금합니다.
해결됨
[스프링 배치 입문] 예제로 배우는 핵심 Spring Batch
안녕하세요 강사님. 우선 강의 잘 들었다고 말씀드리고싶습니다. 다름이 아니라, 프로젝트에 스프링 배치를 적용시켜보려합니다. 아.. 근데 애플리케이션을 실행하면 기본으로 생성되는 배치 테이블이 생성되질 않습니다. (로컬에서는 h2 사용중입니다.) 현재로서는 임시방편으로 BatchProperties 에 나와있는대로 schema-h2.sql 내용을 복사해서 애플리케이션 구동 후, sql console 에 붙여넣기하여 배치 테이블을 직접 만들어주고있습니다. (이렇게 하면 배치랑 스케줄링이 정상적으로 잘 동작합니다.) 현재 yml 은 아래와 같습니다. profile 에 따라 yml 을 분리시켜주었긴 했는데, 포맷은 똑같습니다! (defer-datasource-initialization 와 sql-init-mode 과 관련있나해서 이것도 바꿔보았는데.. 되질 않습니다ㅠㅠ) spring: profiles: active: local jpa: open-in-view: false hibernate: ddl-auto: create defer-datasource-initialization: true properties: hibernate: format_sql: true default_batch_fetch_size: 100 data: web: pageable: one-indexed-parameters: true datasource: url: jdbc:h2:tcp://localhost/~/apartribe;MODE=MySQL username: sa password: driver-class-name: org.h2.Driver sql: init: mode: always mail: host: smtp.gmail.com port: 587 username: EMAIL password: PASSWORD properties: mail: smtp: auth: true starttls: enable: true ssl: trust: "*" security: oauth2: client: registration: kakao: client-name: KOAuth2LoginDemo client-id: KAKAO_CLINET_ID client-secret: KAKAO_CLINET_SECRET client-authentication-method: client_secret_post redirect-uri: http://localhost:8080/login/oauth2/code/kakao authorization-grant-type: authorization_code scope: profile_nickname, profile_image, account_email, age_range, birthyear provider: kakao: authorization-uri: https://kauth.kakao.com/oauth/authorize token-uri: https://kauth.kakao.com/oauth/token user-info-uri: https://kapi.kakao.com/v1/oidc/userinfo user-name-attribute: sub batch: jdbc: initialize-schema: always job: enabled: false application: security: jwt: secret-key: ACCESS_TOKEN_SECRET_KEY expiration: ACCESS_TOKEN_EXPIRATION refresh-token: secret-key: REFRESH_TOKEN_SECRET_KEY expiration: REFRESH_TOKEN_EXPIRATION mail: subject: MAIL_SUBJECT logging: level: sql: debug cloud: aws: s3: bucket: AWS_BUCKET_NAME credentials: access-key: AWS_ACCESS_KEY secret-key: AWS_SECRET_KEY region: static: ap-northeast-2 auto: false stack: auto: false server: error: whitelabel: enabled: false include-exception: false include-message: never include-stacktrace: never include-binding-errors: never 프로젝트 주소는 아래와 같습니다. https://github.com/Revi1337/apartribe-backend Batch 와 Scheduling 설정의 위치는 아래와 같습니다 src/main/java/kr/apartribebackend/global/config/BatchConfig.java 와 src/main/java/kr/apartribebackend/global/config/SchedulingConfig.java 조언좀 부탁드리겠습니다 선생님..ㅠㅠ
미해결
스프링 배치
안녕하세요 강의 도움이 많이되고 있어 감사말씀드립니다. 제가 FCM을 사용한 그룹 알림 발송 배치 API 를 개발 중에 있습니다. processor 에서 그룹에 속한 알림에 대해서 fcm 전송을 하는데 trcy catch 로 성공일 경우 알림성공 업데이트를 위한 객체를 생성하고 실패일 경우 알림실패 업데이트를 위한 객체 따로따로 생성하고 있습니다. 그 다음으로 writer 로 던집니다. 문제는 stepListener 에서 총 몇개에서 총 몇건 전송했고, 성공, 실패 로깅하는 방법을 모르겠습니다. 또 stepListener 에서 모두 다 실패했으면 알림 그룹의 상태 값을 전송 실패 그 외 성공으로 변경하는 로직이 있습니다. 추가 + 일단 StepSynchronizationManager 를 사용해서 ExecutionContext 에 저장해서 stepListener 에서 아래와 같이 사용하고 있습니다. 올바르게 사용한건지 궁금합니다. int successCount = stepExecution.getExecutionContext().getInt("successCount", 0); int failureCount = stepExecution.getExecutionContext().getInt("failureCount", 0);
미해결
[스프링 배치 입문] 예제로 배우는 핵심 Spring Batch
db이관시 sql 스크립트 데이터 복붙하라고 하시는데 파일은 어디에 있나요 ?
미해결
스프링 배치
DB - JdbcCursorItemReader 강의에서 fetchSize(int chunkSize) API는 정확히 어떤걸 의미하나요? 일반적으로 JDBC 프로그래밍에서 fetchSize는 어플리케이션과 DB 사이의 round trip 횟수에 영향을 주는 파라미터로 알고 있습니다. 예를 들어, 테이블에 100rows가 있고 fetchSize가 10이면 어플리케이션은 DB와 10번 데이터를 송수신하는 것으로 알고 있습니다. fetchSize(int chunkSize) API는 제가 알고 있는 fetchSize를 설정하는 API가 맞나요..?
