강의

멘토링

로드맵

Inflearn Community Q&A

nayun1945's profile image
nayun1945

asked

Realtime Datalake Using Kafka & Spark

git action - code deploy단계

Written on

·

26

0

github에는 actions탭에 정상적으로 워크플로우가 런 됩니다.

image.png

하지만 code-deploy 탭으로 이동해 확인하면 배포상태가 번번히 실패로 뜹니다.

image.pngimage.png

강의안대로 잘 따라갔습니다. 원인을 찾아보려했지만 찾아지지 않아 글 남깁니다. 감사합니다.

kafkaapache-sparkpysparkdata-lake카카오공채-개발

Answer 2

0

hyunjinkim님의 프로필 이미지
hyunjinkim
Instructor

안녕하세요 nayun1945님

 

AWS code deploy가 실패했을 때 자세한 원인은 kafka broker서버의 /opt/codedeploy-agent/deployment-root/deployment-logs/codedeploy-agent-deployments.log 로그파일을 보시는게 가장 정확합니다.

서버 3대 모두 동일한 로그가 있을 가능성이 높습니다. 아무 서버나 들어가셔서 sudo -i 로 루트 권한으로 진입하시고 위 로그 파일을 vi 편집기로 열어서 ERROR라고 떠있는 부분을 복사해서 올려주시겠어요?

 

 

nayun1945님의 프로필 이미지
nayun1945
Questioner

image.png

E486: Pattern not found: ERROR 0,0-1 All

 

강사님의 말씀대로 해본 결과 이렇게 나옵니다!

hyunjinkim님의 프로필 이미지
hyunjinkim
Instructor

앗 조금 더 자세한 에러내용 없나요? 이걸로는 디버깅하기에 로그가 충분치 않아서요. 앞뒤에 좀 더 다른 로그가 있는지 보고 여기에 좀 올려주시겠어요?

nayun1945님의 프로필 이미지
nayun1945
Questioner

image.png

01번 서버로 접속해 확인해 본 결과, 에러가 발견되지 않았다고 나옵니다.

이런 경우에는 code-deploy 자체가 실행되지 않은 상태인가요 ?

image.png


github의 actions의 빌드 과정을 확인해봤습니다.

appspec.yml 파일이 상단에 위치해있지 않고, kafka-producer안에 위치해 있는 것이 제가 생각하는 배포단계에서의 오류 원인입니다!

image.png


파이참에서의 레포를 확인해봤는데, 강의안과 같은 구조로 되어있습니다.

image.pngimage.png

code-deploy 오류 목록과 s3버킷 상태 첨부합니다.

 

nayun1945님의 프로필 이미지
nayun1945
Questioner

AWS CLI로 CodeDeploy 배포 상태를 확인해봤습니다.

image.png

이런 에러가 검출됐습니다.

 

더 확인해보니 "BeforeInstall"에서 멈춘 상태로 보여집니다.

hyunjinkim님의 프로필 이미지
hyunjinkim
Instructor

nayun님

혹시 디스코드에 입장 가능하실까요? 여기서 확인하기에는 핑퐁이 너무 많을 것 같아서 디스코드 들어오셔서 같이 확인해보는게 빠를것 같아요.

https://discord.gg/eTcYzMBxZm

 제가 요즘 퇴근이 늦어서 밤 11시나 되어야 응답 가능할 수 있을 것 같은데 메시지 남겨주시면 늦게라도 볼께요.

감사합니다.

0

안녕하세요, 인프런 AI 인턴입니다. nayun1945님.

GitHub Actions에서는 워크플로우가 성공적으로 실행되었지만, AWS CodeDeploy에서 배포가 실패하는 문제로 고민이 많으시군요. 배포 실패의 주요 원인으로는 여러 가지 환경 설정 이슈가 있을 수 있습니다. 몇 가지 해결 방법을 제안드리겠습니다:

  1. 배포 전 로그 확인:

    • CodeDeploy 대시보드에서 ‘전체 로그’ 혹은 ‘인스턴스 로그’를 꼼꼼히 확인해 보세요. 로그에서 “BeforeInstall” 단계에서 실패했다는 메시지를 통해 문제의 원인을 파악할 수 있습니다.
  2. 앱 통합 및 스크립트 검토:

    • appspec.yml 파일에서 정의한 스크립트 및 명령어 확인이 필요합니다. “BeforeInstall” 단계에서 사용하는 스크립트의 경로나 실행 명령어에서 자주 실수하는 부분이 있을 수 있습니다.
  3. 권한 및 접근 설정 확인:

    • EC2 인스턴스의 IAM 역할에 적절한 권한이 부여되어 있는지 점검하세요. S3 버킷에서 애플리케이션을 다운로드할 수 있는 권한이 있어야 합니다.
  4. 네트워크 및 보안 설정:

    • 인스턴스 서브넷에 올바른 구성이 이루어졌는지 확인해 주세요. 네트워크 접근 제어나 보안 그룹 설정이 배포에 영향을 줄 수 있습니다.
  5. S3 버킷 설정:

    • S3 버킷의 버전 및 객체 권한 설정이 올바르게 되었는지 다시 한 번 확인 바랍니다. 링크에서 s3://datalake-actions-deploy-nayun/kafka-producer/kafka-producer.tar.gz에 접근 가능해야 합니다.

이 외에도 아래 도움이 될 만한 링크를 살펴보시면 좋은 정보를 얻으실 수 있습니다:
- AWS CodeDeploy 문제 해결 사례

저는 질문자님의 이해를 돕고자 지식공유자님의 기존 답변을 참고하여 유사한 답변 링크를 추천해드리고 있습니다. 현재 베타 기능으로 답변이 만족스럽지 않을 수 있는 점 양해 부탁드립니다. 🙏 추가적으로 궁금한 점이 있으시면, 이어서 질문해 주세요. 곧 지식공유자께서 답변해 주실 것입니다.

nayun1945's profile image
nayun1945

asked

Ask a question