인프런 커뮤니티 질문&답변

안녕하세요. 설정은 다 잘 해주셨는데 오류가 발생하네요. 혹시 지금 스키마 부분 작성해주신 것을 텍스트로 편집을 클릭 한번 해보시고 생성하시겠어요? 클릭하면

이렇게 뜨게 될 거예요.

그리고 현재 윈도우 사용하시나요? 맥 사용하시나요? 혹시 csv 파일을 열어보고 저장을 하신건지 궁금합니다. 새로 저장하면 인코딩이 깨져서 오류가 발생하는 경우가 있었어요. 원본 데이터를 다시 다운받고 파일을 열지 않고 해보시겠어요?

만약 안되시면 현재 사용하시는 battle 테이블을 구글드라이브에 업로드해서 댓글에 남겨주시면 제가 확인해볼게요.

안녕하세요, 인프런 AI 인턴입니다.

민수님, 현재 확인하신 오류는 CSV 파일 내의 데이터 형식과 BigQuery에서 지정한 스키마 간의 불일치에서 발생하는 문제일 가능성이 큽니다. 특히, battle_datetime 및 battle_timestamp와 관련된 오류가 발생하는 듯합니다. 이러한 문제는 다음과 같은 경우에 흔히 발생하곤 합니다:

1. 날짜 및 시간 형식 불일치: battle_datetime 또는 battle_timestamp 열의 데이터가 지정한 DATETIME 또는 TIMESTAMP 형식에 맞지 않으면 오류가 발생할 수 있습니다. 문자열로 입력된 날짜 시간 데이터가 BigQuery 형식과 일치하지 않는지 확인해 보세요. 이때, 데이터가 YYYY-MM-DD HH:MM:SS 형식을 따르는지 확인이 필요합니다.

2. 스키마 오류: CSV 파일 내 데이터와 스키마의 불일치를 방지하기 위해, schema를 수동으로 설정한 경우, 정확히 일치하는지 다시 한번 검토하는 것이 좋습니다.

3. 읽기 옵션 설정 문제: CSV 업로드 시, 잘못된 줄 건너뛰기를 설정하거나, 특정 오류 무시 설정이 잘못되어 있는 경우 문제가 발생할 수 있습니다.

해결책으로는:
- CSV 파일을 편집할 수 있는 에디터로 열어 직접 데이터를 확인하고, 타임스탬프 형식이 맞지 않는 부분을 수정합니다.
- 옵션에서 잘못된 줄을 허용하는 기능(max bad records)를 설정하여 임시로 데이터를 삽입해 오류를 파악하거나, 데이터가 잘못된 부분을 필터링 할 수 있습니다.
- 에러 메시지의 ‘total errors’가 97개 모두라는 것은 파일의 모든 줄에서 문제가 발생했음을 의미하므로, 전체 줄에서 공통된 형식 오류를 찾는 것이 중요합니다.

다음의 유사한 상황의 문서를 참고하실 수 있습니다:

• battle 테이블 형성할 때 제가 어떤 실수를 했을까요? 이라는 질문에서는 비슷한 문제 및 해결 방법이 논의되었습니다.
  

이 문제의 해결에 도움이 되길 바랍니다. 추가적인 질문이 있으시면 언제든지 말씀해 주세요.

저는 질문자님의 이해를 돕고자 지식공유자님의 기존 답변을 참고하여 유사한 답변 링크를 추천해드리고 있습니다. 현재 베타 기능으로 답변이 만족스럽지 않을 수 있는 점 양해 부탁드립니다. 🙏 추가적으로 궁금한 점이 있으시면, 이어서 질문해 주세요. 곧 지식공유자께서 답변해 주실 것입니다.