인프런 커뮤니티 질문&답변
작성한 질문수
biquery 테이블 생성 오류 이슈
해결된 질문
작성
·
13
0
안녕하세요. 빅쿼리에서 테이블 생성을 하려고 했으나 계속 실패하여 문의 남깁니다.
파싱 문제가 있는 것 같고, 결제 수단 등록 같은 어드민 문제는 아닌 것 같습니다.
윈도우이고 반디집으로 압축 해제한 뒤 파일 업로드했고 아래와같이 파일 형식도 지정했는데 못 읽는 이유가 있을까요?
감사합니다.
오류 메시지:
테이블을 만들 수 없음: Error while reading data, error message: The Apache Orc library failed to parse file metadata from file tail with error: Not an ORC file File: bigstore/bigquery-prod-upload-us/prod-scotty-455134432611-bde32926-0829-41cc-80fa-43f553dc0a93
답변 2
0
안녕하세요 파일을 삭제하고 압축 해제를 다시 해서 업로드했더니 드디어 됐습니다!!
다만 궁금한 점이 하나 있는데요, 데이터 파일이 100mb 이하인 orc 는 저비용이라고 설명해주셨는데,
이미 무료체험판 사용을 다 해서 결제수단 등록 후 사용하고 있는 경우에 비용이 어느 정도 나오는지 혹시 알고 계실까요?
0
안녕하세요, 인프런 AI 인턴입니다. 이유정님께서 문의하신 빅쿼리 테이블 생성 오류 문제에 대해 도와드리겠습니다.
현재 오류 메시지로 확인했을 때, 업로드하려는 파일이 ORC 형식이 아니라서 발생하는 것으로 보입니다. 아래의 내용을 통해 문제를 해결할 수 있을 것입니다:
파일 형식 검토: 오류 메시지에서 알 수 있듯이, 업로드하려는 파일이 ORC 형식이 아닌 것으로 판단되고 있습니다. 사용하려는 파일이 실제로 ORC 형식인지 확인해주시기 바랍니다. 파일 형식이 잘못 지정되어 있다면, BigQuery가 파일을 읽지 못하므로 올바른 형식을 사용해야 합니다.
파일 재압축 및 업로드: 파일이 제대로 압축 해제되지 않았거나 압축 과정 중 문제가 발생했을 가능성도 있습니다. 원본 ORC 파일을 다시 다운로드받아 압축을 풀고 업로드를 시도해보세요.
파일 변환: 만약 파일이 실제로 ORC가 아닌 다른 형식으로 저장되어 있다면, 적절한 도구를 사용하여 ORC 형식으로 변환한 후에 업로드해야 합니다.
대체 파일 형식 사용: 파일 형식이 변환이 어렵거나 문제가 지속될 경우, CSV나 Parquet 등 BigQuery에서 지원하는 다른 파일 형식을 사용하여 업로드를 시도해보는 것도 방법입니다.
유사한 문제에 대한 다른 학습자들의 경험을 참고하고 싶으시다면, 아래 링크를 확인해보시기 바랍니다:
- 구글클라우드 테이블생성오류 이 링크에서는 비슷한 오류 상황에 대한 해결책을 다루고 있으며, CSV 파일을 사용한 경우에 대한 설명을 확인하실 수 있습니다.
문제가 해결되지 않거나 더 많은 도움이 필요하신 경우, 추가적인 정보를 포함하여 질문해 주시면 더욱 상세한 도움을 드릴 수 있도록 하겠습니다.
저는 질문자님의 이해를 돕고자 지식공유자님의 기존 답변을 참고하여 유사한 답변 링크를 추천해드리고 있습니다.
현재 베타 기능으로 답변이 만족스럽지 않을 수 있는 점 양해 부탁드립니다. 🙏
추가적으로 궁금한 점이 있으시면, 이어서 질문해 주세요. 곧 지식공유자께서 답변해 주실 것입니다.
안녕하세요. 질문을 보고 아마 다운로드나 압축 해제가 이슈일 것 같다고 생각했어요. 해결이 되어서 다행이네요
ORC가 저비용이라고 한 것은 아니고 압축률이 좋아서 ORC 타입을 사용했어요. BigQuery 비용의 경우 BigQuery 입문편 - BigQuery 기초지식에 나와있어요(무료 강의)
강의 링크 : https://inf.run/a37Wd
1TB 데이터를 스캔할 때 7달러라고 생각해주시면 됩니다.
지금 생성된 테이블이 100MB 정도고, 1TB는 1000000MB입니다. 그래서 10000번 풀스캔을 해야 7달러가 나갑니다. 이걸 방지하고자 파티션을 설정했고, 파티션을 설정하면 데이터의 일부 기간만 사용해서 더 사용량이 적어집니다.
회사에도 동일한 상황이 발생해서 이렇게 했고, 참고로 BigQuery는 월 1TB 데이터 탐색(스캔) 비용이 무료에요. 그래서 지금 100MB 데이터를 풀스캔으로 10000번까지는 무료라고 생각하시면 됩니다. 데이터 저장 비용도 월 10GB 무료에요.
그래서 결론적으로 제 강의로 돈이 많이 나갔다는 경우를 들은 적은 없으니 걱정하지 않으셔도 괜찮을 것 같아요!