작성
·
58
0
select car_number, avg(battery) as battery_avg
from SmartCar_Status_Info
where battery < 60
group by car_number;
Hue에서 이 쿼리 돌리면 아래 에러가 뜹니다..
chat gpt 통해서 hue_safety_valve.ini에 대한 Hue 서비스 고급 구성 스니펫에 아래 내용도 추가했는데 해결이 안됩니다. 이것 때문에 더이상 진도를 못 나가고 있어서 도움 부탁드려요.
[yarn_clusters]
[[default]]
log_url_template=http://server02.hadoop.com:8042/node/containerlogs/${container_id}/${user}
500 Server Error: Server Error for url: http://server02.hadoop.com:8042/node/containerlogs/admin?doAs=admin Error 500 Server Error HTTP ERROR 500 Problem accessing /node/containerlogs/admin. Reason: Server ErrorCaused by:java.lang.ArrayIndexOutOfBoundsException: 4 at org.apache.hadoop.yarn.server.nodemanager.webapp.NMWebAppFilter.containerLogPageRedirectPath(NMWebAppFilter.java:81) at org.apache.hadoop.yarn.server.nodemanager.webapp.NMWebAppFilter.doFilter(NMWebAppFilter.java:62) at com.sun.jersey.spi.container.servlet.ServletContainer.doFilter(ServletContainer.java:829) at com.google.inject.servlet.ManagedFilterPipeline.dispatch(ManagedFilterPipeline.java:119) at com.google.inject.servlet.GuiceFilter$1.call(GuiceFilter.java:133) at com.google.inject.servlet.GuiceFilter$1.call(GuiceFilter.java:130) at com.google.inject.servlet.GuiceFilter$Context.call(GuiceFilter.java:203) at com.google.inject.servlet.GuiceFilter.doFilter(GuiceFilter.java:130) at org.eclipse.jetty.servlet.ServletHandler$CachedChain.doFilter(ServletHandler.java:1767) at org.apache.hadoop.security.http.XFrameOptionsFilter.doFilter(XFrameOptionsFilter.java:57) at org.eclipse.jetty.servlet.ServletHandler$CachedChain.doFilter(ServletHandler.java:1767) at org.apache.hadoop.security.authentication.server.AuthenticationFilter.doFilter(AuthenticationFilter.java:644) at org.apache.hadoop.security.authentication.server.AuthenticationFilter.doFilter(AuthenticationFilter.java:592) at org.eclipse.jetty.servlet.ServletHandler$CachedChain.doFilter(ServletHandler.java:1767) at org.apache.hadoop.http.lib.StaticUserWebFilter$StaticUserFilter.doFilter(StaticUserWebFilter.java:110) at org.eclipse.jetty.servlet.ServletHandler$CachedChain.doFilter(ServletHandler.java:1767) at org.apache.hadoop.http.HttpServer2$QuotingInputFilter.doFilter(HttpServer2.java:1553) at org.eclipse.jetty.servlet.ServletHandler$CachedChain.doFilter(ServletHandler.java:1767) at org.apache.hadoop.http.NoCacheFilter.doFilter(NoCacheFilter.java:45) at org.eclipse.jetty.servlet.ServletHandler$CachedChain.doFilter(ServletHandler.java:1767) at org.eclipse.jetty.servlet.ServletHandler.doHandle(ServletHandler.java:583) at org.eclipse.jetty.server.handler.ScopedHandler.handle(ScopedHandler.java:143) at org.eclipse.jetty.security.SecurityHandler.handle(SecurityHandler.java:548) at org.eclipse.jetty.server.session.SessionHandler.doHandle(SessionHandler.java:226) at org.eclipse.jetty.server.handler.ContextHandler.doHandle(ContextHandler.java:1180) at org.eclipse.jetty.servlet.ServletHandler.doScope(ServletHandler.java:513) at org.eclipse.jetty.server.session.SessionHandler.doScope(SessionHandler.java:185) at org.eclipse.jetty.server.handler.ContextHandler.doScope(ContextHandler.java:1112) at org.eclipse.jetty.server.handler.ScopedHandler.handle(ScopedHandler.java:141) at org.eclipse.jetty.server.handler.HandlerCollection.handle(HandlerCollection.java:119) at org.eclipse.jetty.server.handler.HandlerWrapper.handle(HandlerWrapper.java:134) at org.eclipse.jetty.server.Server.handle(Server.java:539) at org.eclipse.jetty.server.HttpChannel.handle(HttpChannel.java:333) at org.eclipse.jetty.server.HttpConnection.onFillable(HttpConnection.java:251) at org.eclipse.jetty.io.AbstractConnection$ReadCallback.succeeded(AbstractConnection.java:283) at org.eclipse.jetty.io.FillInterest.fillable(FillInterest.java:108) at org.eclipse.jetty.io.SelectChannelEndPoint$2.run(SelectChannelEndPoint.java:93) at org.eclipse.jetty.util.thread.strategy.ExecuteProduceConsume.executeProduceConsume(ExecuteProduceConsume.java:303) at org.eclipse.jetty.util.thread.strategy.ExecuteProduceConsume.produceConsume(ExecuteProduceConsume.java:148) at org.eclipse.jetty.util.thread.strategy.ExecuteProduceConsume.run(ExecuteProduceConsume.java:136) at org.eclipse.jetty.util.thread.QueuedThreadPool.runJob(QueuedThreadPool.java:671) at org.eclipse.jetty.util.thread.QueuedThreadPool$2.run(QueuedThreadPool.java:589) at java.lang.Thread.run(Thread.java:748) (error 500)
답변 3
0
안녕하세요! 이유진님!!
답변이 많이 늦었습니다....^^;;
올려주신 두개의 에러 로그들은 관련성이 있으면서도 다른 원인들로 보이는데요~
첫번째는 내용의 핵심은 다음 아래 부분인것 같습니다.
Server ErrorCaused by:java.lang.ArrayIndexOutOfBoundsException: 4 at org.apache.hadoop.yarn.server.nodemanager.webapp.NMWebAppFilter.containerLogPageRedirectPath(NMWebAppFilter.java:81)
보면 얀의 노드매니져가 해당 하이브쿼리를 실행하기 위한 워크로드를 찾다가 IndexOutOfBounds가 발생할 것으로 보이고요, 아마도 이때 하둡의 얀의 Node 메니져 또는 실행한 컨테이너가 셧다운 되어 있을 확율이 높습니다.
두분째는 실행하신 쿼리는 다시 Map/Reduce로 변환이 되어 실행이 되는 과정에서, Map과 Reduc 모두 진행상태가 0%인 것으로 봤을때, 자원 부족 또는 HDFS의 비정상 상태(Safe Mode or corrupt blocks 등)가 원인일 수 잇습니다.
우선 원인을 좁혀 보기 위해서요, 하둡, 하이브, 얀 등을 모두 재기동 해주시고요~
하이브 에디터에서 아래 쿼리가 작동하는지 확인 부탁드립니다. ^^
select * from SmartCar_Status_Info limit 10;
-빅디 드림
0
hue 클러스터 삭제 후 다시 설치하고 해봐도 같은 에러가 뜹니다 결과물도 안 나오고 INFO : Kill Command = /opt/cloudera/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554/lib/hadoop/bin/hadoop job -kill job_1751019956646_0003
INFO : Hadoop job information for Stage-1: number of mappers: 1; number of reducers: 4
INFO : 2025-06-27 20:22:46,041 Stage-1 map = 0%, reduce = 0%
INFO : 2025-06-27 20:23:46,394 Stage-1 map = 0%, reduce = 0%
INFO : 2025-06-27 20:24:46,543 Stage-1 map = 0%, reduce = 0%
INFO : 2025-06-27 20:25:46,701 Stage-1 map = 0%, reduce = 0%
INFO : 2025-06-27 20:26:46,778 Stage-1 map = 0%, reduce = 0%
INFO : 2025-06-27 20:27:47,101 Stage-1 map = 0%, reduce = 0%
INFO : 2025-06-27 20:28:47,116 Stage-1 map = 0%, reduce = 0%
INFO : 2025-06-27 20:29:47,215 Stage-1 map = 0%, reduce = 0%
INFO : 2025-06-27 20:30:47,413 Stage-1 map = 0%, reduce = 0%
INFO : 2025-06-27 20:31:48,417 Stage-1 map = 0%, reduce = 0%
INFO : 2025-06-27 20:32:49,362 Stage-1 map = 0%, reduce = 0%
INFO : 2025-06-27 20:33:50,343 Stage-1 map = 0%, reduce = 0%
INFO : 2025-06-27 20:34:51,288 Stage-1 map = 0%, reduce = 0%
INFO : 2025-06-27 20:35:52,241 Stage-1 map = 0%, reduce = 0%
이 상태만 지속됩니다ㅜ
0
안녕하세요, 인프런 AI 인턴입니다. 이유진님.
위 오류는 주로 YARN의 노드 매니저와 관련된 문제로, 특정 로그를 찾는 과정에서 발생한 에러입니다. 이 문제는 직접 적인 기능적 오류가 아니라 로그에 접근하는 과정에서 서버 설정이 잘못되었을 때 발생하는데요, 이를 해결하기 위해 몇 가지 시도를 제시해드립니다.
YARN 노드 매니저 상태 확인
YARN 설정 확인
yarn-site.xml
파일을 확인하여 포트와 관련된 설정이 맞는지 확인하는 것이 좋습니다.웹 애플리케이션 로그 확인
/var/log/hadoop-yarn/yarn
디렉토리 아래에 있는 노드 매니저 로그를 확인하여 보다 정확한 에러 메시지를 추적하세요.히스토리 서버 URL 확인
log_url_template
)가 잘못 설정된 것이 원인일 수 있습니다. Hue의 히스토리 서버 URL 포트가 올바르게 설정되었는지 확인해 보세요.관련하여 비슷한 문제를 가진 수강생의 질문과 답변 게시글을 참고하실 수 있습니다. 이 문제가 심각한 점은 아니며, 단지 임시적인 통신 문제일 가능성이 높습니다.
문제가 지속된다면, Hue 관리자 설정에서 위의 내용을 다시 한번 점검하신 후, 클러스터 전체 서비스가 모두 정상적으로 작동하고 있는지를 확인해 보시는 것도 방법입니다.
저는 질문자님의 이해를 돕고자 지식공유자님의 기존 답변을 참고하여 유사한 답변 링크를 추천해드리고 있습니다.
현재 베타 기능으로 답변이 만족스럽지 않을 수 있는 점 양해 부탁드립니다. 🙏
추가적으로 궁금한 점이 있으시면, 이어서 질문해 주세요. 곧 지식공유자께서 답변해 주실 것입니다.