묻고 답해요

Hadoop HA Datanode java.net.UnknownHostException

미해결

Hadoop Namenode HA 구성을 했습니다. core-site.xml에 fs.defaultFS를 hdfs://hadoop-ha로 설정했습니다. <property> <name>fs.defaultFS</name> <value>hdfs://hadoop-ha</value> </property> WebHDFS REST API 중 파일 생성하는 API를 Active 상태의 Namenode 주소로 호출했는데, { "RemoteException": { "exception": "IllegalArgumentException", "javaClassName": "java.lang.IllegalArgumentException", "message": "java.net.UnknownHostException: hadoop-ha" } } 위와 같은 에러가 발생합니다. ⬇ 호출한 API [ PUT ] http://{server_ip}:{active_namenode_port}/webhdfs/v1/testB?op=CREATE 마찬가지로 datanode의 내부 쉘에서 hdfs dfs -ls / 와 같은 명령어를 입력하면, 2024-08-05 06:08:49,260 WARN fs.FileSystem: Failed to initialize filesystem hdfs://hadoop-cluster: java.lang.IllegalArgumentException: java.net.UnknownHostException: hadoop-ha -ls: java.net.UnknownHostException: hadoop-ha 에러가 발생합니다. Hadoop HA 구성은 본 서버에 namenode1, namenode2, datanode1, datanode2, datanode3을 docker compose로 같은 네트워크 내에서 동작하도록 5개 컨테이너를 생성하여 실행하였습니다. 각 컨테이너의 /etc/hosts에 active 상태의 namenode 주소를 active_namenode_container_ip hadoop-ha 이렇게 하나씩 명시하면 API 호출도 잘 되고 명령어 실행도 잘 되지만, active namenode가 죽고 standby namenode가 active 상태가 되면 동일한 에러가 발생합니다. hadoop-ha를 active 상태의 namenode ip와 자동으로 연결되도록 하는 방법은 없나요? 🥲 🥲 ha 설정은 namenode가 죽었을 때 정상적으로 돌아가게 하기 위한 구성인데, /etc/hosts를 수동으로 명시하는 방법은 맞지 않은 거 같아서 질문 남깁니다..( ᐪ ᐪ )

• hadoop
• namenode
• ha
• hdfs
• datanode
• hostexception

k8s HA 구성중 kubeadm init 실패 증상 - serviceaccount 부분부터 실패

미해결

데브옵스(DevOps)를 위한 쿠버네티스 마스터

k8s HA 구성을 하고 있는데요. kubeadm init 실패를 하고 있는 상황이고 해결방법을 찾지 못하고 있습니다. - 문제가 발생하고 있는 서버에서 kubeadm init를 실행하면 아래 로그와 같이 serviceaccount 부분에서 500 에러가 발생합니다. - 동일한 작업을 local에서 하면 문제가 없는데요 - 둘다 hyper-v에서 우분투 서버를 생성하고 작업했고, 작업 내용을 동일합니다. - serviceaccount 부분에서 500 에러가 발생하기 이전까지는 201 응답을 받고 정상 작업을 진행했는데 원인과 해결방법을 찾을 수 있을까요? 1. kubeadm init 실패 로그 ------------- 1224 request.go : 1073 ] Request Body: { "kind" : "ServiceAccount" , "apiVersion" : "v1" , "metadata" :{ "name" : "coredns" , "namespace" : "kube-system" , "creationTimestamp" : null }} 1224 round_trippers.go : 466 ] curl -v -XPOST -H "Accept: application/json, */*" -H "Content-Type: application/json" -H "User-Agent: kubeadm/v1.24.1 (linux/amd64) kubernetes/3ddd0f4" 'https://10.1.10.101:6443/api/v1/namespaces/kube-system/serviceaccounts?timeout=10s' 1224 round_trippers.go : 553 ] POST https://10.1.10.101:6443/api/v1/namespaces/kube-system/serviceaccounts?timeout=10s 500 Internal Server Error in 138 milliseconds 1224 round_trippers.go : 570 ] HTTP Statistics: GetConnection 0 ms ServerProcessing 137 ms Duration 138 ms 1224 round_trippers.go : 577 ] Response Headers: 1224 round_trippers.go : 580 ] Date: Wed, 15 Jun 2022 15:49:22 GMT 1224 round_trippers.go : 580 ] Audit-Id: 58b00d5f-5f4f-4ab2-bbb3-c3479189f4bc 1224 round_trippers.go : 580 ] Cache-Control: no-cache, private 1224 round_trippers.go : 580 ] Content-Type: application/json 1224 round_trippers.go : 580 ] X-Kubernetes-Pf-Flowschema-Uid: 4383fc49-8e46-40c9-8a5e-7031390e956f 1224 round_trippers.go : 580 ] X-Kubernetes-Pf-Prioritylevel-Uid: 5e6fba37-152d-4f54-bbf7-e6829d7f15b1 1224 round_trippers.go : 580 ] Content-Length: 169 1224 request.go : 1073 ] Response Body: { "kind" : "Status" , "apiVersion" : "v1" , "metadata" :{}, "status" : "Failure" , "message" : "rpc error: code = Unknown desc = malformed header: missing HTTP content-type" , "code" : 500 } rpc error: code = Unknown desc = malformed header: missing HTTP content-type unable to create serviceaccount

• ha
• kubeadm
• docker
• kubernetes
• init