안녕하세요!docker-compose파일을 보면 es01에만 포트 포워딩이 되어있는데! 클라이언트와는 es01만 통신을 하는건가요? primary shard는 es02, es03도 될수 있는거 같아서 질문을 남깁니다. es01노드를 shut down시키면 service unavailable이 되는데! 이렇게 되면 진정한 의미에서의 Fault Tolerance가 안되는거 아닌가 하는 생각이들어서 질문을 남깁니다.(es01이 shut down되면 시간이 지나도 복구가 안되는 상황입니다..) 

맥북 M1 시리즈 사용하고 있는데, 강의에서의 docker 이미지 다운로드 및 컨테이너 실행 시 문제가 발생하고 있습니다(이미지 다운로드는 문제없으나, 컨테이너 실행시 문제 발생). 플랫폼 관련 옵션이 추가적으로 필요합니다.--platform linux/amd64 강의 자료보면 각각 Elasticsearch, Logstash 따로 작성되어 있는데 yml 하나로 제공되어도 좋을 것으로 보입니다.version: "3.8" services: elasticsearch: image: docker.elastic.co/elasticsearch/elasticsearch:8.10.0 container_name: elasticsearch platform: linux/amd64 ports: - "9200:9200" environment: - discovery.type=single-node - xpack.security.enabled=false - xpack.security.http.ssl.enabled=false networks: - elastic-network logstash: image: docker.elastic.co/logstash/logstash:8.10.0 container_name: logstash platform: linux/amd64 ports: - "5044:5044" - "9600:9600" volumes: - ../logstash.conf:/usr/share/logstash/pipeline/logstash.conf # logstash.conf 경로 수정 필요 networks: - elastic-network networks: elastic-network: driver: bridge

모니터링 또는 메트릭 수집에는 Push 또는 Pull 모델이 있다고 들었습니다.이 두 방식의 차이점이나 도구들에 대한 부분도 나오는지 궁금합니다!

안녕하세요. 강의 잘 듣고 있습니다. 강의에서 spring filter를 이용해서 controller 에서 들어온요청정보들에 대한 log를 찍는걸 보여주셨는데요.혹시 url 들어온 파라미터는 로그에 찍지않는지 궁금합니다. 그리고 요청마다 body가 안들어오는 경우가 있고, 파라미터만 들어온다던지 경우의 수가 다양할거같은데.. 이럴 때는 필터를 어떤식으로 구성해야하는지 궁금합니다.

output { elasticsearch { hosts => ["http://elasticsearch:9200"] index => "application-logs-%{+YYYY.MM.dd}" } }위에 있는 설정 대로라면 yellow open application .. << 이게 localhost9200에 나타나야하는데 안뜨고 하단의 에러가 나옵니다.14:24:25,530 |-WARN in net.logstash.logback.appender.LogstashTcpSocketAppender[LOGSTASH] - Log destination localhost/<unresolved>:5044: Waiting 29951ms before attempting reconnection. 해결할려고 시도한 방법은 hosts의 url을 ip를 주소로 같게 해서 시도해보았으나 안되었습니다.  

구글에 쳐보니 예외가 터지면 printstacktrace()는 지양하고 getStackTrace() 를 사용하라는데의견이 궁금합니다 !

수업에서 사용하고 계시는 코딩 프로그램이 무엇인가요?philip@philp해서 화면이 나오는데, 이건 어떤걸 사용해서 해야하는 걸까요?주피터 노트북 얘기해 주셔서 그걸로 하고 있는데, 아예 안되는 것들이 많아서요, 그리고 왔다갔다 하면서 하시던데, 어떤걸 사용하고 계시는 걸까요?

logstash 가 elasticsearch로 전달 할때.. 에러가 나는것 같은데Log destination localhost/<unresolved>:5044: Waiting 29992ms before attempting reconnection. 이런에러가 납니다. 혹시 원인을 알수 있을까요?

아래와 같은 양식으로 질문을 남겨주세요 🙂교수님이 작성해주신 코드와 동일하게 작성하였는데 실행이 url링크만 나옵니다 왜그럴까요 ㅠㅠ  

아래와 같은 양식으로 질문을 남겨주세요 🙂수업을 들으시면 이해하기 어려운 부분이 있으면 상세히 질문을 남겨주세요.서로 Tone and Manner 를 지키며, 즐거운 수업 시간을 만들어보아요.실제 기상청 RSS에 가보면 mid-term 다음에 rss3.jsp로 나와있는것을 확인 할 수 있는데아래 교수님이 써주신 코드는 mid-term 다음에 lss3.jsp로 작성해 주셨습니다.# api 주소는 밑에거를 가져와 api_addr = "http://www.kma.go.kr/weather/forecast/mid-term-lss3.jsp" 실행을 해보니 rss3.jsp는 실행이 안되고lss3.jsp는 실행이 됩니다. 왜 그런 것일까요? 문의 드립니다!

yahoo finance data 는 "Gold subscription" 부터 가능하다고 합니다. 샘플 자료 공유 해주세요.

안녕하세요. 섹션2 실습 진행 중 가상환경 설치 부분부터 막히고 있어 문의드립니다ㅠㅠ 다른 질문들 찾아보고 virtualbox 우분투 환경에서 진행 중입니다. python3 설치 방법, pip 설치 방법을 따로 안내해주시지 않아서 구글링 해서 진행했는데, 자꾸 오류가 나네요.우분투 버전이 24.04.01 입니다. 버전 차이에서 오는 오류일까요? 오류 내용을 보고 구글링해봐도 해결이 어려워 도움 요청합니다ㅠㅠ  

강의 잘 보고 있습니다. 혹시 강의 자료는 제공되지 않나요?

안녕하세요 강사님 docker cp로 인증서 복사 후에 curl테스트 시 정상적으로 동작하지 않아서 문의드립니다..무엇이 문제일까요? PS C:\dev\elasticsearch> curl.exe --cacert /tmp/ca.crt -u elastic:changeme https://localhost:9200curl: (60) schannel: CertGetCertificateChain trust error CERT_TRUST_REVOCATION_STATUS_UNKNOWNMore details here: https://curl.se/docs/sslcerts.htmlcurl failed to verify the legitimacy of the server and therefore could notestablish a secure connection to it. To learn more about this situation andhow to fix it, please visit the webpage mentioned above.PS C:\dev\elasticsearch>

웹서비스 ELK 연동 실습과 시각화 강의 5:45 이후에서 질문입니다sudo gedit /etc/filebeat/filebeat.yml명령으로 파일을 열면----- Logstash Output ------ 에서outputs.logstash:host: ["localhost":5044"]로 나옵니다. 강의화면에는 IPv 주소가 나오는데요host: ["192.168.145.134":5044"](192.168.145.134) 라는 식으로요...이런 식으로 나오게 할 수 있는 방법을 자세하게 알려주세요     

안녕하세요 강사님 https://www.elastic.co/blog/getting-started-with-the-elastic-stack-and-docker-compose에 있는 깃허브 레포지토리를 클론하여 처음에는 es01이 실행되고 로그 스테시가 종료되었습니다. 그 이후 부터는 es01이 중지되는데 아래와 같은 로그와 함께 종료 되는 종료 되는데 logstash와 es01 사이에 충돌이 있어 종료되는 걸까요..? elastic-stack-docker-part-one-logstash01-1 | [2024-11-21T08:02:22,058][INFO ][logstash.agent ] Successfully started Logstash API endpoint {:port=>9600, :ssl_enabled=>false}elastic-stack-docker-part-one-logstash01-1 | [2024-11-21T08:02:22,413][INFO ][org.reflections.Reflections] Reflections took 103 ms to scan 1 urls, producing 132 keys and 462 valueselastic-stack-docker-part-one-logstash01-1 | [2024-11-21T08:02:22,681][INFO ][logstash.javapipeline ] Pipeline main is configured with pipeline.ecs_compatibility: v8 setting. All plugins in this pipeline will default to ecs_compatibility => v8 unless explicitly configured otherwise.elastic-stack-docker-part-one-logstash01-1 | [2024-11-21T08:02:22,691][INFO ][logstash.outputs.elasticsearch][main] New Elasticsearch output {:class=>"LogStash::Outputs::ElasticSearch", :hosts=>["https://es01:9200"]}elastic-stack-docker-part-one-logstash01-1 | [2024-11-21T08:02:22,795][INFO ][logstash.outputs.elasticsearch][main] Elasticsearch pool URLs updated {:changes=>{:removed=>[], :added=>[https://elastic:xxxxxx@es01:9200/]}}elastic-stack-docker-part-one-logstash01-1 | [2024-11-21T08:02:23,021][WARN ][logstash.outputs.elasticsearch][main] Restored connection to ES instance {:url=>"https://elastic:xxxxxx@es01:9200/"}elastic-stack-docker-part-one-logstash01-1 | [2024-11-21T08:02:23,026][INFO ][logstash.outputs.elasticsearch][main] Elasticsearch version determined (8.7.1) {:es_version=>8}elastic-stack-docker-part-one-logstash01-1 | [2024-11-21T08:02:23,027][WARN ][logstash.outputs.elasticsearch][main] Detected a 6.x and above cluster: the type event field won't be used to determine the document _type {:es_version=>8}elastic-stack-docker-part-one-logstash01-1 | [2024-11-21T08:02:23,041][INFO ][logstash.outputs.elasticsearch][main] Not eligible for data streams because config contains one or more settings that are not compatible with data streams: {"index"=>"logstash-%{+YYYY.MM.dd}"}elastic-stack-docker-part-one-logstash01-1 | [2024-11-21T08:02:23,041][INFO ][logstash.outputs.elasticsearch][main] Data streams auto configuration (`data_stream => auto` or unset) resolved to falseelastic-stack-docker-part-one-logstash01-1 | [2024-11-21T08:02:23,042][WARN ][logstash.outputs.elasticsearch][main] Elasticsearch Output configured with ecs_compatibility => v8, which resolved to an UNRELEASED preview of version 8.0.0 of the Elastic Common Schema. Once ECS v8 and an updated release of this plugin are publicly available, you will need to update this plugin to resolve this warning.elastic-stack-docker-part-one-logstash01-1 | [2024-11-21T08:02:23,051][INFO ][logstash.outputs.elasticsearch][main] Using a default mapping template {:es_version=>8, :ecs_compatibility=>:v8}elastic-stack-docker-part-one-logstash01-1 | [2024-11-21T08:02:23,056][INFO ][logstash.javapipeline ][main] Starting pipeline {:pipeline_id=>"main", "pipeline.workers"=>5, "pipeline.batch.size"=>125, "pipeline.batch.delay"=>50, "pipeline.max_inflight"=>625, "pipeline.sources"=>["/usr/share/logstash/pipeline/logstash.conf"], :thread=>"#<Thread:0x5c232bef@/usr/share/logstash/logstash-core/lib/logstash/java_pipeline.rb:134 run>"}elastic-stack-docker-part-one-kibana-1 | [2024-11-21T08:02:23.823+00:00][INFO ][plugins.fleet] Fleet Usage: {"agents_enabled":true,"agents":{"total_enrolled":0,"healthy":0,"unhealthy":0,"offline":0,"inactive":0,"unenrolled":0,"total_all_statuses":0,"updating":0},"fleet_server":{"total_all_statuses":0,"total_enrolled":0,"healthy":0,"unhealthy":0,"offline":0,"updating":0,"num_host_urls":0}}elastic-stack-docker-part-one-logstash01-1 | [2024-11-21T08:02:25,308][INFO ][logstash.javapipeline ][main] Pipeline Java execution initialization time {"seconds"=>2.24}elastic-stack-docker-part-one-logstash01-1 | [2024-11-21T08:02:25,995][INFO ][logstash.inputs.file ][main] No sincedb_path set, generating one based on the "path" setting {:sincedb_path=>"/usr/share/logstash/data/plugins/inputs/file/.sincedb_c6353e36a29b3d92bc7ba2e7e43ff9d8", :path=>["/usr/share/logstash/ingest_data/*.csv"]}elastic-stack-docker-part-one-logstash01-1 | [2024-11-21T08:02:26,067][INFO ][logstash.javapipeline ][main] Pipeline started {"pipeline.id"=>"main"}elastic-stack-docker-part-one-logstash01-1 | [2024-11-21T08:02:26,113][INFO ][filewatch.observingread ][main][aa52bdf6ce8b0a9dfd85c6762c35822ea405c6a5f2bb1ac09cf453850a9715f3] START, creating Discoverer, Watch with file and sincedb collectionselastic-stack-docker-part-one-logstash01-1 | [2024-11-21T08:02:26,619][INFO ][logstash.agent ] Pipelines running {:count=>1, :running_pipelines=>[:main], :non_running_pipelines=>[]}elastic-stack-docker-part-one-es01-1 |elastic-stack-docker-part-one-es01-1 | ERROR: Elasticsearch exited unexpectedly혹시 따로 설정해야 되는 부분이 있을까요..?이미지 삭제 후 재실행해도 똑같은거 같네요...

docker-compose-multi.yml 파일을 생성한 후, window cmd를 실행하여 해당 yml 파일있는 곳으로 이동한후, docker compose -f docker-compose-multi.yml up명령어를 실행하며 대시보드에 컨테이너가 생성 된것을 확인하였습니다. 이미지의 setup-1 컨테이저가 실행되지 않아 직접 실행하였으나 바로 종료되는 현상이 반복되고 있습니다... setup-1이 실행되지 않아서 있는 /heath로 확인해도 number_of_shard도 여전히 1개로 보여집니다.. 어떻게 하면 수정 가능 할까요?

강의에서는 POST /my_index/_update/100이와같이 update를 진행하였는데, POST /my_index/_doc/1/_update이와같이 update를 수행하여도 동일하게 동작을 하는데 둘다 유효한 문법인 것 같은데 어느경우에 첫번째를 사용하고 어느경웨 두번째 문법을 사용하는지 궁금합니다.

생각보다 진도를 못나가서 혹시 연장이 가능한가요?

예제 하실 때 보면, _score 값이 계산된 것처럼 보이긴 했습니다.query value의 대문자를 소문자로 변경하는 처리(Lowcase Token Filter)는 하지 않는 것 같지만, _score는 계산하기 때문에..제대로 성능의 이점을 보려고 한다면 keyword 타입 필드에서 사용하는 것이 좋은 것인지요?