안녕하세요. 지금 강의 초반을 듣고 있는데요.질문 1. 회사에서 ELK stack 을 application log 모니터링 도구로 도입하려는 것이 아니라 사용자의 어떤 요구사항에 맞는 리포트로서 visualization 을 이용하려고 도입하려 합니다.rough 하게 학습한 내용으로는 elasticSearch 에서는 index 간 join 해서 search 를 못하는 것으로 알고 있는데요.kibana 를 이용하면 multi index 간의 join 이 가능할까요?구체적인 요청사항을 예로 말씀드리면가령 dogs 라는 index 가 있고, men 이라는 index 가 있다고 가정할 때, 어떤 개가 (dog) 어떤 사람 (man) 의 반려견인지, (서로 같은 key value 를 가지고 있다면) 주인이 있는 개 인지 아닌지.. 주인이 없는 개는 전체의 몇 %인지 등을 visualization 하고 싶습니다.

crontab 결과가 market.log 에 저장이 안돼요ㅠcrontab 내용 오타 없는지도 계속 확인했고, 파일 실행도 직접했을 때는 환율 잘 나와요. 로그 파일도 자동 생성이 됐는데cat market.log 하면 아무것도 뜨지 않네요ㅠ 이유가 뭘까요?  

안녕하세요search관한 질문으로서 질문을 해도 되는지 궁금하며 질문 내용은 아래와 같습니다질문내용조건 => (contents=장애인 or abstract=매매대금) and etype="민사 and (jdate>2023-01-01 and jdate<2025-03-01) 인경우 search구문은 아래와 같습니다"query": { "bool": { "must": [ { "bool": { "should": [ { "match": { "contents": { "query": "장애인" } } }, { "match": { "abstract": { "query": "매매대금", "boost": 2 } } } ] } }, { "term": { "etype": { "value": "행동" } } }, { "range": { "jdate": { "gt": "2023-01-01", "lt": "2025-03-01" } } } ] } }1.1 조건 => (contents=장애인 or abstract=매매대금) and etype=민사 인경우으로서 jdate전체로 할경우 range부분을 삭제 시키면 가능하나 삭제를 안하고 gt와 lt 값을 어떻케 주면 되는지(즉 최대일과 최소일을 모른다는 가정하에서)1.2 조건 => (contents=장애인 or abstract=매매대금) and (jdate>2023-01-01 and jdate<2025-03-01)etype 예에서는 행동로 했는데 행동이 아닌 전체를 할경우 이것 또한 term부문을 삭제를 하면 되는데삭제를 안할경우 value값을 무엇을 주어야 하는지요?1.3 1.1 및 1.2 질문을 한이유는 search 문을 여러개 만들어서 조건에 맞는 것을 사용해야 하는데 한개의 search문에서 값만 변경해서 사용할려고 합니다이게 가능한지 궁금 하네요

안녕하세요!조회후 업데이트 로직이 있는 부분에서는 동시성 이슈가 발생할 여지가 있다고 생각이 들었습니다. 이런 경우 모든 POST동작에 if_primary_term, if_seq_no를 명시적으로 구성해주어야 하는건가요?

안녕하세요!docker-compose파일을 보면 es01에만 포트 포워딩이 되어있는데! 클라이언트와는 es01만 통신을 하는건가요? primary shard는 es02, es03도 될수 있는거 같아서 질문을 남깁니다. es01노드를 shut down시키면 service unavailable이 되는데! 이렇게 되면 진정한 의미에서의 Fault Tolerance가 안되는거 아닌가 하는 생각이들어서 질문을 남깁니다.(es01이 shut down되면 시간이 지나도 복구가 안되는 상황입니다..) 

맥북 M1 시리즈 사용하고 있는데, 강의에서의 docker 이미지 다운로드 및 컨테이너 실행 시 문제가 발생하고 있습니다(이미지 다운로드는 문제없으나, 컨테이너 실행시 문제 발생). 플랫폼 관련 옵션이 추가적으로 필요합니다.--platform linux/amd64 강의 자료보면 각각 Elasticsearch, Logstash 따로 작성되어 있는데 yml 하나로 제공되어도 좋을 것으로 보입니다.version: "3.8" services: elasticsearch: image: docker.elastic.co/elasticsearch/elasticsearch:8.10.0 container_name: elasticsearch platform: linux/amd64 ports: - "9200:9200" environment: - discovery.type=single-node - xpack.security.enabled=false - xpack.security.http.ssl.enabled=false networks: - elastic-network logstash: image: docker.elastic.co/logstash/logstash:8.10.0 container_name: logstash platform: linux/amd64 ports: - "5044:5044" - "9600:9600" volumes: - ../logstash.conf:/usr/share/logstash/pipeline/logstash.conf # logstash.conf 경로 수정 필요 networks: - elastic-network networks: elastic-network: driver: bridge

모니터링 또는 메트릭 수집에는 Push 또는 Pull 모델이 있다고 들었습니다.이 두 방식의 차이점이나 도구들에 대한 부분도 나오는지 궁금합니다!

안녕하세요. 강의 잘 듣고 있습니다. 강의에서 spring filter를 이용해서 controller 에서 들어온요청정보들에 대한 log를 찍는걸 보여주셨는데요.혹시 url 들어온 파라미터는 로그에 찍지않는지 궁금합니다. 그리고 요청마다 body가 안들어오는 경우가 있고, 파라미터만 들어온다던지 경우의 수가 다양할거같은데.. 이럴 때는 필터를 어떤식으로 구성해야하는지 궁금합니다.

output { elasticsearch { hosts => ["http://elasticsearch:9200"] index => "application-logs-%{+YYYY.MM.dd}" } }위에 있는 설정 대로라면 yellow open application .. << 이게 localhost9200에 나타나야하는데 안뜨고 하단의 에러가 나옵니다.14:24:25,530 |-WARN in net.logstash.logback.appender.LogstashTcpSocketAppender[LOGSTASH] - Log destination localhost/<unresolved>:5044: Waiting 29951ms before attempting reconnection. 해결할려고 시도한 방법은 hosts의 url을 ip를 주소로 같게 해서 시도해보았으나 안되었습니다.  

구글에 쳐보니 예외가 터지면 printstacktrace()는 지양하고 getStackTrace() 를 사용하라는데의견이 궁금합니다 !

수업에서 사용하고 계시는 코딩 프로그램이 무엇인가요?philip@philp해서 화면이 나오는데, 이건 어떤걸 사용해서 해야하는 걸까요?주피터 노트북 얘기해 주셔서 그걸로 하고 있는데, 아예 안되는 것들이 많아서요, 그리고 왔다갔다 하면서 하시던데, 어떤걸 사용하고 계시는 걸까요?

logstash 가 elasticsearch로 전달 할때.. 에러가 나는것 같은데Log destination localhost/<unresolved>:5044: Waiting 29992ms before attempting reconnection. 이런에러가 납니다. 혹시 원인을 알수 있을까요?

아래와 같은 양식으로 질문을 남겨주세요 🙂교수님이 작성해주신 코드와 동일하게 작성하였는데 실행이 url링크만 나옵니다 왜그럴까요 ㅠㅠ  

아래와 같은 양식으로 질문을 남겨주세요 🙂수업을 들으시면 이해하기 어려운 부분이 있으면 상세히 질문을 남겨주세요.서로 Tone and Manner 를 지키며, 즐거운 수업 시간을 만들어보아요.실제 기상청 RSS에 가보면 mid-term 다음에 rss3.jsp로 나와있는것을 확인 할 수 있는데아래 교수님이 써주신 코드는 mid-term 다음에 lss3.jsp로 작성해 주셨습니다.# api 주소는 밑에거를 가져와 api_addr = "http://www.kma.go.kr/weather/forecast/mid-term-lss3.jsp" 실행을 해보니 rss3.jsp는 실행이 안되고lss3.jsp는 실행이 됩니다. 왜 그런 것일까요? 문의 드립니다!

yahoo finance data 는 "Gold subscription" 부터 가능하다고 합니다. 샘플 자료 공유 해주세요.

안녕하세요. 섹션2 실습 진행 중 가상환경 설치 부분부터 막히고 있어 문의드립니다ㅠㅠ 다른 질문들 찾아보고 virtualbox 우분투 환경에서 진행 중입니다. python3 설치 방법, pip 설치 방법을 따로 안내해주시지 않아서 구글링 해서 진행했는데, 자꾸 오류가 나네요.우분투 버전이 24.04.01 입니다. 버전 차이에서 오는 오류일까요? 오류 내용을 보고 구글링해봐도 해결이 어려워 도움 요청합니다ㅠㅠ  

강의 잘 보고 있습니다. 혹시 강의 자료는 제공되지 않나요?

안녕하세요 강사님 docker cp로 인증서 복사 후에 curl테스트 시 정상적으로 동작하지 않아서 문의드립니다..무엇이 문제일까요? PS C:\dev\elasticsearch> curl.exe --cacert /tmp/ca.crt -u elastic:changeme https://localhost:9200curl: (60) schannel: CertGetCertificateChain trust error CERT_TRUST_REVOCATION_STATUS_UNKNOWNMore details here: https://curl.se/docs/sslcerts.htmlcurl failed to verify the legitimacy of the server and therefore could notestablish a secure connection to it. To learn more about this situation andhow to fix it, please visit the webpage mentioned above.PS C:\dev\elasticsearch>

웹서비스 ELK 연동 실습과 시각화 강의 5:45 이후에서 질문입니다sudo gedit /etc/filebeat/filebeat.yml명령으로 파일을 열면----- Logstash Output ------ 에서outputs.logstash:host: ["localhost":5044"]로 나옵니다. 강의화면에는 IPv 주소가 나오는데요host: ["192.168.145.134":5044"](192.168.145.134) 라는 식으로요...이런 식으로 나오게 할 수 있는 방법을 자세하게 알려주세요     

안녕하세요 강사님 https://www.elastic.co/blog/getting-started-with-the-elastic-stack-and-docker-compose에 있는 깃허브 레포지토리를 클론하여 처음에는 es01이 실행되고 로그 스테시가 종료되었습니다. 그 이후 부터는 es01이 중지되는데 아래와 같은 로그와 함께 종료 되는 종료 되는데 logstash와 es01 사이에 충돌이 있어 종료되는 걸까요..? elastic-stack-docker-part-one-logstash01-1 | [2024-11-21T08:02:22,058][INFO ][logstash.agent ] Successfully started Logstash API endpoint {:port=>9600, :ssl_enabled=>false}elastic-stack-docker-part-one-logstash01-1 | [2024-11-21T08:02:22,413][INFO ][org.reflections.Reflections] Reflections took 103 ms to scan 1 urls, producing 132 keys and 462 valueselastic-stack-docker-part-one-logstash01-1 | [2024-11-21T08:02:22,681][INFO ][logstash.javapipeline ] Pipeline main is configured with pipeline.ecs_compatibility: v8 setting. All plugins in this pipeline will default to ecs_compatibility => v8 unless explicitly configured otherwise.elastic-stack-docker-part-one-logstash01-1 | [2024-11-21T08:02:22,691][INFO ][logstash.outputs.elasticsearch][main] New Elasticsearch output {:class=>"LogStash::Outputs::ElasticSearch", :hosts=>["https://es01:9200"]}elastic-stack-docker-part-one-logstash01-1 | [2024-11-21T08:02:22,795][INFO ][logstash.outputs.elasticsearch][main] Elasticsearch pool URLs updated {:changes=>{:removed=>[], :added=>[https://elastic:xxxxxx@es01:9200/]}}elastic-stack-docker-part-one-logstash01-1 | [2024-11-21T08:02:23,021][WARN ][logstash.outputs.elasticsearch][main] Restored connection to ES instance {:url=>"https://elastic:xxxxxx@es01:9200/"}elastic-stack-docker-part-one-logstash01-1 | [2024-11-21T08:02:23,026][INFO ][logstash.outputs.elasticsearch][main] Elasticsearch version determined (8.7.1) {:es_version=>8}elastic-stack-docker-part-one-logstash01-1 | [2024-11-21T08:02:23,027][WARN ][logstash.outputs.elasticsearch][main] Detected a 6.x and above cluster: the type event field won't be used to determine the document _type {:es_version=>8}elastic-stack-docker-part-one-logstash01-1 | [2024-11-21T08:02:23,041][INFO ][logstash.outputs.elasticsearch][main] Not eligible for data streams because config contains one or more settings that are not compatible with data streams: {"index"=>"logstash-%{+YYYY.MM.dd}"}elastic-stack-docker-part-one-logstash01-1 | [2024-11-21T08:02:23,041][INFO ][logstash.outputs.elasticsearch][main] Data streams auto configuration (`data_stream => auto` or unset) resolved to falseelastic-stack-docker-part-one-logstash01-1 | [2024-11-21T08:02:23,042][WARN ][logstash.outputs.elasticsearch][main] Elasticsearch Output configured with ecs_compatibility => v8, which resolved to an UNRELEASED preview of version 8.0.0 of the Elastic Common Schema. Once ECS v8 and an updated release of this plugin are publicly available, you will need to update this plugin to resolve this warning.elastic-stack-docker-part-one-logstash01-1 | [2024-11-21T08:02:23,051][INFO ][logstash.outputs.elasticsearch][main] Using a default mapping template {:es_version=>8, :ecs_compatibility=>:v8}elastic-stack-docker-part-one-logstash01-1 | [2024-11-21T08:02:23,056][INFO ][logstash.javapipeline ][main] Starting pipeline {:pipeline_id=>"main", "pipeline.workers"=>5, "pipeline.batch.size"=>125, "pipeline.batch.delay"=>50, "pipeline.max_inflight"=>625, "pipeline.sources"=>["/usr/share/logstash/pipeline/logstash.conf"], :thread=>"#<Thread:0x5c232bef@/usr/share/logstash/logstash-core/lib/logstash/java_pipeline.rb:134 run>"}elastic-stack-docker-part-one-kibana-1 | [2024-11-21T08:02:23.823+00:00][INFO ][plugins.fleet] Fleet Usage: {"agents_enabled":true,"agents":{"total_enrolled":0,"healthy":0,"unhealthy":0,"offline":0,"inactive":0,"unenrolled":0,"total_all_statuses":0,"updating":0},"fleet_server":{"total_all_statuses":0,"total_enrolled":0,"healthy":0,"unhealthy":0,"offline":0,"updating":0,"num_host_urls":0}}elastic-stack-docker-part-one-logstash01-1 | [2024-11-21T08:02:25,308][INFO ][logstash.javapipeline ][main] Pipeline Java execution initialization time {"seconds"=>2.24}elastic-stack-docker-part-one-logstash01-1 | [2024-11-21T08:02:25,995][INFO ][logstash.inputs.file ][main] No sincedb_path set, generating one based on the "path" setting {:sincedb_path=>"/usr/share/logstash/data/plugins/inputs/file/.sincedb_c6353e36a29b3d92bc7ba2e7e43ff9d8", :path=>["/usr/share/logstash/ingest_data/*.csv"]}elastic-stack-docker-part-one-logstash01-1 | [2024-11-21T08:02:26,067][INFO ][logstash.javapipeline ][main] Pipeline started {"pipeline.id"=>"main"}elastic-stack-docker-part-one-logstash01-1 | [2024-11-21T08:02:26,113][INFO ][filewatch.observingread ][main][aa52bdf6ce8b0a9dfd85c6762c35822ea405c6a5f2bb1ac09cf453850a9715f3] START, creating Discoverer, Watch with file and sincedb collectionselastic-stack-docker-part-one-logstash01-1 | [2024-11-21T08:02:26,619][INFO ][logstash.agent ] Pipelines running {:count=>1, :running_pipelines=>[:main], :non_running_pipelines=>[]}elastic-stack-docker-part-one-es01-1 |elastic-stack-docker-part-one-es01-1 | ERROR: Elasticsearch exited unexpectedly혹시 따로 설정해야 되는 부분이 있을까요..?이미지 삭제 후 재실행해도 똑같은거 같네요...