인프런 업데이트 소식 🔨👷🏼‍♂️
ELK 스택 (ElasticSearch, Logstash, Kibana) 으로 데이터 분석

ELK 스택 (ElasticSearch, Logstash, Kibana) 으로 데이터 분석

(97개의 수강평)

6668명의 수강생
무료
지식공유자 · Minsuk Heo
23회 수업 · 총 1시간 19분 수업
평생 무제한 시청
수료증 발급 강좌
수강 난이도 '초급, 중급'
Shin Chul Bang 프로필

elasticsearch 에러 관련입니다. Shin Chul Bang 3달 전

elasticsearch 7.x 버젼부터는 curl 리퀘스트에서 헤더를 명확히 설정해주어야하고 또 mappign을 생성할 때에는 include_type_name을 true로 설정해주어야한다고 합니다.

이에 대한 에러문구는 아래와 같습니다.

 

{
  "error" : {
    "root_cause" : [
      {
        "type" : "illegal_argument_exception",
        "reason" : "Types cannot be provided in put mapping requests, unless the include_type_name parameter is set to true."
      }
    ],
    "type" : "illegal_argument_exception",
    "reason" : "Types cannot be provided in put mapping requests, unless the include_type_name parameter is set to true."
  },
  "status" : 400
}

 

그래서 저는 mapping을 생성할 때 아래와 같이 커맨드라인을 날렸습니다.

 

curl -H 'Content-Type:application/json' -XPUT 'http://localhost:9200/classes/class/_mapping?include_type_name=true&pretty' -d @classesRating_mapping.json

 

그런데 아래와 같은 에러가 다시 발생했습니다.

 

{
  "error" : {
    "root_cause" : [
      {
        "type" : "mapper_parsing_exception",
        "reason" : "No handler for type [string] declared on field [professor]"
      }
    ],
    "type" : "mapper_parsing_exception",
    "reason" : "No handler for type [string] declared on field [professor]"
  },
  "status" : 400
}

 

이에 대해서 원인을 찾아보니 elasticsearch가 mapping 타입 중 string을 삭제하고 text로 변경하여 사용하고있다고 합니다.

관련 정보 링크 : https://stackoverflow.com/questions/47452770/no-handler-for-type-string-declared-on-field-name

그래서 classesRating_mapping.json에서 type이 string으로 되어있는 부분들을 모두 text로 변경한 후 위 커맨드라인을 다시 실행해보니 정상적으로 실행되었습니다.

혹시 이 강의를 보시는 분들 중 elasticsearch 6.x 이상의 버젼을 사용하여 수강하시는 분들은 이 부분들을 참고해보시면 좋을 것 같습니다.

2
Danny Seo 프로필

13과 에서 날짜 선택 Danny Seo 3달 전

현재 제가 강좌를 시청하고 있는 시간이 2019년 8월이고
강의를 찍으신 시간이 2016년정도이니, 그 부분을 명시해서 앞으로 보는 시청자들에게도 자신의 환경에 맞게 알아서 조절하게끔 알려주어야 할 것 같습니다..!!

이것 문제인지 모르고 계속 헤맸네요 ㅠㅠ ㅎㅎ

0
imwoodam 프로필

키바나가 제대로 설치되지 않습니다. imwoodam 3달 전

말씀하신 대로 kibana deb 파일을 다운받고 설치 후 kibana.yml을 수정하고 /usr/share/kibana/bin/kibana를 실행했으나 permission error가 뜹니다. 한 json 파일의 권한이 잘못된가 같아 구글링해서 해결해 보려 해도 잘 안되네요. 몇주 째 키바나 설치에 애를 먹고 있어서 너무 답답하네요. 조언 부탁드립니다.

0
차이새 프로필

깃헙 파일 logstash.conf 괄호 안 닫혀 있어서 에러가 났었어요. 필터랑 아웃풋 } 하나씩 더 추가해 주어야 할듯합니다. 차이새 3달 전

제목이 내용입니다.

0
손민우 손 프로필

현재 7버전 이용중인데 -XPOST 시 에러가 발생합니다. 손민우 손 4달 전

curl -XPOSt http://localhost:9200/classes/class/1/ -d '{"title" : "Algorithm", "professor" : "John"}' 입력 시 www-form-urlencoded is not supported status 406 에러가 발생합니다. 높은 버전에선 -H 'Content-Type: application/json' 을 추가해줘야 할듯합니다.

1
wk001 프로필

or 조건 쿼리 wk001 4달 전

안녕하세요. 좋은 강의 쉽게 설명해주셔서 잘 듣고 있습니다.

elasticsearch의 쿼리 조건에 or를 적용하는 방법이 있을까요?

예를 들어, message field 값 중 'success'와 'error' 2개의 단어가 포함된 데이터를 조회하고자 합니다.

match를 사용하면 중복된 필드 오류가 나옵니다.

일반쿼리문에서 or에 해당하는 쿼리방법이 있을까요? 

0
박현진 프로필

index 생성은 왜 XPOST가 아니라 XPUT인가요? 박현진 5달 전

index 생성은 왜 XPOST가 아니라 XPUT인가요?

POST쓸때와 PUT쓸때가 좀 헷갈리네요

0
박민혁 프로필

logstash 및 filebeat 실행시 오류 박민혁 6달 전

// logstash.yml 파일

# Sample Logstash configuration for creating a simple
# Beats -> Logstash -> Elasticsearch pipeline.
 
input {
  beats {
    port => 5043
  }
}
 
output {
  elasticsearch {
    hosts => ["http://localhost:9200"]
    manage_template => false
    index => "logstash-%{+YYYY.MM.dd}"
    #user => "elastic"
    #password => "changeme"
  }
}
 
invaild frame type, received: 84
 
 
// filebeat.yml
// filebeat inputs
paths:
- /var/log/*.log
 
//logstash output
hosts:["192.168.100.148:5043"]
 

 

error : failed to connect to backoff

 

 

#netstat -nap : grep LISTEN

 

tcp    0    0.0.0.0:5043    0.0.0.0:*    LISTEN    114019/java

어디를 수정해야할지?

0
양경훈 프로필

아주 기본적인 질문이 있습니다. 양경훈 9달 전

처음이라 너무 기초적인 것 같지만 질문 드립니다.

혹시 elasticsearch는 기존에 있는 관계형DB 내 JSON 형태로 저장된 내용에 대하여 검색이 가능한가요?

아니면 기존 데이터를 모두 JSON 형태로 하나하나 포멧에 맞추어 입력해 넣어야만 데이터 검색이 가능한가요?

0
Kim Do Eun 프로필

질문입니다 Kim Do Eun 2018.10.07

  1. ctx는 뭔가요?
  2. 왜 update할때 put을 사용하지 않는건가요?

0
Oranzi 프로필

BULK 예제 실행하는데 있어 에러가 납니다. Oranzi 2018.09.05

BULK 예제 실행하는데 있어 에러가 납니다.

운영환경은 UBUNTU 18.04, Elasticsearch 6.4 입니다.

POST를 사요할 수 없는 것인지...이리저리 변경해봐도 아직 담을 찾기가 어렵습니다. 구글링해도 딱히 같은 사례가 안나오는 것 같고요.

도움 주시면 감사하겠습니다.

$ curl -XPOST [http://localhost:9200/](http://localhost:9200/) bulk?pretty -H 'Content-Type: application/json' --data-binary @classes.json

{"error":"Incorrect HTTP method for uri [/] and method [POST], allowed: [GET, HEAD, DELETE]","status":405}curl: (6) Could not resolve host: bulk

1
Sun Park 프로필

name과 team의 string이 분리되는 문제는 json 파일을 다음과 같이 변경하여 해결했습니다. Sun Park 2018.08.14

{

"record" : {

"properties" : {

"team" : {

"type" : "keyword", <<< "string"이었는데 "keyword"로 변경

"index" : "not_analyzed" <<< 추가

},

"name" : {

"type" : "keyword", <<< "string"이었는데 "keyword"로 변경

"index" : "not_analyzed" <<< 추가

},

0
Boseong Kim 프로필

마지막 스크립트 부분 Boseong Kim 2018.06.15

"error" : "ElasticsearchIllegalArgumentException[failed to execute script]; nested: ScriptException[scripts of type [inline], operation [update] and lang [grovy] are disabled]; ",

"status" : 400

이라고 에러나는데 왜그런거죠ㅠㅠ?

0
용쟁호투 프로필

stats 메트릭 질문 용쟁호투 2018.05.26

stats 메트릭은 기존에 min, max,avg, sum을 수행한 결과를 수행내역처럼 보여주는건가요?

아니면 stats 매트릭 자체에 count, min, max, avg, sum 항목이 내장되어있는 메트릭인가요?

0
지식공유자 되기
많은 사람들에게 배움의 기회를 주고,
경제적 보상을 받아보세요.
지식공유참여
기업 교육을 위한 인프런
“인프런 비즈니스” 를 통해 모든 팀원이 인프런의 강좌들을
자유롭게 학습하는 환경을 제공하세요.
인프런 비즈니스