인프런 커뮤니티 질문&답변
작성한 질문수
체험 계정에서는 End-point 생성이 안 되는걸까요?
작성
·
47
0
안녕하세요, 강사님.
아래와 같이 End-Point에 생성이 안되어서 문의드립니다.
강사님처럼 Legacy serving 창이 뜨지도 않을 뿐더러 [use model for inference]를 클릭해서 생성하려고 해도 아무런 반응이 없더라구요.
제가 설정에서 뭔가를 잘못한 것일까요??
아니면 현재 구독이 무료 계정이라서 그런걸까요..?
마지막 강의까지 다 와서 막혀버렸네요 ㅠ
답변 2
0
0
안녕하세요,
강의 마지막 과정까지 도달하셨군요. 배움의 열정에 격하게 응원합니다!
질문하신 내용을 확인해 보니, 저도 몇 달 만에 databricks 에 들어와 봅니다. 질문하신 내용을 확인해 보니 Legacy serving[deprecated] 라고 나오네요. 아래 캡쳐 화면을 참고하세요.
뭐, 그렇다고 databricks 에서 model serving endpoint 라는 기능 자체를 없앨 수는 없구요(왜냐하면, 이 기능이 없다면 누가 databricks 사용하겠습니까^^). 자세히 보면 우측 상단에 'Use model for inference' 메뉴가 대신 생겼네요. 이곳에서 endpoint 를 생성해서 사용하도록 되어 있네요. 내용을 살펴보니, 종전에 legacy serving 에서의 endpoint 와는 달리 Real-time, Streaming, Batch Inference 로 세분화 되엇 모델을 서빙할 수 있도록 되어 있네요. 이 가운데, 실제로 REST API 같은 개념에 해당하는 (종전의 legacy serving) 것은 'Real-time' 이네요.
그럼 끝까지 완강하시고! 열공!
Legacy serving 메뉴 더 이상 제공 안함
새로운 메뉴: Use model for Inference
원인을 파악했습니다.
Databricks 측에서 기존의 legacy serving 을 없애고 새롭게 Mosaic AI Model Serving 으로 정책을 바꾸면서, 사용자의 ML/DL 모델은 물론, LLM 모델들을 한 곳에서 모두 Serverless Model Serving 을 하도록 해 놓았네요.
찾아보니, 기존에 serving 으로 올려놓은 모델들이 run_id 가 그대로 살아 있음에도 불구하고 endpoint 를 종전처럼 이용할 수 없게 바꾸어 놓았습니다.
아쉬운 점은 Mosaic AI Model Serving 이 유료라는 점이네요.
https://www.databricks.com/product/pricing/model-serving
그렇기에 유료 계정으로 사용하고 있으니 create endpoint 가 동작하지 않을 거예요.
pricing 을 확인해 보면 비용은 매우 저렴한 편이라 학습용으로 약간 이용하는 수준이라면 부담은 없을 것으로 보여요.
serverless serving 이 특징이다보니, create endpoint 를 누르면 container 레지스트리가 생성되며 REST API로 엔드포인트가 제공되어, 종전보다 훨씬 편하게 모델을 이용할 수 있다는 점이 가장 큰 장점입니다.
강사님 안녕하세요,
저도 똑같은 문제를 겪고 있어서 문의드립니다. 알려주신대로 user model for inference에서 create endpoint를 하려고 하면 버튼이 동작하지를 않아서요ㅜㅜ
버튼을 누르면 이런 404 에러가 뜹니다.
databricks region은 East US로 잘 설정되어있고 end point이름도 설정하였는데 왜 이런 오류가 나는지 조언 구할 수 있을까해서 댓글 남깁니다!
감사합니다 :)