체험 계정에서는 End-point 생성이 안 되는걸까요?
안녕하세요, 강사님.
아래와 같이 End-Point에 생성이 안되어서 문의드립니다.
강사님처럼 Legacy serving 창이 뜨지도 않을 뿐더러 [use model for inference]를 클릭해서 생성하려고 해도 아무런 반응이 없더라구요.
제가 설정에서 뭔가를 잘못한 것일까요??
아니면 현재 구독이 무료 계정이라서 그런걸까요..?
마지막 강의까지 다 와서 막혀버렸네요 ㅠ
回答 2
0
안녕하세요,
강의 마지막 과정까지 도달하셨군요. 배움의 열정에 격하게 응원합니다!
질문하신 내용을 확인해 보니, 저도 몇 달 만에 databricks 에 들어와 봅니다. 질문하신 내용을 확인해 보니 Legacy serving[deprecated] 라고 나오네요. 아래 캡쳐 화면을 참고하세요.
뭐, 그렇다고 databricks 에서 model serving endpoint 라는 기능 자체를 없앨 수는 없구요(왜냐하면, 이 기능이 없다면 누가 databricks 사용하겠습니까^^). 자세히 보면 우측 상단에 'Use model for inference' 메뉴가 대신 생겼네요. 이곳에서 endpoint 를 생성해서 사용하도록 되어 있네요. 내용을 살펴보니, 종전에 legacy serving 에서의 endpoint 와는 달리 Real-time, Streaming, Batch Inference 로 세분화 되엇 모델을 서빙할 수 있도록 되어 있네요. 이 가운데, 실제로 REST API 같은 개념에 해당하는 (종전의 legacy serving) 것은 'Real-time' 이네요.
그럼 끝까지 완강하시고! 열공!
Legacy serving 메뉴 더 이상 제공 안함
새로운 메뉴: Use model for Inference
0
강사님 안녕하세요,
저도 똑같은 문제를 겪고 있어서 문의드립니다. 알려주신대로 user model for inference에서 create endpoint를 하려고 하면 버튼이 동작하지를 않아서요ㅜㅜ
버튼을 누르면 이런 404 에러가 뜹니다.
databricks region은 East US로 잘 설정되어있고 end point이름도 설정하였는데 왜 이런 오류가 나는지 조언 구할 수 있을까해서 댓글 남깁니다!
감사합니다 :)
0
원인을 파악했습니다.
Databricks 측에서 기존의 legacy serving 을 없애고 새롭게 Mosaic AI Model Serving 으로 정책을 바꾸면서, 사용자의 ML/DL 모델은 물론, LLM 모델들을 한 곳에서 모두 Serverless Model Serving 을 하도록 해 놓았네요.
찾아보니, 기존에 serving 으로 올려놓은 모델들이 run_id 가 그대로 살아 있음에도 불구하고 endpoint 를 종전처럼 이용할 수 없게 바꾸어 놓았습니다.
아쉬운 점은 Mosaic AI Model Serving 이 유료라는 점이네요.
https://www.databricks.com/product/pricing/model-serving
그렇기에 유료 계정으로 사용하고 있으니 create endpoint 가 동작하지 않을 거예요.
pricing 을 확인해 보면 비용은 매우 저렴한 편이라 학습용으로 약간 이용하는 수준이라면 부담은 없을 것으로 보여요.
serverless serving 이 특징이다보니, create endpoint 를 누르면 container 레지스트리가 생성되며 REST API로 엔드포인트가 제공되어, 종전보다 훨씬 편하게 모델을 이용할 수 있다는 점이 가장 큰 장점입니다.
API Error : 400 에러의 원인과 해결방법이 궁금합니다!!
0
13
1
수강평 이벤트
0
10
1
퍼미션 권한 설정 문의
0
12
1
실습 안떠요
0
11
0
Json 플러그인 사용시 variable collection 없음
0
12
1
커서에서 shift+enter가 안됩니다.
0
16
1
강의 코드 요청 및 질문
0
62
2
수업 자료 요청입니다
0
60
1
강의코드요청
0
44
1
안녕하세요, 강의자료 요청드립니다 :)
0
47
1
end point 생성 관련 질문드립니다!
0
122
4
이미지 노이즈 추가하는 코드 공유 부탁드립니다.
1
96
3
코드 자료 요청
0
75
2
df 에서 바이너리 값 이미지로 안보이는 현상
0
58
1
o3-mini 모델은 이미지를 지원안하나요
0
51
1
통합 프레임워크 강의 요청드립니다
1
70
2
이상치 데이터 합성 및 기본데이터셋 생성
0
93
2
OrderedDict() 질문
1
60
1
함수 input 형식 지정 외 추가 raise 구성
1
85
2
라벨링을 통한 데이터 생성
1
130
2
AWS도 Azure 환경과 유사한가요?
1
80
2
안녕하세요. 코드 자료 부탁드립니다
1
117
3
학습자료나 코드는 어디서 받아볼 수 있나요?
1
175
3
Azure OpenAI 실습 불가
1
159
1