안녕하세요 선생님, 현재 데이터 엔지니어 직무 면접을 준비하고 있는 수강생입니다. 저는 이번 면접에서 ETL 아키텍처 및 데이터 파이프라인 구성 과 관련된 주제를 중심으로 준비하고 있습니다. 수업을 통해 많은 내용을 배우고 있지만, 솔직히 말씀드리면 양이 너무 방대하다 보니 모든 부분을 다 소화하기가 쉽지 않습니다. 시간도 빠듯해 점점 불안감이 커지고 있습니다. 그래서 정말 간절한 마음으로 도움을 부탁드립니다. 혹시 면접에서 특히 중요한 핵심 개념 이나 자주 나오는 질문 , 그리고 실제 사례 중심으로 정리하면 좋은 부분 이 무엇인지 방향을 잡아주실 수 있을까요? 혹은 강의만 따로 추천 해주시면 감사하겠습니다. 제가 부족한 부분을 더 보완해서 면접에서 꼭 좋은 결과를 내고 싶습니다. 늘 열정적으로 가르쳐주시는 것에 감사드리며, 간절히 도움을 청합니다. 감사합니다.
안녕하세요. 강의 너무 잘 듣고 제 프로젝트에 필요한 부분들로 리팩토링 하면서 MSA를 처음 공부하려 했습니다! 먼저 제 프로젝트는 거의 똑같은 구조로 게시글이 있습니다. 2가지의 질문이 있습니다. (1) 정보를 취합하기 위해 동기로 API호출을 한다는 것은 장애 전파가 된다고 이해하고 있습니다. 그렇다면 저희 예시에서도 Article-read에서 조회수는 api호출을 통해 받기로 했습니다. 그렇다면 어느정도의 장애 전파는 허용한다고 받아들여집니다. 실제 서비스에서도 여러 정보를 취합해서 줘야하는 경우가 많을텐데 API를 통해 정보를 가져오는것이 절대 안되나요? 아니면 종종 허용하기도 하나요? (2) CQRS의 Query(질의)부분은 데이터 수정이 없어야 한다 이해했습니다. 그런데 데이터를 수정해도 되나요? 예를 들어 제가 게시글 상세 조회를 게시글 모듈에서 분리하려고 합니다. 그런데 게시글 상세 조회를 하게되면 조회수가 올라갑니다. 따라서 게시글 상세조회 발생 -> 조회수 증가 이벤트 발생 ->조회수 증가 이런 식으로 구상을 했습니다. 이러한 질의 부분 모듈에서 데이터를 수정하게 만드는 이벤트가 발생해도 괜찮을지 여쭤봅니다!!
[질문 내용] 안녕하세요, 상속 관계 예제를 따라하다보니 예전부터 궁금했던 단축키가 있습니다. 패키지 내부에 클래스를 생성하면 생성한 클래스 내부에 커서가 잡히는데, 이 커서를 다시 패키지로 가게 하는 단축키가 있을까요? 예를 들면 item이라는 패키지에 cmd+n 을 하면 새로운 클래스 생성 메뉴가 뜨는데, 일반적으로는 클래스를 생성하고 cmd+n을 누르게 되면 커서가 생성한 클래스의 코드에 잡히게 되고 해당 클래스 메뉴(생성자 생성 등)가 뜨게 됩니다. 클래스 생성후 커서를 다시 패키지쪽으로 옮겨서 cmd+n 을 하면 빠르게 여러 클래스를 생성할 수 있을 것 같은데, 혹시 사용하고 계신 단축키가 있다면 말씀주시면 감사드리겠습니다!
현재까지 잘 따라왔는데 href 에서 막혀서 질문드립니다. 현재 네이버의 span class에서 제목은 가져왔습니다. 그런데 href는 윗 단계인 <a>에 있지만 class명이 복사하면 깨져서 나옵니다. 그래서 <a> 에 있는 href를 가져오지 못하고 있습니다. 더 한단계 위인 <div>를 사용해 보았지만 href는 불러오지 못했습니다. +++++++++++++++++++++++++ <div class=“”> <a nocr=“1” href=“…..” <span class=“………”>기사제목</span> </a> ++++++++++++++++++++++++++ 어떤 방법이 있는지 문의드립니다.
1. 현재 학습 진도 6챕터를 모두 끝낸 후 해당 내용을 직접 프로젝트에 적용하고 있습니다. hot key 문제를 해결하기 위해 DCL을 적용하여 중복 DB 접근을 방지할 수 있습니다. 2. 어려움을 겪는 부분 현재 프로젝트는 외부 API인 LLM을 통해 경제 요약 리포트를 만들어주는 서비스입니다. 이때 리포트 생성 시 60s~120s가 소요되어 만들어진 리포트들을 캐싱해놓고 사용하려 합니다. 레디스 리모트 캐시를 적용하려 하는데, hot key 문제를 방지하기 위해 락을 획득한 후에도 반드시 캐시를 한 번 더 확인하는 방식을 적용 즉 DCL 을 적용하려 하는데, 이때 락을 획득하지 못한 애들은 일정 시간후에 다시 락 획득을 시도해야 합니다. 그런데 지금 디비에 접근하고 LLM을 통해 리포트를 생성하는 task가 넉넉하게 1-2분정도 걸리는데, 이 때문에 락 획득 재시도 간격을 너무 길게 잡아버리면 ux가 저하되고 그렇다고 너무 짧게 잡으면 요청 실패가 빈번하게 발생하게 됩니다. 그렇다고 또 시도횟수를 늘리면 또 서비스에 부하가 발생할 수 있을 것 같고 또 시도횟수를 짧게 하면 데이터를 받아오지 못하는 상황이 빈번하게 발생하여 고민중입니다. 3. 시도해보신 내용 현재는 재시도 횟수 1000번에 랜덤 지터 200~300ms로 잡았는데 혹시 이런 경우에는 어떻게 해결하면 좋을지 인사이트 부탁드립니다. https://github.com/Dockerel/DataStreams-BE/pull/2/files#diff-8865d84ecad53d37da0cb105068fad66b3f780ff3a9d11b61df86287646e51c3 작성한 코드 깃허브 링크를 첨부해드립니다. 감사합니다.
안녕하세요. MMR 관련 질문이 있습니다. MMR을 retriever로 설정할 때 fetch_k와 k를 같이 설정해주도록 되어 있는데, 여기서 질문입니다. fetch_k를 설정한다는 것 자체가 다양성을 확보하기 위한 MMR과 배치되는 것 아닌가요? => 그냥 전체 문서수를 fetch_k로 하면 되는 것 아닌가요? mmr 알고리즘 or 문서검색을 하는 원리가 잘 이해되지 않습니다. 감사합니다.
아래의 코드와 같이 chunk_size와 seperator 두가지 기준으로 문서를 분할하는 text_splitter를 정의하였을때, 어떤 것을 우선하여 텍스트를 분할하나요? 예를 들어 토큰사이즈가 100개 이하지만 정규식 조건에 해당하여 분할을 하는것인지 혹은 토큰사이즈 100개 이상이 되어 정규식 조건을 충족하지 않아도 문서를 분할하는지 궁금합니다. text_splitter = CharacterTextSplitter.from_huggingface_tokenizer( tokenizer=tokenizer, separator=r"[.!?]\s+", chunk_size=100, chunk_overlap=0, is_separator_regex=True, keep_separator=True, )
Taxi가 랜덤하게 init된 손님와 목적지의 위치를 아는 이유는 observations 환경이라 그런 걸까요? 랜덤하게 목적지와 손님의 위치가 설정되더라도 과업을 어느정도 완벽히 수행하게 되는 원리는 어떤 특정 지점에 대해서 손님의 위치까지의 경로 계획을 위한 행동 가치에 대한 훈련과 그 손님의 위치에서 목적지를 향한 경로 계획에 대해서의 가치 훈련을 수행 했기 때문으로 보는 것이 맞을까요?
