3강에서 배경만 변경하고 인물을 유지하는 방법

Question

#2 눈 뜨는 여자에서 빨간 배경 샘플이 없어서 직접 만들어보는데 인물을 최대한 유지하면 배경만 검정에서 빨강으로 바꾸는 방법과 뜨고 있는 눈을 감게 만드는 방법이 궁금합니다

개인적인 시도에서는 omni reference를 사용하는데 이 경우 인물의 얼굴 생김새는 따라가지만 헤어스타일이라던지 구도가 변하는 경우가 있어서 어려움이 있습니다.

또한 강의에서는 3가지 이미지를 넣으셨는데 현재 런웨이에서 업데이트로 인해 프레임을 넣어서 영상을 만드는 Animate Keyframes이 처음과 마지막만 제공하는데 이런 경우에는 어떻게 하면 좋을지 궁금합니다!

Dong Ah K · Answer

안녕하세요. 26년7월 기준 업데이트 이전 강의 내용이라 죄송한 마음이 드네요. 그럼에도 불구하고 강의 구입해주셔서 일단 감사하다는 말씀을 드리고 싶습니다! 말씀주신 질문에 최대한 답변드리도록 할게요! 눈뜨는 여자에서 인물을 유지하면서 배경만 검정에서 빨강으로 바꾸는 방법, 뜨고 있는 눈, 감는 눈 방법 : 일단 처음으로 인물을 유지하고 배경만 검정에서 빨강으로 변경하는 방법부분부터 설명드리도록 할게요 이 부분은 인물을 유지하면서 배경만 변경되는 것인 만큼 인물이미지를 생성한 후 배경을 변경하는게 기본적인 방법입니다! 여기서 인물의 일관성을 유지하기 위해서는 나노바나나 (구글) 혹은 GPT2 (덕테이프) 엔진을 사용하는 것이 가장 간단한데요 예시를 보죠 해당 이미지가 있는데, 빨간색으로 배경을 변경을 하고 싶다면 이렇게 인물 이미지를 첨부한 상태에서, 배경만 변경해 달라고 하면 됩니다. 프롬프트는 한글로 하셔도 잘 인식될거에요 ( 흰색배경을 빨간색으로 변경 <-- 과 같이) 그럼 이렇게 배경이 변경이 됩니다. GPT2(덕테이프) 의 경우에도 지금과 같은 동일한 단계를 GPT안 에서 요청하시면 될거에요 :) 눈을 감고 있는 것과 뜨고 있는 것도 지금과 동일합니다. 이렇게 간단히 이미지 첨부 후, 표정에 대한 프롬프트를 입력하면 됩니다. 그럼 이렇게 결과물이 생성되게 됩니다. 지금의 경우 눈을 뜨고 있는 상태에서 감은 상태로 변경을 하였기 때문에 아주 쉬운 반면, 혹시나 감은 상태의 인물 이미지를 첨부하고 뜨게 만들경우에는 눈의 모습을 생성형AI가 알아서 추측하여 생성하는 만큼, 이 부분 알아두시면 좋을 것 같습니다. ( 눈 뜬 표정을 만들어 놓은 후<베이스> 베리에이션 진행 추천) 옴니 레퍼런스 사용시 변환 옴니 래퍼런스를 사용하시는 군요! 옴니 래퍼런스가 이제는 총 3가지가 있습니다. 미드저니의 옴니레퍼런스 구글의 옴니래퍼런스 클링의 옴니래퍼런스 만약 미드저니의 옴니래퍼런스의 경우에는 일관성의 능력이 나노바나나나 덕페이프보다 훨씬 낮은 만큼 인물을 그대로 유지하기에는 어렵습니다. 많이 따라가려하는 느낌은 있지만 정확하다고 말하기 어려운 만큼 미드저니의 화풍을 적극적으로 사용하는 경우에는 사용하지만, 보다 정확한 일관성을 원하신다면 다른 엔진(나노바나나 덕테이프)을 추천드립니다! 구글의 옴니래퍼런스의 경우에는 대체적으로 잘 반영하는 편이지만 이미지를 지금 작업하시는 것과 같이 Start 혹은 End 프레임으로 사용하는 것이 아닌, 재료 (참고자료) 로 사용하는 만큼 변형의 가능성이 있는 편입니다. 가장 정확하게 원하는 대로 나오는 방법은 Image to Video 중에서도 Start-End 방법이라 생각합니다. (Start-end = 영상이 시작하는 시작프레임과 마지막 프레임의 이미지를 지정하여 영상으로 만드는 방법) 업데이트로 인한 2개의 키프레임 제공 : 이 부분은 크게 어려워 하실 필요 없으실 것 같아요! 3장의 키프레임을 2장의 키프레임을 통해 만든다 라는 개념으로 이해하시면 좋은데, 1->2->3 3장의 이미지를 통해 구현하고자 했던 영상의 장면을 1->2 단계를 통해 하나의 영상을 만들고 2->3. 단계를 통해 영상을 만드는 것과 동일한 방식인 만큼 보다 세부적으로 만드는 방법으로 바뀌었다 로 생각하시고 작업하시는 것을 추천드립니다. 정리 : 3개의 키프레임을 2개의 키프레임으로 만든다 추가 의견 답변이 잘 되었는지 모르겠네요. 추가적으로 궁금한 내용이나 작업하시면서 고민되는 부분 남겨주세요 :) 감사합니다

인프런 AI 인턴 · Answer

안녕하세요, 인프런 AI 인턴입니다. rlatjdgjs222님. 인물을 유지하고 배경만 변경하는 방법에 대해 질문을 주셨군요. 이 과정에서는 이미지를 가능한 한 선택적으로 변경해야 하기 때문에 몇 가지 방법을 제시해드리겠습니다. 포토샵 활용 : 미드저니에서 생성된 이미지를 불러와 포토샵이나 Pixlr 같은 이미지 편집 프로그램을 사용하여 특정 부분, 즉 배경만 수정하는 방법입니다. 선택 도구나 레이어 마스크를 활용하여 인물은 그대로 두고 배경만 칠할 수 있습니다. Stable Diffusion이나 ControlNet 활용 : AI 툴 중에는 특정 영역의 변화를 제한하는 기능이 있는 경우가 있습니다. 이를 활용하면 인물 부분은 고정하고 배경만 변화시킬 수 있습니다. 런웨이에서 스타일 프롬프트 조정 : 런웨이 AI 프롬프트를 입력할 때 원하는 스타일(예: 배경색만 변경)을 명시적으로 지정하는 것이 방법이 될 수 있습니다. 특정 프레임 작업 시, 첫 번째와 마지막 프레임을 동일하게 설정하여 점진적인 변화 없이 배경색만 바꾸도록 유도할 수 있습니다. Animate Keyframes 기능의 제한 사항을 고려할 때는 중간 프레임 없이 첫째와 마지막 프레임의 일반적인 스타일과 색상이 일치하도록 사전에 세밀하게 조정하는 것이 중요합니다. 기술적인 업데이트로 인해 기능 사용 방법이 바뀌었다면, 해당 업데이트에 대한 공지나 동영상 자료를 통해 최신 정보를 참조하시는 것을 추천드립니다. 관련하여 더 깊이 있는 정보를 찾기 위해 아래의 글을 참고하시면 도움됩니다: - 미드저니 초보자 가이드 : 이 글을 통해 미드저니의 활용법과 다양한 접근 방식을 볼 수 있습니다. 저는 질문자님의 이해를 돕고자 지식공유자님의 기존 답변을 참고하여 유사한 답변 링크를 추천해드리고 있습니다. 현재 베타 기능으로 답변이 만족스럽지 않을 수 있는 점 양해 부탁드립니다. 🙏 추가적으로 궁금한 점이 있으시면, 이어서 질문해 주세요. 곧 지식공유자께서 답변해 주실 것입니다.