코코 데이터셋트에 나오는 설명문장들...

[개정판] 딥러닝 컴퓨터 비전 완벽 가이드

Balloon 데이터를 이용한 Train 실습 - Balloon annotation을 COCO 포맷용 annotation으로 변환

작성

578

강의 항상 잘 보고 있습니다. 또 항상 질문에 빠르고 상세한 답변해주셔서 감사드려요!

갑자기 든 의문인데 COCO데이터 셋 웹사이트를 보면 이미지 설명하는 데이터들도 같이 있더군요..(이걸 image captioning 이라고 하나요?)

이러한 정보들은 coco data json에서 어떻게 구현이 되나요? 이미지에 대한 설명 문장을 저도 자동으로 만들어 보고 싶네요.. 또한 input 을 문장으로 넣었을때 이미지를 출력해주는 것두요.

이러한 실습을 해보려면 선생님강의중에서 참고할 만한게 있을까요? 혹은 링크나 관련 내용 알려주시면 감사드리겠습니다.. COCO dataset 의 매력중에 하나가 image captioning 인것 같기도 한데.. 어떻게 사용하면 좋을까요? 감사합니다.

답변 1

지식공유자

안녕하십니까,

아, 이 질문이 있는 것을 못 보았군요.

coco dataset의 이미지 설명은 딥러닝 모델에서 자동으로 만들어 주는 것이 아니라, 수동으로 사용자가 입력한 것입니다.

하지만 coco dataset에 이미지 caption 데이터가 있기 때문에 이미지 captioning 딥러닝 모델을 학습하는데도 coco dataset를 활용할 수 있습니다.

아쉽게도 제 강의에는 image caption 모델에 대한 강의는 없습니다.

아래 URL을 보시면 Keras로 image captioning 모델을 만드는 실습 코드가 있습니다. 참조해 보시면 좋을 것 같습니다.

감사합니다.

질문자

확인해 보겠습니다. 감사합니다!

질문자

선생님 관련해서 하나만 더 여쭤보고 싶습니다. 선생님 강의와는 관련이 없어서 조금 망설여 졌습니다만 아무리 찾아도 안보여서요..

Custom image captioning dataset 을 만들기 위한 툴이 따로 있나요? VGG나 CVAT 에서는 제공하지 않는 듯 보여서 이렇게 여쭤봅니다. 감사합니다.

지식공유자

음, image captioning 기능이 CVAT에 있는건지를 여쭤보시는 거라면 저도 들어가서 확인해 봤는데, 없는 것 같습니다.

이미지 별로 수동으로 작업이 필요해 보입니다.

인프런 커뮤니티 질문&답변