코코 데이터셋트에 나오는 설명문장들...

Question

강의 항상 잘 보고 있습니다. 또 항상 질문에 빠르고 상세한 답변해주셔서 감사드려요!

갑자기 든 의문인데 COCO데이터 셋 웹사이트를 보면 이미지 설명하는 데이터들도 같이 있더군요..(이걸 image captioning 이라고 하나요?)

이러한 정보들은 coco data json에서 어떻게 구현이 되나요? 이미지에 대한 설명 문장을 저도 자동으로 만들어 보고 싶네요.. 또한 input 을 문장으로 넣었을때 이미지를 출력해주는 것두요.

이러한 실습을 해보려면 선생님강의중에서 참고할 만한게 있을까요? 혹은 링크나 관련 내용 알려주시면 감사드리겠습니다.. COCO dataset 의 매력중에 하나가 image captioning 인것 같기도 한데.. 어떻게 사용하면 좋을까요? 감사합니다.

Answer

안녕하십니까,

아, 이 질문이 있는 것을 못 보았군요.

coco dataset의 이미지 설명은 딥러닝 모델에서 자동으로 만들어 주는 것이 아니라, 수동으로 사용자가 입력한 것입니다.

하지만 coco dataset에 이미지 caption 데이터가 있기 때문에 이미지 captioning 딥러닝 모델을 학습하는데도 coco dataset를 활용할 수 있습니다.

아쉽게도 제 강의에는 image caption 모델에 대한 강의는 없습니다.

아래 URL을 보시면 Keras로 image captioning 모델을 만드는 실습 코드가 있습니다. 참조해 보시면 좋을 것 같습니다.

감사합니다.