안녕하세요~^^

합쳐서 학습을 시키려면 많은 작업이 필요합니다. 데이터를 concatenation(융합)하는 방식을 사용하는 것도 있지만, 전처리등 많은 과정이 요구될 것 입니다. 

따라서 위와 같은 학습은 coco dataset으로 Pretrained된 weight를 가지는 모델에서, Kitti dataset을 적용해서 다시 학습을 시키는 방식을 사용하시는 것을 추천드립니다. 

1.어떤 패키지들은 학습시 이미지 사이즈를 모두 고정되게 Resize를 한 뒤에 학습을 합니다. 사용하시는 패키지에 이 기능이 있으면 상관없지만  일반적으로 이미지 사이즈를 동일하게 만들어주고 학습합니다. 

2. 네, 그렇게 train하시면 됩니다.

3. 일반적으로 모델을 학습할 때 coco로 pretrained 기반 모델의 weight 값을 먼저 로딩한 뒤에 학습합니다. COCO 데이터 세트로 pretrained 된 기반 모델을 활용한다는 의미는 모델의 초기 weight값을  random하게 설정하지 않고, 이미 coco로 pretrained된 weight값을 사용한다는 것입니다. 강의를 좀 더 들으시면 어떻게 이를 적용했는지 아실 수 있습니다. 

마지막으로 실험적으로 이를 테스트 해보시는것은 좋습니다만, 큰 성능 향상을 기대하기는 어려울 수 있으니 이점 감안하셔서 추진해 보셨으면 합니다.

궁금한게 생겨서 다시 문의드립니다~!
1. coco 와 kitties의 이미지 사이즈는 두 데이터를 합치는데 있어 상관이 없는걸까요??

2. Coco 와  kitti 데이터 둘 다 각각 convert하여 yolo포멧 형태로 변환시켜 주석을 menifest파일과 txt파일로 만들어 놓았는데 이럴경우 두 데이터 셋의 이미지와 menifest，txt를 각각 하나로 합치고  이렇게 만들어진 값들을 이용해서 train시켜도 될까요???

3. Coco 데이터 세트로 pretrained 된 기반 모델을 활용하여 kitti 데이터 세트를 학습 시키려 해봤습니다만  아직 무슨말인지 아직 이해가 되질 않습니다ㅠㅜ

coco 를 학습시켜 얻은 적정 가중치를 kitti 데이터 학습시 가중치로 사용하라는 뜻으로 이해했습니다만 이게 맞나요...?ㅠㅜ

감사합니다~!! 도전해보겠습니다ㅎㅎㅎ

안녕하십니까,

저도 JH S님과 비슷한 생각입니다만, 먼저 아래와 같은 사항에 대해서 말씀드리고 싶습니다. 

1. COCO와 Kitti를 공통 포맷/공통 규약을 가진 annotation 파일로 합치기가 어려울 수 있습니다. 하지만 좀 더 검색을 해보면 kitti 포맷을 변경할 방법을 찾을 수도 있을 거 같습니다.

2. 공통의 annotation 파일을 가진다고 가정한다면, 이번엔 label 클래스가 서로 다릅니다. kitti의 경우 자율주행 자동차를 위한 데이터들 위주입니다. Car의 경우 coco와 kitti가 같지만 사람의 경우 coco는 person, kitti는 pedestrian으로 다릅니다.  car의 경우는 image의 갯수가 추가되고, 서로 다른 목적을 가진 형태에서 만들어진 이미지 이므로 성능 향상이 가능할 수 있습니다만, 다른 label들의 경우는 성능 향상을 기대하기는 어렵습니다. 두개의 데이터 세트를 합쳐서 전체 이미지 건수는 늘어났지만 개별 label에 해당하는 이미지들이 늘어나지 않으면 해당 label 대상의 오브젝트 Detection 성능 향상을 기대하기는 어렵습니다.

3. 1번과 2번 사항을 고려하면 JH S님이 말씀하신대로 Coco 데이터 세트로 pretrained 된 기반 모델을 활용하여 kitti 데이터 세트를 학습 시키는 방안을 고려해 볼수 있을 것 같습니다. 

감사합니다.

Transfer Learning을 하는 것 입니다.

1. 오직 COCO 데이터 셋만을 가지고 학습시켜서 최적의 모델을 만들어 놓는다. 

2. 방금까지 만든 모델에서 다시, 오직 Kitti 데이터 셋만을 가지고 학습시킨다. 

이때 1번 과정은 우리가 굳이 할 필요가 없습니다. Model zoo (https://modelzoo.co/) 에서 COCO로 학습시킨 최적의 모델이 공개되어 있기 때문입니다. 

답변 감사합니다~! 근데 이해가 조금 안되서요ㅠㅜ

Coco dataset으로 딥러닝 시킨 후 나온 많은 weigt값 중 가장 적절한 값을 골라서

Kitti dataset 딥러닝 할 때 그 값을 사용하라는 말씀이신가요..?