JdbcOAuth2AuthorizationService에서 DB에 저장시 오류 원인

질문1)의 에러 로그를 보면 insertAuthorization 메소드에서 attribute 컬럼에 Principal Class 자체를 저장하는 과정에서 발생하는 오류는 해결하였습니다.Spring Authorization Server 에서 제공하는 oauth2_authorization DDL 에서 blob type을 저장되는 데이터가 바이너리 형식이 아니기 떄문에 text로 변경하여 해결하였습니다.다만, text(변겅전) 크기 까지 필요할까 하는 의문이 드는 컬럼이 있어 적절한 사이즈로 졸이거나 redis 로 변경 예정입니다.

yolov3로 커스텀 데이터 학습시 이슈

1.이미지를 640 * 480으로 변환하고 2만장만 합습을 하니 val_loss 가 nan으로 나오는 문제는 2일 넘게 정도 학습이 진행중이였는데 발생하지 않았습니다.아마도 이미지 사이즈를 줄이면서 회전된 직사각형으로 진행된 어노터이션 결과물을 바운딩 박스로 보정하는 로직이 잘못되어 번호판이 많이 틀어진 영상은 엉뚱한 위치에 바운딩 박스가 위치하는 문제를 발견하여 수정하였는데 데이터셋 문자였던거 같습니다.다만, 할당받은T4 서버가 일요일 저녁에 가상 화페 사용이 의심되어 VM 사용이 중지되고 다시 신청한 T4 VM도 오늘 아침 home 폴더의 파일이 모두 사라져서 학급을 완료하지는 못했습니다.2. CUPTI_ERROR_NOT_INITIALIZED는 여전히 발생하고 있는데 T4 VM에서 qqwweee 패키지로 학습하면 GPU를 사용하고 있는것으로 확인 됩니다. 다만, keras-YOLOv3-model-set 로 학습하면 GPU와 관련하여 다른 오류가 나오면서 학습시 GPU를 사용하고 있지 않은데 이것은 TF 2.1 에서 요구하는 CUDA가 10.1 이상인데 T4 VM에 설치된것은 10.0인것이 원인인거 같습니다. 그리고 회사 Docker로 구성한 GPU 서버에서는 CUPTI_ERROR_NOT_INITIALIZED 하면서 GPU를 사용하지만 사용중인 프로세스 목록에는 나타나지 않고 있지만 GPU를 사용하여 학습은 진행되고 있는거 같습니다.

yolov3로 커스텀 데이터 학습시 이슈

1.학습은 3-4시간정도 진행되고 이후 val_loss가 줄어들지 않다가 NaN로 찍었던것 같은데. 이미지 사이즈를 줄여 다시 학습하고 동일한 문제가 발생하면 정확한 로그를 공유 하겠습니다.그리고 keras-YOLOv3-model-set 개발자가 패치한것이 PUSH되어 학습하면 1번의 경고는 나오지 않고 있습니다. 학습은 좀 더 지켜봐야 할거 같고... https://github.com/david8862/keras-YOLOv3-model-set/commit/10c222869824bae1c5ace9893a6c7eb6ddc9afa4qqwweee도 140~143 라인을 수정후 해결되지 않았는데 말씀하신대로 .pycache 를 삭제하니 해결되었습니다/https://github.com/qqwweee/keras-yolo3/blob/master/yolo3/model.py2.CUPTI_ERROR_NOT_INITIALIZED는 나오고 있는데 GPU 은 78%(GPU Server), 70%(Google Cloud T4) 가 나오고 있으니 GPU 는 사용하고 있는거 같습니다.3.말씀하신대로 이미지 사이즈와 개수를 줄여서 다시 학습하려고 합니다. 이미지 사이즈를 줄이면 추론속도가 빨라질거 같은데 학습데이터셋의 수도 추론 속도에 영향을 줄까요?

yolov3로 커스텀 데이터 학습시 이슈

1)1.번 문제는 라쿤 데이터셋에서는 발생하지 않습니다. 데이터셋의 이미지가 너무 큰거 같아 648 * 480 줄여서 학습 해보고 결과를 공유 하겠습니다.GPU를 V100이나 P100으로 할당받아 테스트 헤보려고 했는데 리소스 부족으로 할당이 안되서 진행하지 못했습니다.혹시 anchor 박스의 크기도 영향을 줄까요? 참고로 전에 공유했던 TF2를 지원하는 YOLOv3-model-set 에서도 동일한 문제가 발생하여 같이 문의 하였는데 아침에 답변을 확인하여 보니 강사님이 공유해주신것과 동일한 링크를 공유하고 패치하였으니니 최신 버전을 받아서 다시 해보라고 하는데 아직 PUSH는 안돼서 PUSH 가 되면 학습 결과를 공유 하겠습니다. https://github.com/david8862/keras-YOLOv3-model-set/issues/55아마도 qqwwee 패키지를 기반으로 개발되다 보니 qwwee 와 동일한 문제가 발생하는거 같습니다.2)이미지 개수는 40만장인데 2만장만 학습해도 동일합니다. 3)구글클라우드 : - GPU Driver Version : 410.104 - CUDA L 10.0GPU 서버(Docker로 설치) - GPU Driver Version : 440.82 - CUDA L 10.2 :

tensorflow 2

keras-YOLOv3-model-set 는 이슈에 중국어 글이 많아서 해석하는데 불편하지만 개발자가 대응도 빠르고 사용해 보니 쓸만한거 같습니다.YOLO v4는 논문 제목도 Optimal Speed and Accuracy of Object Detection 이고 첫페이지의 COCO Dataset 그래프나 논문의 내용을 보면 v3에 검출 성능과 속도를 모두 개선한거 같은데 논문 리뷰를 보면 v3와 비교하여 검출 성능은 좋아졌지만 속도는 느려진거 같은데 논문 읽어 보셨다면 제가 논문의 내용을 파악한것이 맞을까요?

tensorflow 2

여러번 질문을 하여 죄송 합니다. 설명을 너무 잘해주셔서 Object Detection에 대한 개념을 이해할 수 있었습니다. 배경 지식이 없이 Retinanet, YOLO 논문과 구현체를 보니 이해가 가지 않는것이 많았는데 많은 도움이 되었습니다 https://github.com/david8862/keras-YOLOv3-model-set를 보면 YOLO v4 도 구현되어 있고 Implement with tf.keras' 문장이 있는거 보니 tensorflow v2로 지원하는거 같은데 참고 해볼만한 패키지 일까요? star는 많지 않네요. 그리고 YOLO 구현체를 보면 강의에서 사용하는 것을 포함하여 많은 오픈소스 패키지들이 YAD2k(https://github.com/allanzelener/YAD2K ) 에서 영감을 얻어 개발핬다고 하는데 YOLO v2 에서는 잘 구현된것인가요?

tensorflow 2

답변 감사합니다,import 만 keras -> tensorflow.keras 로 변경하면 순수 tensorfolw v1 코드는 많지 않아서 쉽게 변환 가능한것으로 예상 했는데 keras 버전차이도 고려해야 겠군요. 그리고 당장 1-stage Detector 모델만 관심이 있고 실습 환경이 구축된 GPU 서버가 있다면 세션 0와 3는 생략해도 되겠죠?

tensorflow 2

네 답변 감사합니다. tensorflow v2로 작성되어 공개된 YOLO v3 소스가 inference 는 잘되는데 Custom Dataset으로 training 은 잘되지 않았고 Ojbect Detection 과 tensowflow v1에 대한 지식이 부족하다보니 변환도 잘 안돼서 강의를 수강하였습니다 Keras로 작성된 코드는 tensorflow v2로 변환하는데는 문제가 없을까요?

Spring OAuth2 인증서버 TokenStore 관련 문의

Token Store를 JWT 설정시 stackoverflow 오류가 발생하는 문제는 Spring Security 버전 문제가 아니였습니다. 개발중인 프로젝트를 SpringBoot 2.0.x 도 다운그레이드 해도 동일한 오류가 발생하여 JPA를 사용하고 있어서 OAuth 관련 테이블을 엔터티에서 사용한 연관관계 설정에 문제가 있어 발생한 문제 였습니다. Entity Class 를 삭제하고 OAuth 관련테이블을 Script 로 수동 생성후 해결되었습니다. 혼돈을 주어 죄송합니다. 그리고 JWT를 TokenStore로 사용하면 디버깅 해보니 oauth_client_details 만 생성하면 됩니다. 아마도 JWT Payload 에서 권한및 토큰의 만료기간등 가지고 있어서...

Spring OAuth2 인증서버 TokenStore 관련 문의

감사합니다. 1.Token Store를 JWT 로 설정하면 토큰에 만료시간, 권한등이 포함되어 있어 OAUTH Client 정보만 DB나 메모리에 저장하면되기 떄문에 JWT TokenStore를 사용하려고 합니다.. 2.알려주신 https://www.baeldung.com/spring-security-oauth-jwt는 이미 봤던 문서인데 SpringBoot 2.1.1에서 토큰 발급시 stackoverflow 오류가 발생합니다.(로그보면 재귀 호출이 발생) 오늘 아침에 문서에는 SpringBoot가 2.0.2 버전을 사용하고 있어 2.0.2로 변경하면 stackoverflow 오류는 발생하지 않고 다른 문서도 이상없이 동작하는 걸로 봐서는 SpringBoot 2.0.x는 Spring Security 5.0.x을 사용하고 2.1.x는 Spring Security 5.1.x를 사용하고 있어 Spring Security 연동 방식이 변경ㄷ힌거 같아서 Spring Security 5.1 레퍼런스를 보고 있습니다. https://tv.naver.com/v/4012597 를 보니 피보탈에서 여러 프로젝트에 흩어져 있는 OAuth2 API를 통합하면서 많은 변화가 있는거 같습니다.