CNN bit 수 할당에 대해서 질문 있습니다.

설계독학맛비's 실전 AI HW 설계를 위한 바이블, CNN 연산 완전정복 (Verilog HDL + FPGA 를 이용한 가속기 실습)

[AI HW Lab2] CNN Verilog HDL Practice 1 (Simulation) - 문제설명편 ppt

작성

401

수정됨

안녕하세요 늘 좋은 강의 잘 듣고 있습니다.

이번 영상에서 input과 output의 bit 수를

input feature map : 8bit

weight : 8bit

bias : 8bit

input fmap * weight : 16bit

기타등등 CNN 연산을 수행하면서 input fmap bit width는 8bit에서 output fmap의 bit width가 23bit으로 증가하는데

그러면 CNN 구조를 serial하게 연결시키게 되면 계속해서 overflow가 발생하지 않도록 bit width를 증가시키면 bit width가 마지막 CNN 구조를 통과하고 나서 기하급수적으로 늘어난다고 생각하는데

이러한 경우에 중간에 어떠한 조치를 취해야하는지 궁금합니다.

감사합니다

답변 1

지식공유자

안녕하세요 :)

좋은 질문 입니다.

Trade off 관계이고요.

일반적인 inteager 연산에서 bit 수가 부족하면 overflow 가 발생하는데, 이를 방지하려면

Saturation (min, max 가 넘어가면 min,max 값을 취함), Quantization (소수점 bit 를 이동시켜서, 필요 bit 수를 줄임) 과정을 거칩니다.

대신 정확도 (precision) 는 감소하겠죠.

즐공하세요 :)

ps. 참고로 해당내용은 Verilog HDL Season1 에서 다룹니다.

[HDL 8장] Overflow 를 이해하고 최적의 bit 설정하기 (왜 갑자기 값이 0 으로 돌아가지..?)

질문자

아하 친절한 답변 감사합니다!!

인프런 커뮤니티 질문&답변