소프트 맥스 관련 질문드립니다.
204
投稿した質問数 5
안녕하세요
AI 가속기 관련해 최근 연구를 시작하게 된 석사과정생입니다
강의 감사히 잘 듣고 있습니다.
다름이 아니고, 일반적으로는 matrix multiplication에 관한 가속기가 연구되는 것으로 알고 있으나
최근에 제가 진행하고 있는 연구 주제가 softmax 연산에 관한 가속기라, 이러한 연구에 관해 질문을 좀 드리고 싶습니다.
강의 중에 CNN에서는 사실상 마지막 단에서 max값만 찾아 분류를 수행하면 되기 때문에 굳이 inference시에는 softmax연산을 진행하지 않아도 된다라고 말씀해주셨습니다.
혹시 그렇다면 softmax연산을 가속하는 것 자체가 큰 contribution이 없는 연구일까요?
CNN말고 transformer에서도 Query와 Key의 유사도를 구하고 이를 가중치 값으로 쓰기 위해 softmax연산을 사용하는데, 여기서도 굳이 inference시에 softmax연산을 사용할 필요 없이, 유사도가 높은 순으로 나열하기만 하면 되는 건지 의견을 여쭙고 싶습니다.
연구를 하며 정말 많이 헤매고 있었는데,
이 분야에 대해 저와 같은 초심자도 이해하기 쉽도록 좋은 강의 제공해주셔서 정말 감사드립니다.
혹시 강의 내용과 많이 벗어나는 질문이었다면 죄송합니다 ㅠㅠ 현업자 분의 의견을 여쭙고 싶어 올리게 되었습니다.
回答 1
0
안녕하세요 🙂
결국 하고자 하는 프로젝트에 따라서 답이 달라질 것 같은데요.
softmax 연산없이도 최종 결과를 얻어낼 수 있다. 라고 하면 softmax 를 할 이유는 없겠죠.
하지만 softmax 가 꼭 필요하다면, 써야할 것 같아요.
softmax 의 경량화는 필요해보이고요.
당연히 HW 는 integer 연산을 좋아하기 때문에, softmax 를 integer 연산으로 풀어서 계산하는 것도 도움이 될 것 같긴 합니다.
즐공하세요 🙂
[AI HW Lab2] CNN Verilog HDL Practice 1 (Simulation) - 문제설명편 ppt
1
106
2
[AI HW Lab1] CNN Core C 코딩 (Golden Model 만들기)
1
93
2
spartan7 fgga484보드
1
78
1
soft reset관련 질문드립니다!!
1
62
2
예제 코드 환경설정
1
77
2
HW 언어 for loop 해석
1
57
3
수업자료 관련 질문드립니다.
1
76
2
FPGA 기반 ASIC 설계 검증 시 다차원 배열 처리 방식 및 강의 수강 순서 고민
1
105
2
Fpga에 ai 가속기를 사용하는 이유
2
424
2
AI HW 11장 관련 질문드립니다.
1
114
2
Data형태에 따른 AI가속기 구현 질문
1
223
1
cnn_core simulaiton
2
282
3
zynq z7 10 parameter 크기
1
208
2
ip 패키징 질문
1
287
1
Image 인식 가속 모델을 설계하려면
1
309
2
이 강의 수강을 위해 fpga 구입이 필요할까요?
2
368
2
혹시 AI 관련 강의도 Zybo Board가 필요한가요?
1
292
2
cnn_kernel.v 코드질문입니다.
1
198
1
6장2부 15분 12초 왜 feature map size가 변경되지 않나요?
1
256
2
zybo z7 케이블 관련 질문
1
363
1
CNN layer별 연산
1
274
2
CNN Core에 weight 와 input feature map 관련해서 질문있습니다!
1
261
1
Linux 및 외장 하드 사용에 관한 질문
1
270
2
CNN가속기 질문
1
363
1