알고리즘 별 NPU
439
작성자 없음
CNN을 타겟으로 하는 NPU와 LLM을 타겟으로 하는 NPU는 어떤 차이가 있을까요?
LLM이 파라미터수가 많으니 FLOPS를 높이기 위해 MAC연산기를 많이 배치하고 memory bandwidth를 높여주는 정도 일까요?
아니면 encoder/decoder라는 구조로 NPU HW에 구조적으로 다른 접근이 필요한가요?
NPU 설계시 당연히 CNN,RNN,Transformer와 같이 특정 알고리즘을 염두에 두고 진행하겠죠?
답변 1
0
안녕하세요 🙂
굉장히 포괄적인 질문인 것 같고, 답도 알고계신 것 같아요.
제 생각에 저의 답변은, 상황 (스펙) 에 맞는 설계를 해야합니다.
처리해야 하는 data 가 무엇인가? (동영상 or text etc) 에 따라 architecture 다를 순 있을 것 같아요.
PPA (Power Performance Area) 를 고려해서 Arhictecture 를 잡아야하고요.
당연히 회사마다 NPU 가 전부 다르겠죠.
정말 많은 변수가 있고요. 스펙에 맞는 최적의 답을 찾아내는 것이 아키텍터의 역할이라고 생각합니다.
즐공하세요 🙂
보드 관련 질문 드립니다.
1
84
2
[AI HW Lab2] CNN Verilog HDL Practice 1 (Simulation) - 문제설명편 ppt
1
158
2
[AI HW Lab1] CNN Core C 코딩 (Golden Model 만들기)
1
140
2
spartan7 fgga484보드
1
108
1
soft reset관련 질문드립니다!!
1
83
2
예제 코드 환경설정
1
110
2
HW 언어 for loop 해석
1
81
3
수업자료 관련 질문드립니다.
1
92
2
FPGA 기반 ASIC 설계 검증 시 다차원 배열 처리 방식 및 강의 수강 순서 고민
1
133
2
Fpga에 ai 가속기를 사용하는 이유
2
535
2
AI HW 11장 관련 질문드립니다.
1
136
2
소프트 맥스 관련 질문드립니다.
1
222
1
Data형태에 따른 AI가속기 구현 질문
1
252
1
cnn_core simulaiton
2
307
3
zynq z7 10 parameter 크기
1
223
2
ip 패키징 질문
1
311
1
Image 인식 가속 모델을 설계하려면
1
334
2
이 강의 수강을 위해 fpga 구입이 필요할까요?
2
393
2
혹시 AI 관련 강의도 Zybo Board가 필요한가요?
1
320
2
cnn_kernel.v 코드질문입니다.
1
220
1
6장2부 15분 12초 왜 feature map size가 변경되지 않나요?
1
289
2
zybo z7 케이블 관련 질문
1
393
1
CNN layer별 연산
1
301
2
CNN Core에 weight 와 input feature map 관련해서 질문있습니다!
1
285
1