알고리즘 별 NPU
420
작성자 없음
작성한 질문수 0
CNN을 타겟으로 하는 NPU와 LLM을 타겟으로 하는 NPU는 어떤 차이가 있을까요?
LLM이 파라미터수가 많으니 FLOPS를 높이기 위해 MAC연산기를 많이 배치하고 memory bandwidth를 높여주는 정도 일까요?
아니면 encoder/decoder라는 구조로 NPU HW에 구조적으로 다른 접근이 필요한가요?
NPU 설계시 당연히 CNN,RNN,Transformer와 같이 특정 알고리즘을 염두에 두고 진행하겠죠?
답변 1
0
안녕하세요 🙂
굉장히 포괄적인 질문인 것 같고, 답도 알고계신 것 같아요.
제 생각에 저의 답변은, 상황 (스펙) 에 맞는 설계를 해야합니다.
처리해야 하는 data 가 무엇인가? (동영상 or text etc) 에 따라 architecture 다를 순 있을 것 같아요.
PPA (Power Performance Area) 를 고려해서 Arhictecture 를 잡아야하고요.
당연히 회사마다 NPU 가 전부 다르겠죠.
정말 많은 변수가 있고요. 스펙에 맞는 최적의 답을 찾아내는 것이 아키텍터의 역할이라고 생각합니다.
즐공하세요 🙂
[AI HW Lab2] CNN Verilog HDL Practice 1 (Simulation) - 문제설명편 ppt
1
106
2
[AI HW Lab1] CNN Core C 코딩 (Golden Model 만들기)
1
93
2
spartan7 fgga484보드
1
78
1
soft reset관련 질문드립니다!!
1
62
2
예제 코드 환경설정
1
75
2
HW 언어 for loop 해석
1
57
3
수업자료 관련 질문드립니다.
1
76
2
FPGA 기반 ASIC 설계 검증 시 다차원 배열 처리 방식 및 강의 수강 순서 고민
1
105
2
Fpga에 ai 가속기를 사용하는 이유
2
421
2
AI HW 11장 관련 질문드립니다.
1
114
2
소프트 맥스 관련 질문드립니다.
1
204
1
Data형태에 따른 AI가속기 구현 질문
1
223
1
cnn_core simulaiton
2
282
3
zynq z7 10 parameter 크기
1
208
2
ip 패키징 질문
1
287
1
Image 인식 가속 모델을 설계하려면
1
308
2
이 강의 수강을 위해 fpga 구입이 필요할까요?
2
368
2
혹시 AI 관련 강의도 Zybo Board가 필요한가요?
1
292
2
cnn_kernel.v 코드질문입니다.
1
198
1
6장2부 15분 12초 왜 feature map size가 변경되지 않나요?
1
256
2
zybo z7 케이블 관련 질문
1
363
1
CNN layer별 연산
1
274
2
CNN Core에 weight 와 input feature map 관련해서 질문있습니다!
1
261
1
Linux 및 외장 하드 사용에 관한 질문
1
270
2