인프런 커뮤니티 질문&답변
작성자 없음
작성자 정보가 삭제된 글입니다.
알고리즘 별 NPU
24.04.11 22:46 작성
·
226
1
CNN을 타겟으로 하는 NPU와 LLM을 타겟으로 하는 NPU는 어떤 차이가 있을까요?
LLM이 파라미터수가 많으니 FLOPS를 높이기 위해 MAC연산기를 많이 배치하고 memory bandwidth를 높여주는 정도 일까요?
아니면 encoder/decoder라는 구조로 NPU HW에 구조적으로 다른 접근이 필요한가요?
NPU 설계시 당연히 CNN,RNN,Transformer와 같이 특정 알고리즘을 염두에 두고 진행하겠죠?
답변 1
0
설계독학맛비
지식공유자
2024. 04. 12. 17:12
안녕하세요 🙂
굉장히 포괄적인 질문인 것 같고, 답도 알고계신 것 같아요.
제 생각에 저의 답변은, 상황 (스펙) 에 맞는 설계를 해야합니다.
처리해야 하는 data 가 무엇인가? (동영상 or text etc) 에 따라 architecture 다를 순 있을 것 같아요.
PPA (Power Performance Area) 를 고려해서 Arhictecture 를 잡아야하고요.
당연히 회사마다 NPU 가 전부 다르겠죠.
정말 많은 변수가 있고요. 스펙에 맞는 최적의 답을 찾아내는 것이 아키텍터의 역할이라고 생각합니다.
즐공하세요 🙂