알고리즘 별 NPU

Question

CNN을 타겟으로 하는 NPU와 LLM을 타겟으로 하는 NPU는 어떤 차이가 있을까요?

LLM이 파라미터수가 많으니 FLOPS를 높이기 위해 MAC연산기를 많이 배치하고 memory bandwidth를 높여주는 정도 일까요?

아니면 encoder/decoder라는 구조로 NPU HW에 구조적으로 다른 접근이 필요한가요?

NPU 설계시 당연히 CNN,RNN,Transformer와 같이 특정 알고리즘을 염두에 두고 진행하겠죠?

Answer

안녕하세요 🙂

굉장히 포괄적인 질문인 것 같고, 답도 알고계신 것 같아요.

제 생각에 저의 답변은, 상황 (스펙) 에 맞는 설계를 해야합니다.

처리해야 하는 data 가 무엇인가? (동영상 or text etc) 에 따라 architecture 다를 순 있을 것 같아요.

PPA (Power Performance Area) 를 고려해서 Arhictecture 를 잡아야하고요.

당연히 회사마다 NPU 가 전부 다르겠죠.

정말 많은 변수가 있고요. 스펙에 맞는 최적의 답을 찾아내는 것이 아키텍터의 역할이라고 생각합니다.

즐공하세요 🙂