inflearn logo
강의

Khóa học

Chia sẻ kiến thức

Từ khái niệm Vision Transformer công nghệ deep learning mới nhất đến triển khai Pytorch

attention 기법 관련 질문입니다

261

ingbeeeded7104

44 câu hỏi đã được viết

0

안녕하세요

강의에서 spatial, channel attention으로 attention을 구하는 방법과 Key, Query, Value로 attention을 구하는 방법을 따로 소개해주셨는데, 이는 서로 다른 attention 기법으로 이해하면 되는 것인가요?

 

pytorch 컴퓨터-비전 딥러닝 vision-transformer

Câu trả lời 2

1

dlbro

안녕하세요. 유영재님 :)

 

네 맞습니다! 많은 어텐션 방법 중 두가지를 소개해 드렸습니다!

별도로 찾아보시면 별의별(?) 어텐션 방법들이 있습니다 :)

0

ingbeeeded7104

감사합니다~

mean attention distance

0

199

2

안녕하세요, vit에 관심이 많은 사람입니다.

1

233

1

positional embedding 학습이 잘 안되는 문제

1

365

1

행렬 차원 수 질문

0

315

1

Self Attention 질문 있습니다.

0

325

1

Multi-Head Attention 모델 구조에서 궁금한게 있습니다.

0

555

1

전처리 관련해서 질문이 있습니다

1

362

1

답변에 대한 추가질문이 있습니다.

1

301

1

헷갈리는게 몇개 있습니다ㅠㅠ

1

375

1

Positional Encoding, KQV 질문입니다!

2

623

1

강의 자료 슬라이드

0

738

2

비전 트랜스포머 - 최신 모델 강의에서 positional embedding

2

468

1

비전 트랜스포머 - 최신 모델' 강의에서 B*N*K 와 1*K*D 를 연산

1

401

1

'어텐션 기법 - 키, 쿼리, 밸류는 무엇인가?' 강의에서 (QK^T)

1

717

1

training

1

288

1

Image가 입력일 때 Cross Attention 결과가 궁금합니다.

0

889

1

Transformer의 input에 대해 질문드립니다.

1

415

1

ViT에 대한 전반적인 질문 드립니다!

1

394

1

Key query value관련 질문

1

567

2

Fine tuning 관련하여 질문 드립니다.

1

647

1

코드 질문

1

316

1

Dh의 의미

1

309

1

scheduler관련 질문드립니다.

2

276

1

E, Epos

0

305

1