ใใฃใผใใฉใผใใณใฐ็่ซ+ PyTorchๅฎๅๅฎๅ จๅพๆ
ใใฃใผใใฉใผใใณใฐ ็พๆฅญใซๆบใใใใใซๅฟ ่ฆใชใใฃใผใใฉใผใใณใฐใฎใๆ ธๅฟๆฆๅฟตใใๅญฆใณใPyTorchใๆดป็จใใๅฎ็ฟใ้ใใฆๅฎ้ใฎใใฃใผใใฉใผใใณใฐใใญใธใงใฏใใ้่กใใใฎใซๅฟ ่ฆใชๅฎๅใๆใใฆใใใ่ฌ็พฉใงใใ
ๅ่ฌ็ 542ๅ
้ฃๆๅบฆ ๅ็ด
ๅ่ฌๆ้ ็กๅถ้

ไปใฎๅ่ฌ็ใใใใใ่ณชๅใๆฐใซใชใใพใใ๏ผ
- ๆช่งฃๆฑบ
๋ ธ์ URL ์ด๋๋ฌธ์
๊ต์ฌ์ ์์ฑ๋ ๋ ธ์ URL๋ก ์ด๋์ด ์๋ฉ๋๋ค
๋ฅ๋ฌ๋pytorchNLP์ปดํจํฐ-๋น์ cnnrnntransformerllmsnjack0501
ใป
4ใถๆๅ
0
56
1
- ๆช่งฃๆฑบ
์น์ 12 ์ค์ต์ฝ๋ ์ initialization ๊ฐ๊ฐ ์ ์ฉ ์ฝ๋ ๋ฌธ์
์ค์ต์ฝ๋์์ ์ด๊ธฐํ ๊ฐ๊ฐ ์ ์ฉ ๋ถ๋ถ self._init_weights(self.fc_layers[0], mode='kaiming')
๋ฅ๋ฌ๋pytorchNLP์ปดํจํฐ-๋น์ cnnrnntransformerllmchddhh7419
ใป
1ๅนดๅ
0
97
0
- ๆช่งฃๆฑบ
์คํ
์๋ ํ์ธ์.7:13์ ๋งจ ์ค๋ฅธ์ชฝ์๋์ XN(t+1)์์ M์ธ๋ฐ N์ผ๋ก ์คํ๊ฐ ์์ต๋๋ค.
๋ฅ๋ฌ๋pytorchNLP์ปดํจํฐ-๋น์ cnnrnntransformerllmyoosoo07118763
ใป
0
82
0
- ่งฃๆฑบ
ํน์ ์ด๋ก ๊ฐ์ ์๋ฃ๋ ๊ณต์ ๊ฐ ๊ฐ๋ฅํ์ค๊น์?
์๋ ํ์ธ์ ๋ณ์ ํ ๊ฐ์ฌ๋.๊ฐ์ ์ ๋ฃ๊ณ ์์ต๋๋ค. ์ค์ต ์์ ๋๋ ์ฃผํผํฐ ๋ ธํธ๋ถ ํ์
๋ฅ๋ฌ๋pytorchNLP์ปดํจํฐ-๋น์ cnnrnntransformerllmkc73174430
ใป
1
166
1
- ๆช่งฃๆฑบ
[Sec. 2-8 ์ค์ ] weight ๊ณฑ์ ์์น
์๋ ํ์ธ์. 2-8์์ ํ ๊ฐ์ง ์ง๋ฌธ์ด ๋ ์์ด์ ๋ค์ ์ง๋ฌธ๋๋ฆฝ๋๋ค. FC NN Layer๋ฅผ ์ค๋ช ํ๋ ๋ถ๋ถ์ธ๋ฐ์.<img src="https://cdn.i
iklee7286
ใป
0
102
2
- ๆช่งฃๆฑบ
[sec. 2-8 ์ค์ต] ๋ฐฐ์น์ฌ์ด์ฆ์ ์ ํ
์๋ ํ์ธ์. ์ข์ ๊ฐ์ ์ ๋ฃ๊ณ ์์ต๋๋ค. ๋ฐ๋ณตํด์ ์ฌ๋ฌ ์ฐจ๋ก ๋ค์ ์ ์์ด์ ์ ๋ง ์ข์ต๋๋ค. ์กฐ๊ธ ๊ธฐ์ด์ ์ธ ์ง๋ฌธ์ธ๊ฐ ์ถ์๋ฐ์. <p style="text
๋ฅ๋ฌ๋pytorchNLP์ปดํจํฐ-๋น์ cnnrnntransformerllmiklee7286
ใป
0
171
2
- ่งฃๆฑบ
[section 14 / [์ค์ต] ์ง์ ๋ง๋ CNN ๋ชจ๋ธ๊ณผ ResNet, VGGNet์ ํ์ฉํ CV ํ๋ก์ ํธ] transforms.Normalize ์ง๋ฌธ
cifar10 ๋ฐ์ดํฐ์ ์ ๋ํ์ฌ Normalize๋ฅผ ์ ์ฉํ๋ ์ด์ ๊ฐ ๊ถ๊ธํฉ๋๋ค.mean๊ณผ std ๋ฆฌ์คํธ์ ๋ค์ด์๋ ๊ฐ์ ์๋ฏธ๊ฐ ๋ฌด์์ธ๊ฐ์?์ด๋ฏธ ToTensor()๋ก 0~1๊ฐ์ ์ค์ผ์ผ๋ง ๋ ๋ฐ์ดํฐ๋ฅผ, ํ์คํ๊น์ง
๋ฅ๋ฌ๋pytorchNLP์ปดํจํฐ-๋น์ cnnrnntransformerllmyun0106109971
ใป
1
226
1
- ่งฃๆฑบ
[section 14 / VGGNet ] receptive filed ์ง๋ฌธ
์๋ ํ์ธ์. ํญ์ ๊ฐ์ ์ ๋ฃ๊ณ ์์ต๋๋ค. ๊ฐ์ฌํฉ๋๋ค. ๋ค๋ฆ์ด ์๋๋ผ section14. vggnet ๊ฐ์๋ฅผ ๋ฃ๋ ์ค receptive field์ ๋ํด ์๋ฌธ์ด ์๊ฒจ ์ง๋ฌธํ๊ฒ ๋์์ต๋๋ค. ๊ต์ 82ํ์ด์ง์ (3,3) conv layer 2๊ฐ๋ฅผ ์์ผ๋ฉด recepti
๋ฅ๋ฌ๋pytorchNLP์ปดํจํฐ-๋น์ cnnrnntransformerllmyun0106109971
ใป
1
131
2
- ่งฃๆฑบ
[์น์ 3, PyTorch๋ก ๊ตฌํํด๋ณด๋ Loss Function] ๋ถ๋ฅtask lossํจ์ ์ง๋ฌธ์ ๋๋ค.
์ข์ ๊ฐ์ ์ ๋ง ์ ๋ฃ๊ณ ์์ต๋๋ค. ํญ์ ๊ฐ์ฌํฉ๋๋ค.๋ค๋ฆ์ด ์๋๋ผ nn.BCEloss ๋ nn.BCEWithLogitsLoss์์ ์ด๋ฆ์ B(Binary)๊ฐ ๋ค์ด๊ฐ ์ด์ง๋ถ๋ฅ ๋ฌธ์ ์ ์ฌ์ฉํ๋ ํจ์์ธ๊ฐ ์ถ์๋๋ฐ, ์ค์ต ๊ฐ์๋ ์ฒ๋ผ ๋ค์ค ๋ถ๋ฅ ๋ฌธ์ ์ loss
๋ฅ๋ฌ๋pytorchNLP์ปดํจํฐ-๋น์ cnnrnntransformerllmyun0106109971
ใป
1
233
2
- ่งฃๆฑบ
KL Div Loss์์ Negative Entropy๋ฅผ ๋ํด์ฃผ๋ ์๋ฏธ์ ๋ํด์
์๋ ํ์ธ์.ํญ์ ์น์ ํ๊ณ ์์ธํ๊ฒ ๊ฐ์ํด์ฃผ์ ์ ์ฌ๋ฏธ์๊ฒ ๋ฐฐ์ฐ๊ณ ์์ต๋๋ค.๋ค๋ฆ์ด ์๋๋ผ, ๋ณธ ๊ฐ์์์ ์ค๋ช ํด์ฃผ์ Negative Entropy์ ์๋ฏธ์ ๋ํด ์ ๊ฐ ํ์คํ๊ฒ ์ดํดํ ๊ฒ์ด ๋ง๋์ง ์ง๋ฌธํ๋ ค๊ณ ๊ธ์ ๋จ๊น๋๋ค.
๋ฅ๋ฌ๋pytorchnavyhourmj7636
ใป
1
193
2
- ่งฃๆฑบ
GoogleNet Inception ๋ชจ๋
์๋ ํ์ธ์ ์ ์๋๊ฐ์ ์ ๋ณด๊ณ ์์ต๋๋ค๊ตฌ๊ธ๋ท์ ์ธ์ ์ ๋ชจ๋ ์ค๋ช ์ค์ MAX pooling์ด ํฌํจ๋์ด ์๋๋ฐ์๋ณดํต max pooling์ ์ธํ์ ์ฌ์ด์ฆ๋ฅผ ์ค์ด๋ ๊ฒ์ผ๋ก ์๊ณ ์๋๋ฐ ๊ทธ๋ฌ๋ฉด ๋ค๋ฅธ ์ปจ๋ณผ๋ฃจ์ ์ด ํต๊ณผ๋ ์์ํ๊ณผ ์ฌ์ด์ฆ
๋ฅ๋ฌ๋pytorchNLP์ปดํจํฐ-๋น์ cnnrnntransformerllmreewoo46743300
ใป
1
166
2
- ่งฃๆฑบ
Batch Normalization ํจ๊ณผ
์๋ ํ์ธ์ ์ ์๋๊ฐ์ ์ ๋ง ์ ๋ณด๊ณ ์๊ณ ์์ ๋ง์ ์ง๋ฌธ๋ค์๋ ๋๋ฌด ์ฑ์ฌ์ฑ์๊ป ๋ต๋ณ ๋ฌ์์ฃผ์ ์ ๊ฐ์ฌํฉ๋๋ค ใ ใ BatchNorm์ด ์ค๊ณ๋ ์๋๋ internal covariate shift๋ฅผ ํด๊ฒฐํ๊ธฐ ์ํด ์ ์๋์๋ค๋ ๊ฒ์ ์ดํดํ
๋ฅ๋ฌ๋pytorchNLP์ปดํจํฐ-๋น์ cnnrnntransformerllmreewoo46743300
ใป
1
183
2
- ่งฃๆฑบ
Layer Norm์ด ์ธ์ด๋ชจ๋ธ์ ์ ํฉํ ์ด์
์๋ ํ์ธ์ ์ ์๋๊ฐ์ ์ ๋ง ์ ๋ณด๊ณ ์์ต๋๋ค.Layer Normalization์ ๋ณด๋ ์ค์ ์ ๋ ฅ ๋ฐ์ดํฐ๋ฅผ Normalizationํ๋ ๊ฒ์ ํตํด scale์ด๋ shift์ robustํ๊ฒ ๋๋ ๊ฒ๊น์ง ์ดํดํ์ต๋๋ค.์ด๋ฐ ํจ๊ณผ๊ฐ
๋ฅ๋ฌ๋pytorchNLP์ปดํจํฐ-๋น์ cnnrnntransformerllmreewoo46743300
ใป
1
520
1
- ่งฃๆฑบ
9-2 fully connected NN
์ฌ๊ธฐ์ ๋คํธ์ํฌ๋ฅผ ๊ตฌ์ฑํ ๋ ๋งจ ๋ง์ง๋ง์ sigmoid๋ฅผ ํ์ด ํ์ ๋ง์ง๋ง์ ๋ Softmax๋ฅผ ํ์ฐ๋๋ฐ, ์ด๋ ๊ฒ ํ ๊ฑฐ๋ฉด ์ ์ด๋ถํฐ ๋คํธ์ํฌ์ ๋ง์ง๋ง๋จ์ sigmoid๊ฐ ์๋ softmax๋ฅผ ํ์ฐ๋ฉด ๋๋ ๊ฑฐ ์๋๊ฐ์?์ sigmoid๋ฅผ ๊ฑฐ์น ํ์ so
๋ฅ๋ฌ๋pytorchNLP์ปดํจํฐ-๋น์ cnnrnntransformerllmreewoo46743300
ใป
1
129
1
- ่งฃๆฑบ
Mini-batch Gradient Descent computation time ์ง๋ฌธ
์๋ ํ์ธ์ ์ ์๋์๊ฐ๊ณผ ์ฒด๋ ฅ์ด ๋ ๋ง์์ผ๋ฉด ์ข๊ฒ ๋ค๋ ์๊ฐ์ด ๋ค ์ ๋๋ก ๊ฐ์๋ฅผ ๋๋ฌด ์ฌ๋ฐ๊ฒ ๋ณด๊ณ ์์ต๋๋คMini batch Gradient Descent ์ด๋ก ํธ์์ Mini batch Size์ ๋น๋กํ์ง ์๋๋ค๋ ์ค๋ช ์ ๋ณด์๋๋ฐ์.
๋ฅ๋ฌ๋pytorchNLP์ปดํจํฐ-๋น์ cnnrnntransformerllmreewoo46743300
ใป
1
175
2
- ่งฃๆฑบ
Huber Loss์ ๋ํ ์ง๋ฌธ
์๋ ํ์ธ์?: ์ ์๋๊ฐ์ ์ ๋ง ์ฌ๋ฐ๊ฒ ์ ๋ณด๊ณ ์์ต๋๋ค.๊ฐ์ ๋ด์ฉ ์ค์ Huber Loss๋ ์ ๋ฏธ๋ถ์ด ํ ๋ฒ๋ฐ์ ๋์ง ์๋๋ค๋ ๋จ์ ์ ์ธ๊ธํด์ฃผ์ จ๋๋ฐ์Gradient Descent๋ฅผ ์ ์ฉํ ๋๋ weight์ ๋ํ ํธ๋ฏธ๋ถ๋ง ์ ์ฉ
๋ฅ๋ฌ๋pytorchNLP์ปดํจํฐ-๋น์ cnnrnntransformerllmreewoo46743300
ใป
1
303
2
- ่งฃๆฑบ
Batch size ๊ฐ ๊ทน๋จ์ ์ผ๋ก ์์ ๊ฒฝ์ฐ (์๋ฅผ๋ค์ด batch_size =1) Normalization ์ ์ฉ ๋ฐฉ์
๊ฐ์ฌ๋, ๋ณธ ๊ฐ์ ๋ค์ผ๋ฉด์ ์ ๋ง ๋ง์ ๋์์ ๋ฐ๊ณ ์์ต๋๋ค. normalization ์ ๋ํด์ ์ด๋ ๊ฒ ์์ธํ๊ฒ ์ค๋ช ํด ์ค ์จ๋ผ์ธ ๊ฐ์๋ ๋ณธ ์ ์ด ์๋ค์ ๐<
๋ฅ๋ฌ๋pytorchNLP์ปดํจํฐ-๋น์ cnnrnntransformerllmaquarid22
ใป
3
352
1
- ่งฃๆฑบ
Normalization ์ง๋ฌธ
์๋ ํ์ธ์, ์์ ์ค๋ช ๊ฐ์ฌ๋๋ฆฝ๋๋ค. cnn์ด ์๋ ์ผ๋ฐ์ ์ธ fully connected NN (multi-layer perceptron) ์์ ํน์ batch/instance/layer normalization ์ ์ด๋ป๊ฒ ๊ณ์ฐํ
๋ฅ๋ฌ๋pytorchNLP์ปดํจํฐ-๋น์ cnnrnntransformerllmmalrung3862
ใป
1
270
2
- ่งฃๆฑบ
Section 7 [Activation Function์ ์ข ๋ฅ] Softmax logit ๋ถํฌ์ Entropy ์ง๋ฌธ์ด ์์ต๋๋ค
์๋ ํ์ธ์ ์ ์๋ํด๋น ๊ฐ์ ๋ง์ง๋ง ์ฐธ๊ณ ์ฌํญ: what is entropy ๋ถ๋ถ์์ Temperature๊ฐ ๋ฎ์์๋ก softmax logit์ ๋ถํฌ๊ฐ ์ ๋ฆฌ๋ฉด Entropy๊ฐ ๊ฐ์ํ๊ฒ ๋๋ ๊ฒ์ด ์๋์ง ๊ถ๊ธํฉ๋๋ค!<
๋ฅ๋ฌ๋pytorchNLP์ปดํจํฐ-๋น์ cnnrnntransformerllmrag
ใป
2
210
1
- ่งฃๆฑบ
Section 3 [์ค์ต] PyTorch๋ก ๊ตฌํํด๋ณด๋ Loss Function์ Cross Entropy ๊ตฌํ ๊ด๋ จํ์ฌ ์ง๋ฌธ์ด ์์ต๋๋ค.
์๋ ํ์ธ์ ์ ์๋,batch_size = 16 n_class = 10 def generate_classification(batch_size=16, n_class=10): pred
๋ฅ๋ฌ๋pytorchNLP์ปดํจํฐ-๋น์ cnnrnntransformerllmrag
ใป
1
299
1

