ไธ่งๅฝขใฎๆฌ็ช๏ผ OpenAI Tritonๅ็ด
ใใฎใฌใในใณใงใฏใใซใผใใซใใญใฐใฉใใณใฐใจPyTorchใขใธใฅใผใซใฎ้็บๆนๆณใๅญฆใถใใจใใงใใพใใๅญฆ็ฟใใ็ฅ่ญใๆดป็จใใฆใใขใใซใใใ่ฟ ้ใซ้็บใงใใพใใ
ๅ่ฌ็ 80ๅ
้ฃๆๅบฆ ๅ็ด
ๅ่ฌๆ้ ็กๅถ้

ไปใฎๅ่ฌ็ใใใใใ่ณชๅใๆฐใซใชใใพใใ๏ผ
- ๆช่งฃๆฑบ
autotune์ ์์ง ์ ์ฌ๋ผ์จ ๊ฑด๊ฐ์?
๋ค๋ฅธ ๊ฐ์์ ์ฌ๋ผ์จ๋ค๊ณ ๋์ด์๋๋ฐ vulcan ์ผ ๊ฒ ๊ฐ์ง๋ ์๊ณ ... ์ฌ๊ธฐ ์์ง ์ ์ฌ๋ผ์จ ๊ฑด๊ฐ์?
python๋ฅ๋ฌ๋cnngpgpudropoutopenaiargmaxrelutritonkernel-programmingnemo
ใป
5ใถๆๅ
0
37
1
- ๆช่งฃๆฑบ
๊ฐ์๋ง ๋ด์๋ triton ์ปค๋์ด pytorch์ ๋นํด ๋นจ๋ผ ๋ณด์ด์ง ์๋ค์..
์ด๋ค ์ํฉ์ ์ฐ๋ฉด ์ข์์ง ๊ถ๊ธํฉ๋๋ค.
python๋ฅ๋ฌ๋cnngpgpudropoutopenaiargmaxrelutritonkernel-programmingnemo
ใป
5ใถๆๅ
0
121
2
- ่งฃๆฑบ
block ptr ์ง๋ฌธ
์ด์ ์ ์ api๋ก ๊ณตํ๋์๋์? ์ ์ api์ธ ๊ฒ๊ณผ ๊ทธ๋ ์ง ์์ ๊ฒ์ ์ฐจ์ด๋ ๋ฌด์์ธ๊ฐ์?
python๋ฅ๋ฌ๋cnngpgpudropoutopenaiargmaxrelutritonkernel-programmingnemo
ใป
5ใถๆๅ
0
45
2
- ๆช่งฃๆฑบ
๋์ค์ฝ๋ ์ปค๋ฎค
์ด์ํ์๋ triton ๊ด๋ จ ๋์ค์ฝ๋ ์ปค๋ฎค ์ฃผ์ ์ ์ ์์๊น์?
python๋ฅ๋ฌ๋cnngpgpudropoutopenaiargmaxrelutritonkernel-programmingbeckpro
ใป
8ใถๆๅ
0
73
1
- ๆช่งฃๆฑบ
์์ผ๋ก์ ๊ฐ์ ๊ณํ์ ๋ํ์ฌ
์๋ ํ์ธ์! ์ข์ ๊ฐ์ํด์ฃผ์ ์ ์ ๋ง ๊ฐ์ฌ๋๋ฆฝ๋๋ค ์ด์ ๊ณต์ง์์ ํน์ Softmax, Flashattention ๋ฑ์ ๋ด์ฉ๊น์ง ์ด๊ธ์ผ๋ก ํฌํจ์ํค์ค ๊ฒ์ด๋ผ๊ณ ๋ง์ํ์ จ๋๋ฐํน์ ๊ฐ์๊ฐ ์ถ๊ฐ๋๋ ์ผ์ ์ ๊ตฌ์ฒด์ ์ผ๋ก
python๋ฅ๋ฌ๋cnngpgpudropoutopenaiargmaxrelutritonkernel-programmingmjbooo6026
ใป
0
230
2
- ่งฃๆฑบ
์ฝ๋๊ฐ ์คํ๋๋ ์์์ ๊ดํ์ฌ
@triton.jit def add_kernel(x_ptr, y_ptr, z_ptr, size, block_size: tl.constexpr): (...) def add(x, y): z =
python๋ฅ๋ฌ๋cnngpgpudropoutopenaiargmaxrelutritonkernel-programmingmjbooo6026
ใป
0
360
1
- ่งฃๆฑบ
์คํ์ ์ํ ์ต์ ํ๊ฒฝ
์๋ ํ์ธ์ hello_triton.py๊ฐ ์คํ์ด ๋์ง ์์ ์ง๋ฌธ๋จ๊น๋๋ค <p
python๋ฅ๋ฌ๋cnngpgpudropoutopenaiargmaxrelutritonkernel-programmingmjbooo6026
ใป
1
812
1
- ่งฃๆฑบ
๊ฐ์ ๊ณํ์ ๋ํ์ฌ
์๋ ํ์ธ์!๋ชจ๋ ๊ฐ์๊ฐ ๋ค ๋์ค์ง๋ ์์์ง๋ง ๋๋ฌด ์ข์ ๊ฐ์์ธ ๊ฒ ๊ฐ์ ๋จผ์ ๊ฒฐ์ ๋ฅผ ํ์ต๋๋ค ใ ใ ํน์ ๋ฐ์์๊ฒ ์ง๋ง ์น์ 4. Triton ํบ์๋ณด๊ธฐ(TBD)์ ๋ํ ์ ๋ฐ์ดํธ ๊ณํ์ ์๋ ค์ฃผ์ค ์ ์์๊น์?์ ๋ชฉ๋ง ๋ด์๋ Triton
python๋ฅ๋ฌ๋cnngpgpudropoutopenaiargmaxrelutritonkernel-programmingmjbooo6026
ใป
0
328
1
- ่งฃๆฑบ
ํ๋ ฌ๊ณฑ ์ค์ฐจ ๋ฌธ์
์๋ ํ์ธ์. ํฐ ์ง๋ฌธ์ ์๋๊ณ ์ฌ์ํ ์ง๋ฌธ์ผ ์๋ ์์ต๋๋ค๋ง.. ๋ค๋ฆ์ด ์๋๋ผ, ํ๋ ฌ๊ณฑ ๊ฐ์์์ ๊ตฌํํ ์ฝ๋์์๋ ๊ณฑํด์ฃผ๋ ํ๋ ฌ ํฌ๊ธฐ๊ฐ ์ปค์ง์๋ก ์ค์ฐจ๊ฐ ๋์ ๋๋ ๋ฏํ(์ ํํ ๋งํ๋ฉด ํ์ดํ ์น ๋ด์ฅ matmul๊ณผ ๊ณ์ฐ ๊ฒฐ๊ณผ๊ฐ ์ ์ ๋ ๋ฌ๋ผ์ง๋๋ฏํ) ํ์์ด
python๋ฅ๋ฌ๋cnngpgpudropoutopenaiargmaxrelutritonkernel-programmingskarndgb8607
ใป
1
397
2
- ่งฃๆฑบ
์ค์ต ์ฝ๋
์ค์ต์ฝ๋ ์ ๊ณตํด์ฃผ์ ๋ค๊ณ ์ธํธ๋ก์์ ๋ง์ํ์ จ๋๋ฐ ์ด๋์ ๋ณผ ์ ์๋์?
python๋ฅ๋ฌ๋cnngpgpudropoutopenaiargmaxrelutritonkernel-programmingetriones0668
ใป
0
368
1

