inflearn logo
강의

講義

知識共有

『ゼロから作るLLM』完読チャレンジ

週間読書認証

코드 2-3 출력 결과 비교

解決済みの質問

89

hyskim3838

投稿した質問数 3

0

안녕하세요.

코드 2-3의 SimpleTokenizerV1을 실행한 결과에 대해 문의드립니다.

아래 코드를 실행해보니 원문 text와 decode로 복원한 text가 조금 다릅니다.

원문과 복원한 text가 다르면 문제가 있을지 문의드립니다.

class SimpleTokenizerV1:
    def __init__(self, vocab):
        self.str_to_int = vocab
        self.int_to_str = {i:s for s,i in vocab.items()}

    def encode(self, text):
        preprocessed = re.split(r'([,.:;?_!"()\']|--|\s)', text) # 'hello,. world'

        preprocessed = [
            item.strip() for item in preprocessed if item.strip()
        ]
        ids = [self.str_to_int[s] for s in preprocessed]
        return ids

    def decode(self, ids):
        text = " ".join([self.int_to_str[i] for i in ids])
        # 구둣점 문자 앞의 공백을 삭제합니다.
        text = re.sub(r'\s+([,.?!"()\'])', r'\1', text)
        return text

tokenizer = SimpleTokenizerV1(vocab)

text = """"It's the last he painted, you know," Mrs. Gisburn said with pardonable pride."""
ids = tokenizer.encode(text)
print(text)
print(ids)
print(tokenizer.decode(ids))

 

"It's the last he painted, you know," Mrs. Gisburn said with pardonable pride.
[1, 56, 2, 850, 988, 602, 533, 746, 5, 1126, 596, 5, 1, 67, 7, 38, 851, 1108, 754, 793, 7]
" It' s the last he painted, you know," Mrs. Gisburn said with pardonable pride.

 

gpt-2 transformer llm

回答 1

1

haesunpark

안녕하세요. 이 토크나이저 클래스는 예시를 위해 간단히 만든 거라 완벽하게 복원되지 않는 것이 정상입니다. 실제 모델을 훈련할 때는 tiktoken 라이브러리를 사용하게 됩니다. 감사합니다!

1

hyskim3838

감사합니다!

죄송합니다. 해설 강의 관련 문의드립니다..!

0

113

2

해설강의 쿠폰 가능할까요??

0

138

3

해설강의 쿠폰 놓쳤는데, 재발급 가능할까요?

0

146

2

<CH 4.1> "LLM구조 구현하기" 장 마지막의 Logits 차원에 대한 문의

0

115

1

CH3의 맨 처음에 등장하는 '임베딩 입력 시퀀스' 텐서 값은 임의의 숫자인가요?

0

87

1

그림 4-5의 분산 값 문의드립니다.

1

92

1

챌린지 완수 조건 문의 드립니다.

0

113

2

어텐션 가중치 질문

0

66

1

해설강의 쿠폰 발행 문의

0

109

2

해설 쿠폰 관련 문의

0

84

2

쿠폰 관련 문의

0

110

3

쿠폰 관련하여 문의드립니다.

0

120

3

해설 쿠폰 관련...

0

81

2

코드 해설 강의 쿠폰 관련 문의

0

158

2

강의 쿠폰 관련 문의드립니다.

0

128

1

p63 질문

0

96

2

주차별 진도 확인하는거 어디에 있는지 알수있을까요?

0

116

2

임베딩 초기화

0

77

1

오타 발견했어요 >_<

0

91

1

8강 부터는 영상이 안나오는게 정상인가요?

0

111

1

강의 쿠폰 문의드립니다.

0

109

2

쿠폰 재발급

0

166

4

2.1 단어 임베딩 이해하기에서 차원 얘기에서

0

176

2

4장 강의는 아직 업로드가 안된걸까요?

0

97

1