크롤링 결과를 DB에 저장하는 단계에서 PRIMARY KEY로 인해 중복되는 상품이 누락되는 문제

Question

크롤링한 데이터를 db에 저장하면서 PRIMARY KEY 를 item_code 로 정할시 모든 데이터가 추출되지는 않는 것 같습니다.

sql = """SELECT COUNT(*) FROM items WHERE item_code = '""" + item_info['item_code'] + """';"""

위 구문때문에 pk 중복되는 에러는 발생하진 않지만,

특정 상품이 메인과 서브카테고리에 중복되게 존재하는 경우에는 데이터가 누락되네요

물론 학습하는데는 큰 상관은 없습니다만....

실제 현업에서 이런문제가 발생하면 어떻게 해결하시는지 궁금합니다.

제 생각에는 테이블을 다시 정의해야 할것 같은데

"id INT NOT NULL AUTO_INCREMENT PRIMARY KEY" 이런식으로 해도 될거같긴 하지만

현업에서는 이런 경우에는 PRIMARY KEY를 어떤식으로 정하시나요?

P.S. 좋은 강의 항상 감사합니다.

Answer

안녕하세요. 강의에 첨부된 mysql_advance_with_pymysql.zip 파일의 mysql_advance_with_pymysql.py 파일을 보시면,

다음과 같이 items에 동일 item_code가 있을 경우에는 items에는 해당 상품 정보를 넣지 않지만,

ranking 테이블에는 items에 해당 item_code가 있던 없던, 해당 item_code를 기반으로 메인/서브 카테고리 모두 랭킹을 기록하고 있습니다.

그래서 말씀하신 문제가 생기지 않도록 해놓았습니다.

테이블을 두개로 나누면서,

ranking 테이블에서는 메인/서브 카테코리 랭킹 정보를 모두 기록하고, 사용되는 item에 대해서는 해당 item을 식별할 수 있는 item_code만을 기재해놓고,

items 테이블에서는 메인/서브 카테고리 랭킹에서 사용되는 item을 중복되지 않게만 저장합니다.

그래서 ranking 정보는 결과적으로 ranking 테이블만 확인해보면 누락없이 모두 알 수 있습니다.

도움이 되셨는지 모르겠습니다. 감사합니다.~

---------

def save_data(item_info):

sql = """SELECT COUNT(*) FROM items WHERE item_code = '""" + item_info['item_code'] + """';"""

cursor.execute(sql)

result = cursor.fetchone()

if result[0] == 0:

sql = """INSERT INTO items VALUES('""" + item_info['item_code'] + """',

'""" + item_info['title'] + """',

""" + str(item_info['ori_price']) + """,

""" + str(item_info['dis_price']) + """,

""" + str(item_info['discount_percent']) + """,

'""" + item_info['provider'] + """')"""

cursor.execute(sql)

---> 이 부분은 if 구문 바깥쪽에 기재해놓았기 때문에, if 구문으로 item이 중복되든, 안되는 무조건 실행되도록 해놓았습니다.

sql = """INSERT INTO ranking (main_category, sub_category, item_ranking, item_code) VALUES('""" + item_info[

'category_name'] + """',

'""" + item_info['sub_category_name'] + """',

'""" + str(item_info['ranking']) + """',

'""" + item_info['item_code'] + """')"""

cursor.execute(sql)