[pandas] 중복 제거 관련

해결할 것 같은데, 혹시 동일한 문제를 해결해야하시는 분은 참고하시기 바랍니다.

import numpy as np
#)numpy import
import pandas as pd
#)pandas import
df = pd.read_csv("~/fileName.csv") 
#)csv 파일 load. 
ep1 = df['ep1'].dropna()
#)불러온 csv파일 데이터프레임에서 ep1의 열의 값을 변수 ep1에 할당
ep2 = df['ep2'].dropna()
#)불러온 csv파일 데이터프레임에서 ep2의 열의 값을 변수 ep2에 할당
ep1_ep2 = pd.concat([ep1,ep2])
#)ep1과 ep2를 하나의 컬럼으로 결합하여 새로운 변수 ep1_ep2에 할당
ep1_ep2_1 = ep1_ep2.drop_duplicates()
#)ep1_ep2에 중복으로 겹치는 value를 제거한 후 새로운 변수 ep1_ep2_1에 할당
len(ep1_ep2) - len(ep1_ep2_1)
#)ep1_ep2의 value 갯수에서 ep1_ep_2_1 value 갯수를 빼줌 = ep1과 ep2 2개의 컬럼에서 중복되는 value의 갯수

안녕하세요, 답변 감사합니다.

말씀주신 방법으로 새로운 컬럼을 만들어서 작업해보았습니다.

제가 의도한 것은 ep1과 ep2열의 전체 값을 비교하여 중복인 것을 제거하는 이었는데,

답변해주신대로 작업을 하니 ep1과 ep2의 각각의 row가 같은지 아닌지를 비교하여 새로운 컬럼에

Ture, False로 반환하였습니다.

ep1열 전체의 값과 ep2 열 전체의 값을 비교하여 중복을 제거하는 방법은 어떻게 해야 할까요?

열끼리 비교를 말하시는 거죠?

그럴경우

df["ep_1"] == df["ep__2"] == 1

이런식으로 새로운 컬럼을 만들어서 해당 컬럼이 TRUE인 값들만 제거해주는 방법이 있습니다.