Spark 3.5에서 pandas의 NaN이 NULL로 바뀌지 않을 때

로컬에서 Docker 이미지(mcr.microsoft.com/mmlspark/release:latest)로 PySpark 환경을 구성해 강의를 듣고 있습니다.

강의에서는 Spark가 업데이트되면서 pandas DataFrame의 np.nan이 Spark DataFrame으로 변환될 때 null로 바뀐다고 설명되어 있었습니다. 그런데 제 환경에서는 여전히 NaN으로 남아 있었습니다.

확인해보니 이 이미지의 latest 태그는 Spark 최신 버전이 아니라 SynapseML 최신 버전 기준이었고, 실제 설치된 버전은 Spark 3.5.4였습니다. 이 버전에서는 Arrow 최적화가 기본적으로 꺼져 있어서 NaN이 그대로 유지되는 것으로 보입니다.

아래처럼 Spark 세션을 만들 때 Arrow 옵션을 켜 주니 NaN이 null로 변환되는 것을 확인했습니다.

spark = (
    SparkSession.builder
        .config("spark.sql.execution.arrow.pyspark.enabled", "true")
        .appName("SparkML")
        .enableHiveSupport()
        .getOrCreate()
)

Spark를 잘 아는 편이 아니라서 이 방법이 근본적인 해결책인지는 확실하지 않습니다. 더 좋은 방법을 알고 계신다면 공유해 주시면 감사드리겠습니다.