H(x)-y 를 제곱을 하는 이유가 궁금합니다.

H(x)-y 를 제곱하면 차이가 커질 수록 페널티가 커진다고 하셨을 때, H(x)-y의 절댓값을 구해도 괜찮다고 생각했습니다.

절댓값을 사용하면 음수가 나올 일이 없고 차이가 커질수록 절댓값도 커지기에 페널티도 같이 커진다고 생각합니다.

혹시 제곱을 하는 이유가 뒤의 계산에서 마치 분산과 표준편차를 구하는 방법과 비슷하게 가기 위해서인가요?

제곱하는 이유와 절댓값을 사용하지 않는 이유가 궁금해져 질문 남겨봅니다. 질문 읽어주셔서 감사합니다.