3-way handshake 질문

안녕하세요 3-way handshake 관련해서 질문 드립니다

syn, syn-ack, ack의 과정이 클라이언트의 TCP전송계층에서 서버의TCP전송계층으로 서로 연결 가능한 상태인지 확인을 하는걸로 이해하고 있는데요

이런 논리적인 연결을 하려면 결국에는 클라이언트 전송계층에서 서버쪽 전송계층으로 가기위해서는 네트워크 -> 물리계층 을 거쳐서 연결을 위한 패킷이 먼저 왔다갔다 한다고 이해하면 될까요?

단순설명으로만 보면 클라이언트 TCP계층에서 서버TCP계층으로 다이렉트로 연결되는 것처럼 느껴지는 부분이 있어서 헷갈려 질문드립니다!