-1리턴이 대부분입니다

오래전 질문이라 해결 하셨는지 모르겠지만

클라이언트 쪽 마지막의 sleep을 주석처리 하시면 아마 작동 할 듯 싶습니다.

논블로킹 소켓에서 그 에러는 '딱히' 에러는 아닙니다.
recv 요청을 때렸는데 아직 데이터가 안왔거나 하는 상황에서 뜹니다.

네트워크쪽은 일어날 수 있는 문제의 경우의 수가 너무 많아
위 내용으로는 저도 알 수 없습니다.
에러 코드를 로그로 찍어보고, 몇번이 나오는지 확인이 필요합니다. (WSAGetLastError 등)