블로그

turborepo는 가지치기가 필요해

서론요즘 핫하고 핫한 모노레포 빌드 시스템이 있습니다. 이름하야 터보레포(turborepo), 무려 Nextjs를 만들고 있는 Vercel에서 제작했습니다.Nextjs를 무진장 사랑하는 저는 반드시 찍어 먹어봐야 되겠다고 생각을 했습니다. 그래서 간단한 앱을 만들어 빌드까지 해보기로 했죠!오늘의 주제는 바로 그 빌드와 관련 있습니다. 재밌는 부분을 찾았거든요!간단하게 말씀드리자면, 터보레포는 가지치기가 필요합니다. 엥?도커는 빠른 최적화를 원해요갑자기 가지치기라니, 이게 무슨 말일까요? 터보레포가 드디어 그 사악한 속을 드러내고 우리의 소중한 코드를 잘라내 버리겠다는 의미일까요? 다행히도 그건 아닙니다.터보레포의 가지치기에 대해 말하기에 앞서 우리는 도커가 어떻게 nodejs 환경에서 이미지를 만들어 내는지 살펴봐야 합니다. => [separator 2/4] RUN pnpm add turbo 17.1s => [installer 2/5] COPY .gitignore .gitignore 0.0s => [separator 3/4] COPY . . 0.4s => [separator 4/4] RUN pnpm turbo prune --scope=api --docker 1.0s => [installer 3/5] COPY --from=separator /app/out/json/ . 0.0s => [installer 4/5] COPY --from=separator /app/out/pnpm-lock.yaml ./pnpm-lock.yaml 0.0s => [installer 5/5] RUN pnpm install 16.1s => [builder 2/4] COPY --from=installer /app . 6.5s => [builder 3/4] COPY --from=separator /app/out/full . 0.0s => [builder 4/4] RUN pnpm turbo run build --filter=api 7.2s => [runner 2/2] COPY --from=builder /app . 7.5s => CACHED [separator 2/4] RUN pnpm add turbo 0.0s => CACHED [separator 3/4] COPY . . 0.0s => CACHED [separator 4/4] RUN pnpm turbo prune --scope=api --docker 0.0s => CACHED [installer 3/5] COPY --from=separator /app/out/json/ . 0.0s => CACHED [installer 4/5] COPY --from=separator /app/out/pnpm-lock.yaml ./pnpm-lock.yaml 0.0s => CACHED [installer 5/5] RUN pnpm install 0.0s => CACHED [builder 2/4] COPY --from=installer /app . 0.0s => CACHED [builder 3/4] COPY --from=separator /app/out/full . 0.0s => CACHED [builder 4/4] RUN pnpm turbo run build --filter=api 0.0s => CACHED [runner 2/2] COPY --from=builder /app . 0.0s도커는 package.json와 락파일(lockfile)을 전의 빌드와 비교해 변화가 있을 때 비로소 패키지를 설치합니다. 변화가 없다면 이전의 캐시된 결과를 그대로 가져다 쓰는 것이죠. 위의 로그가 그 예시 중 하나입니다.첫번째는 package.json이 변경된 후 빌드된 이미지의 로그입니다. 옆의 시간을 확인해 보세요. 두번째는 첫번째 빌드 이후 package.json을 변경하지 않고 빌드한 이미지의 로그입니다. CACHED라고 나와 있는 것이 보이나요? 다시 한 번 시간을 확인해 보세요. 0.0s, 압도적 시간! 바로 도커가 이 전에 캐시된 것을 그대로 가져와 사용했기 때문에 가능했던 일입니다.천방지축 어리둥절 빙글빙글 돌아가는 터포레포 디펜던시이 좋은 방법을 터포레포에서도 사용해야 되겠죠. 그런데요, 문제가 하나 있습니다. 터보레포는 바로 모노레포 빌드 시스템이라는 겁니다!모노레포, 즉 터보레포는 락파일을 전역으로 관리합니다. A, B 워크스페이스가 있을 때 B 워크스페이스에서 디펜던시가 변경된다면 그 사항이 그대로 락파일에 반영되는 것이죠. 이 때 디펜던시가 변경되지 않은 A 워크스페이스를 도커로 빌드한다면요? 아차차, 도커는 락파일이 변경된 것을 보고 새로 디펜던시들을 설치하기 시작합니다. 락파일! 락파일이 도커를 완벽하게 속여 먹인 겁니다!대체 이 문제를 어떻게 해결해야 할까요, 맞습니다. 가지치기가 등장할 시간입니다.가지치기된 모노레포터포레포도 진작에 이 문제를 파악하고 있었습니다:a. 터포레포는 락파일을 전역으로 관리하기 때문에 효율적인 도커 빌드가 불가능하다b. 그럼 빌드할 워크스페이스만 똑때서 락파일을 만든다음 도커에게 주면 되는 거 아닌가a. 헐b. ?이렇게 turbo prune가 탄생합니다. 그 이름에서도 보여지듯이 이 명령어의 기능은 간단합니다. 바로 특정 워크스페이스의 가지치기된 모노레포를 만들어 주는 것이죠!. ├── apps/ │ ├── a-workspace/ // example-package-1만 사용 │ │ ├── package.json │ │ └── src/ │ └── b-workspace/ // example-package-1, 2 둘 다 사용 │ ├── package.json │ └── src/ ├── packages/ │ ├── example-package-1/ │ │ ├── index.ts │ │ └── package.json │ └── example-package-2/ │ ├── index.ts │ └── package.json └── pnpm-lock.yaml예제 앱의 디렉토리 구조입니다. a-workspace는 example-package-1 패키지만 사용하고 있고 a-workspace는 1, 2 둘 다 사용하고 있네요. 그렇다면 turbo prune을 사용해 a-workspace만 빼내봅시다.turbo prune --scope="a-workspace"이 명령어를 실행한다면:. ├── apps/ │ └── a-workspaces/ // example-package-1만 사용 │ ├── package.json │ └── src/ ├── packages/ │ └── example-package-1/ │ ├── index.ts │ └── package.json └── pnpm-lock.yamlA 워크스페이스의 가지치기된 모노레포를 만들어 줍니다. 물론 가지치기된 락파일도 같이요! 이 락파일은 오직 A 워크스페이스의 디펜던시만을 담고 있어 B 워크스페이스의 디펜던시가 변경된다고 하더라도 영향을 받지 않습니다.이 가지치기된 모노레포를 도커로 빌드하게 된다면 더 이상 락파일에 머리를 감싸매지 않아도 됩니다!TMI도움이 됐나요?다행입니다! 오늘도 좋은 하루 보내세요!References[Best practices for writing Dockerfiles | Docker Docs](https://docs.docker.com/develop/develop-images/dockerfile_best-practices/#use-multi-stage-builds)[\`turbo prune\` – Turborepo](https://turbo.build/repo/docs/reference/command-line-reference/prune)[Deploying with Docker – Turborepo](https://turbo.build/repo/docs/handbook/deploying-with-docker)

프론트엔드turborepodocker

<강의정리> 따라하며 배우는 도커와 CI환경(John Ahn) 1 - 도커 개념 정리

도커의 장점 일반적으로 프로그램을 다운받을 경우, installer 또는 io(file archive) 이용 -> 에러가 날 수 있음도커를 이용한 프로그램 다운 docker run -it redis -> 간편   도커 개념 서버에서의 컨네이터는 spring, mysql, react, redis ... 도커 이미지 - 프로그램을 실행하는데 필요한 설정과 종속성을 갖고있음 도커 컨테이너 - 이미지의 인스턴스이며, 프로그램을 실행함다양한 프로그램을 컨테이너로 추상화함으로써 어떠한 클라우드에서도 동일한 인터페이스 제공   도커 흐름 도커 클라이언트 -> 도커 서버 -> 캐시에서 이미지 반환 또는 도커허브에서 이미지 반환 기존의 가상화 기술은, 하이퍼 바이저를 통해 다수의 게스트 OS를 구동하고 호스트 OS와 하드웨어를 게스트 OS에 에뮬레이트(복제)함 도커 컨네이터 가상화 기술은 하이퍼바이저와 게스트 OS없이 호스트 OS위에서 커널을 공유하여 애플리케이션 실행 패키지(이미지)를 배포만 하면 됨. 경량화독립적인 컨테이너이기 때문에 하드 디스크 상에서도 격리됨; 프로세스를 작동시키는데 필요한 리소스 포함 도커 작동 원리; 리눅스 기능 1. Cgroup(control groups) - 시스템 리소스 사용량을 관리, 어플리케이션 cpu memory 제한 가능 2. 네임스페이스 - 프로세스를 격리시킬 수 있는 가상화 기술 프로그램 -> 리눅스 커널(이미지의 파일 스냅샷 전달) -> 리눅스 VM -> OS -> 하드웨어(프로그램 실행)

docker강의docker-container

<강의>따라하며 배우는 도커와 CI환경(John Ahn) 4 - 운영환경(aws eb)

전체 프로세스로컬 -> 깃허브 -> travis CI -> AWS EB (AWS S3 -> AWS ECS(ec2 컨테이너 인스턴스)에서 도커 이미지 생성 및 배포   운영환경을 위한 Nginx- 리액트 컨테이너 안의 서버로 엔진엑스 사용- 빌드 파일에서 엔진엑스가 정적파일 찾아서 반환- Dockerfile에 Nginx 이미지 추가 FROM nginx COPY --from=builder /usr/src/app/build /usr/share/nginx/html builder 스테이지에서 생성된 빌드 파일을 엔진엑스가 사용하는 경로(기본값)에 복사함   .travis.yml 파일 sudo: required language: generic services: - docker before_install: - docker build -t <이미지 이름> -f <dockerfile명> script: - docker run -e CI=true <이미지 이름> docker run test -- --coverage after_success:   AWS- ec2는 컴퓨터를 임대하는 개념 -> OS, 웹서버, DB 설치해서 사용- EB(Elastic Beastalk) -> 서버, 언어, 도커와 함께 개발된 서비스를 배포 및 확장- eb는 ec2, db, 보안 그룹 등을 컨트롤함(eb가 더 넓은 개념)   AWS EB 환경구성브라우저 -> eb의 로드발란서가 ec2 인스턴스들에게 분산시   .travis.yml 파일에 배포 설정 추가script 아래에 deploy: provider: elasticbeanstalk region: ap-northeast-2 app: docker-react-project <앱이름> env: DockerReactProject-env <환경이름> bucket_name: elasticbeanstalk-ap-northeast-2-234234235 <자동 생성 s3 버킷 이름> bucket_path: docker-react-project <앱이름> on: branch: master <git 배포용 branch 선택>   travis ci에 aws 접근 권한 설정아이엠 사용자 생성 후 트래비스 환경 변수에 AWS_ACCESS_KEY, AWS_SECRET_KEY 값 추가.travis.yml 파일에도 deploy 부분에access_key_id: $AWS_ACCESS_KEYsecret_access_key: $AWS_SECRET_KEY   엔진엑스 포트 매핑Dockerfile에 FROM nginx 밑에 EXPOSE 80 추가

docker강의docker-nginxdocker-travisdocker-awsdocker-aws-eb

<강의 정리>따라하며 배우는 도커와 CI 환경(John Ahn) 2 - 도커 명령어

1. 기본적인 도커 클라이언트 명령어 이미지 생성  docker create <이미지 이름> docker build -> Dockerfile을 이용하여 이미지 생성 docker build -t <이미지 이름 지정>   이미지 실행 docker run <이미지 이름> <명령어> docker run hello-docker ls docker run -p <포트지정> docker run -f <dockerfile 지정> docker run은 아래와 같음  docker create <이미지 이름> + docker start <컨테이너 아이디 또는 이름>   컨테이너에 명령어 전달 -> 컨테이너란 이미지를 실행한 상태를 일컬음 docker exec <이미지 아이디> <명령어> 레디스를 이용한 예시 docker run redis -> 레디스 서버 실행 docker exec -it <컨테이너 아이디> redis-cli -> 레디스 클라이언트 실행 -it 는 interactive와 terminal 옵션 -> 계속해서 명령어 적용 유지시켜줌 docker exec -it <컨테이너 아이디> sh 해서 터미널 환경에 들어가서 명령어 사용하면 간단 나올 때는 ctrl + D    이미지 중지 docker stop <이미지 이름> -> 실행중이던 것 완료하고 중지 docker kill <이미지 이름> -> 바로 중지   컨테이너 확인 docker ps -> 실행 중인 컨테이너 docker ps -a   (중지된) 컨테이너 삭제 docker rm <이미지 이름> -> 중지된 컨테이너 삭제 docker rm 'docker ps -a -q' -> 모든 중지된 컨테이너 삭제  docker rmi <이미지 아이디> docker system prune -> 중지된 컨테이너, 이미지, 네트워크 모두 삭제    도커 컴포즈 명령어 - docker compose yml 설정 파일 필요? docker-compose up docker-compose down   2. Dockerfile 생성하기 dockerfile 설정파일을 통해 도커 서버가 이미지를 생성함 도커 이미지가 필요한 것; 이미지는 여러 레이어로 구성 베이스 이미지 -> 이미지의 기반(OS) 파일 스냅샷 -> 필요한 파일을 다운로드할 명령어 시작 시 실행될 명령어   Dockerfile 예시 # 베이스 이미지FROM <이미지 이름>:<태그> -> 태그 안 붙이면 자동으로 최신 버전예시 FROM node:10 # 파일 다운로드RUN <명령어>예시 RUN npm install # 컨테이너 시작 시 실행될 명령어(1회 한정)CMD ["node", "server.js"]   Dockerfile로 이미지 생성하기 docker build ./ 또는 docker build . docker build -t <자신의 도커 아이디> <저장소;프로젝트 이름> : <버전> ./ docker build -t example1234/hello:latest ./ -> docker run -it example1234/hello 로 실행 가능   파일 못 찾는 현상 -> 파일 스냅샷 안에 넣어줘야 참고하는 파일이 컨테이너 안에 생성됨 FROM 다음에 COPY ./ ./ 로 복사    이미지 실행 시 포트 매핑 docker run -p <브라우저에서 사용할 포트>:<컨테이너 포트> <이미지 이름>   working directory 명시해주기 FROM 다음에 WORKDIR /usr/src/app -> 이미지 안에서 어플리케이션 소스를 갖고 있을 디렉터리를 생성 root에 접근하려면 쉘에 들어가서 cd로 이동하면 됨   어플리케이션 소스 변경 시 효율적으로 재빌드하기 COPY package.json ./  RUN npm install COPY ./ ./ -> 디팬던시가 변경되지 않는 한 디팬던시를 항상 받지 않고 캐시된 것을 이용하기 때문에 소스 변경 반영이 효율적이게 된다.     3. Docker Volumn  COPY 대신 Docker Volumn을 이용해 로컬 파일을 참조 docker run -p ... -v 호스트경로:참조할 도커 디렉터리 지정예시) docker run -v /usr/src/app/node_modules -v $(pwd):/usr/src/app 참조하지 않을 디렉터리는 호스트 경로($pwd)없이 경로 지정하면 참조 안 하고 컨테이너 내에서 찾아서 사용함$(pwd)는 현재 디렉터리; print working directory -> 빌드 없이 stop과 run으로 소스코드 반영이 가능하다.

docker강의docker명령어Dockerfile