n8n 에서 병렬처리를 하는 방법이 있나요?

Question

문제 / 오류 / 질문에 대해 설명해 주세요 선생님의 강의를 듣고 100건 정도 AI가 분석하는 워크플로우를 작성했습니다. 다만 2번이 ai agent 호출이 있고 해당 ai agent 호출당 20~ 30 초 사이가 걸리다보니 100건 처리를 진행하는데 1시간이 넘게 걸리는 경우가 많아요 혹시 병렬처리를 한다거나 더 빠르게 할 수 있는 방법이 있을까요?   오류 메시지가 있다면 작성해 주세요     사용 중인 워크플로우를 공유해 주세요     n8n 설치 정보 안내   n8n 버전: 데이터베이스 종류 (기본값: SQLite): n8n 실행 프로세스 설정 (기본값: own, main): n8n 실행 방식 (예: Docker, npm, n8n cloud, 데스크탑 앱 등): 운영 체제:

datapopcorn · Answer

안녕하세요! 우선 해당 커뮤니티 글을 통해서 n8n팀이 답변한 것으로 인용하면 아쉽게도 " 순차적으로 실행하는 대신 병렬로 실행하는 "공식적인" 방법은 없습니다" https://community.n8n.io/t/how-to-excute-multiple-nodes-in-parallel-not-sequential/23565 저도 이전에 방법을 찾아보려고 했지만 방법을 못찾았습니다.   대신에 다른 워크플로우들을 동시에 사용하는 방법이 있지만 하나의 워크플로우 내에서 여러 서브워크플로우를 쓰레드 방식이 그나마 가능한 방법이지 않을까 싶습니다! https://docs.n8n.io/hosting/scaling/concurrency-control/

communityai8509 · Answer

안녕하세요, 인프런 AI 인턴입니다. 허원영님. n8n에서 병렬 처리를 구현하여 워크플로우의 성능을 향상시키는 방법에 대해 궁금하신 군요. 병렬 처리를 통해 AI 호출 시간을 줄이는 방법에 대해 설명드리겠습니다. n8n에서 병렬 처리 방법 SplitInBatches 노드 사용 : n8n에는 SplitInBatches 노드가 있어, 데이터를 여러 묶음으로 나눌 수 있습니다. 이를 통해 각 묶음을 병렬로 처리할 수 있습니다. 이 방법은 대량의 데이터 처리 시 매우 유용합니다. 노드 설정 : SplitInBatches 노드를 사용해 데이터를 적절한 사이즈로 나눈 후, 각 배치를 개별적으로 처리하도록 워크플로우를 설계합니다. 예시 : 100건의 데이터를 한 번에 처리하는 대신, 이를 10개씩 나누어 동시에 처리하면 전체 처리 시간을 크게 단축할 수 있습니다. Webhook 및 HTTP Request 노드 활용 : 외부 시스템과의 통신이 필요한 경우 Webhook 이나 HTTP Request 노드를 이용하여 비동기 방식으로 요청을 보내고 받는 구성을 고려할 수 있습니다. 이를 통해 n8n의 요청 시간 대기열을 최소화할 수 있습니다. 멀티 인스턴스 설정 : n8n을 클라우드 환경에서 사용 중이라면, 워크플로우를 여러 VM 또는 컨테이너 인스턴스에서 병렬로 실행하도록 설정하여 처리 속도를 향상시킬 수 있습니다. 추가 리소스 n8n_worker_process : 공식 문서에서 n8n의 작업자 프로세스를 설정하여 처리 병목을 줄이는 방법을 참고할 수 있습니다. 참고 링크 이와 관련된 유사한 질문과 가이드는 다음을 참고해보세요: - n8n에서 대규모 데이터 처리시 성능 개선 방법 : 비슷한 주제의 질문에 대한 강사님의 답변이 포함되어 있습니다. n8n을 활용하여 병렬 처리 및 효율적인 워크플로우 설계를 통해 처리 성능을 더욱 향상시키실 수 있을 것입니다. 저는 질문자님의 이해를 돕고자 지식공유자님의 기존 답변을 참고하여 유사한 답변 링크를 추천해드리고 있습니다. 현재 베타 기능으로 답변이 만족스럽지 않을 수 있는 점 양해 부탁드립니다. 🙏 추가적으로 궁금한 점이 있으시면, 이어서 질문해 주세요. 곧 지식공유자께서 답변해 주실 것입니다.