셀러리 사용에 문의드립니다.
288
작성한 질문수 1
현재상황은 다음과 같습니다.
윈도우 gui 오토메이션을 해야하는 task 가 있습니다.
큐(sqs)는 우선큐 일반큐 두개를 스위칭 해야하는 상황입니다.
우선큐에 메세지가 없을경우만 일반큐를 컨슘해야합니다.
메세지를 처리하는 인스턴스는 윈도우 gui 를 사용하기 때문에 한대의 장비에서 동시에 하나의 task 만 실행될 수 있습니다.
위의 제약조건들로 인하여 gui 기반의 셀레니움 자동화 스크립트를 구성하고 우선큐와 일반큐를 스위칭하면서 10개 이상의 윈도우 장비가 큐를 폴링하고 있습니다.
이를 윈도우 장비 하나에 하나의 스탠드얼론 워커를 띄우는 형태로 구성하고. 예를 들어 열개의 인스턴스에 각각하나씩 열개의 스탠드얼론 셀러리 워커를 띄우려고 합니다.
하나의 스탠드 얼론 워커가 두개의 큐를 priority 따라서 폴링하는게 가능할까요? 스펙상에서는 되는거 같긴한데 문서를 봐도 잘 모르겠어서 혹시나 문의드립니다.
안된다면 각각의 큐를 폴링하는 스탠드 얼론 워커를 인스턴스에 브로커의 개수만큼 띄우고 (하나의 인스턴스 두개의 스탠드얼론워커) 뒤에 별도의 자동화 로직을 구성하고 큐의 우선순윈는 서비스로직으로 풀어야 하나 고민중입니다.
답변 2
0
브라우저핸들링은 문제가 없는데 해당 브라우저 후속 프로세스에 exe 파일 실행이 있습니다. exe 파일 격리를 통해서 이걸 빼면 여러개 실행이 될 거도 같은데 현재 상황에선 그걸 기술검토하면서 개선사항을 도출하기 보단 장비 n개 깔아서 통제하는게 급한 상황이라.. 나중에 패킷이라도 따서 개선하는거를 고민해보고는 있습니다 ㅎ
어제 밤에 이전에 봤던 강의 한번 더 보다가 혹시나 하고 질문드렸는데 빠른 답변에 대해서 감사드립니다.
0
안녕하세요 모진종님,
물론 가능합니다. 강의를 들어보시면 아시겠지만 Routing을 사용하셔서 복수의 큐를 읽으실 수 있습니다.
제가 전문가는 아니지만, 서로 다른 Webdriver 사용하시면 여러개의 윈도우도 돌릴수 있지 않나요? 그리고 스케일이 커지신다면 Selenium Grid도 한번 고려해 보시면 리소스를 절약하실 수 있을 듯 합니다.
도움이 되셨으면 좋겠습니다.
진도미확인 (진도가 안 넘어감)
0
40
1
자료 화면 문의
0
40
1
celery.py 위치
0
96
2
docker-compose
0
112
1
standalone_celery 에만 작성된 task 들은 호출할 수 없나요?
0
136
2
수업노트 github 주소가 404가 많아요
0
92
1
product level에서 celeryd를 사용하시나요?
0
239
1
celery의 로그 설정을 django의 settings.py에서 따로 해줘야 하는게 있을까요?
1
346
1
django에서 view나 api에서 request를 celery로 넘길 수 있을까요?
1
246
1
child process에 lock/좀비 프로세스가 발생하면 어떻게 처리되나요?
1
251
1
DLQ와 관련한 이전 질문의 추가 질문 입니다.
1
272
2
task 에러를 signal로 잡는 부분에 대해 질문 드립니다.
0
215
1
DLQ에 저장하는 패턴에 대해 질문 드립니다.
1
204
1
DLX에 대한 질문입니다.
1
153
1
기존 docker-compose는 admin의 깨져서 나옵니다.
1
206
2
실습에 문제가 많아 수업노트보기의 저장소 코드를 확인해봤습니다.
1
221
2
celery-standalone에 대한 질문입니다.
1
165
1
Celery Monitoring Tool, Flower에 대해 알아보기에 질문 있습니다.
1
529
3
group에서 keyword arg를 전송할 때에 대해 알고 싶습니다.
1
208
1
SNS 처럼 사용하기
1
177
1
Task Routing 부분 보니까요
1
316
1
celery 에서 task 작업 끝난 후 ack 받기
1
373
2
rate_limit
0
320
2
docker-compose
2
450
2