묻고 답해요
164만명의 커뮤니티!! 함께 토론해봐요.
인프런 TOP Writers
-
미해결프로그래밍 시작하기 : 파이썬 입문 (Inflearn Original)
강의자료 관련
안녕하세요, 먼저 파이썬 관련 좋은 강의해주셔서 감사합니다 :)강의자료 파일이 열리지 않아 메일로 보내주셨으면 하여 글 남깁니다. gkalsry@naver.com 여기로 보내주시면 감사하겠습니다! 좋은 하루 보내세요 :)
-
미해결스파크 머신러닝 완벽 가이드 - Part 1
Pandas vs Spark: 비용, 처리시간 비교
안녕하세요 선생님, 항상 좋은 강의 제공해주셔서 감사합니다. 저는 데이터 관련 현업에 종사하고 있는 직장인입니다. 업무를 하다가 궁금한 점이 있어서 질문 드립니다. 데이터:매주 60만개 레코드가 업데이트 및 증가하는 DF_A매일 1000개 레코드가 업데이트 및 증가하는 DF_B Task: 매일 DF_A 와 DF_B를 1) merge하여 2) aggregation (groupby, count, merge 등 포함)을 하고 3) 결과 값을 다른 곳에 저장하는Databricks에 job이 있습니다. 이 둘을 spark로 읽어들여 merge를 함으로써 메모리 및 시간을 (이미 오래걸리지만) 절약하고 있습니다. Spark로 둘을 merge한 후, pandas로 dataframe을 변화하여, aggregation 처리를 하고 있습니다. 제가 이해하기로 Pandas는 아무래도 dataframe을 memory에 올려놓고 하다보니 groupby(), count() 와 같은 aggregation 결과를 즉각적으로 볼 수 있는 반면, spark는 memory에 올려놓지 않아서 dataframe의 레코드 개수 파악을 하기 위해 count()를 하더라도 엄청 오래걸려 aggregation 처리는 pandas로 하고 있습니다. 다만 이 경우, memory의 사용이 너무 과다하여 시간이 지날수록 처리해야하는 데이터 양이 많아지게 되면 out of memory 에러가 날 수 있는 위험이 있다고 생각이 듭니다. 제가 aggregation을 pandas로 바꿔서 하는 이유는1. pandas에 익숙해서2. spark보다 aggregation이 더 빨라서 (테스트해보지 않아 사실 정확하지 않습니다. 눈에 보이는 즉각적인 aggregation 결과만 봤을때 pandas가 더 빠르다고 생각이 들었습니다.) 제가 생각하기에 pandas가 아닌 모든 것을 spark로 aggregation 함으로써 장점은1. memory 에러가 날 걱정이 거의 없다.2. Memory를 덜 사용함으로써 비용 절감의 효과가 있다? (databricks에서 cluster를 리소스 사용량이 아닌 이미 만들어진 cluster에 대해서는 사용량이 적던 많던 사용시간에 비례해서 늘어나는 걸로 알고 있는데 확실치 않습니다.)3. 어쩌면 pandas보다 aggregation이 빠를 수 있다???위에 spark 장점 2, 3번에 대해서 특히 3번에 대해서 spark 보다 pandas의 aggregation 연산이 더 빠른지, 아직 spark로 aggregation 코드를 작성하지 않아 직접 비교는 해보지 않았습니다. 혹시 선생님의 의견으로는 모든 것을 spark로 하는게 좋을지 혹은 현재처럼 pandas로 하는 것도 괜찮을지, 그 외 추가적으로 고려해 보아야할 부분에 대한 조언 여쭙고자 질문 남깁니다. 답변에 대한 추가적인 질문은 대댓글을 남기면 되는지 혹은 질문을 다시 추가해야 선생님이 알림 받기가 편하신지 알려주시면 감사하겠습니다! 항상 좋은 컨텐츠 제공해 주심에 감사합니다!
-
미해결Node.js로 웹 크롤링하기
현재 페이스북 로그인 화면이 좀 바뀌었는데,
페이스북 로그인 버튼 예를 들어 document.querySelector('#loginbutton').click() 강좌의 이런 라벨이 사라졌어요버튼 바로 위가 div 태그인데, div 태그를 클릭하면 반응이 없고,버튼 클래스 이름의 태그를 클릭 해야지만 반응이 있네요 이 부분은 어떻게 다루는게 좋을까요?
-
해결됨Vue.js 완벽 가이드 - 실습과 리팩토링으로 배우는 실전 개념
권한요청 부탁드립니다
인프런 아이디 : jjkim0222인프런 이메일 : jjkim0222@naver.com깃헙 아이디 : jjkm0222@gmail.com깃헙 Username : JJK0104
-
미해결블렌더 처음 시작부터 로우폴리 3D 애니메이션 까지
Bevel 관련
안녕하세요. bevel기능이 평소에는 잘 되는데 가끔가다가 모서리에 적용할 때는 그냥 선만갈라지고 깎이지는 않는 경우가 많습니다. 혹시 왜 그런지 알 수 있을까요?
-
미해결Vue.js 끝장내기 - 실무에 필요한 모든 것
createInstance() 함수를 축약하면 안되는 이유
// 액시오스 초기화 함수 function createInstance() { const instance = axios.create({ baseURL: process.env.VUE_APP_API_URL, }); return setInterceptors(instance); } const instance = createInstance();위 함수를// 액시오스 초기화 함수 const instance = () => { const instance = axios.create({ baseURL: process.env.VUE_APP_API_URL, }); return setInterceptors(instance); };이렇게 줄이려고 해봤는데 자꾸 오류가 뜨더라구요..제가 축약문에 대한 이해도가 덜되었는지 ㅠ 왜 안되는걸까요 ??
-
해결됨스프링 MVC 2편 - 백엔드 웹 개발 활용 기술
필터 등록시 @Configuration과 @Bean
안녕하세요. 서블릿 필터 - 요청로그 편을 공부하다가 궁금한 점이 생겼습니다. 처음에 LogFilter를 만들고 이것을 등록하기 위해WebConfig를 만든 후 @Configuration 처리와 FilterRegistrationBean을 반환하는 메서드 logFilter를 @Bean 처리한 후에 여기다가 LogFilter를 등록하는 것까지는 이해했는데 이렇게 등록한 빈을 사용하려면스프링 기본편에서 ApplicationContext를 이용하여 ApplicationContext applicationContext = new AnnotationConfigApplicationContext(WebConfig.class); 이렇게 작성해야 사용할 수 있는 것 같은데 그 작업이없어서 어떻게 사용할 수 있는지 궁금합니다.
-
해결됨[리뉴얼] React로 NodeBird SNS 만들기
front 부분 여러가지 질문
nodebird react에서 front부분까지만 들은 상태입니다.redux 의 실행 흐름이dispatch(액션) -> 미들웨어(redux-saga) -> 리듀서 -> 스토어이러한 방식으로 알고 있는데언뜻 보면 미들웨어가 먼저 실행되니 success or failure가 먼저 실행될것 같은데saga함수에 딜레이를 안주더라도 실행은 request가 무조건 먼저 되는것 같습니다.왜 이렇게 실행이 되는건가요? 미들웨어와 리듀서가 비동기적으로 실행되는건가요?Success or failure가 먼저 실행되는 케이스가 있나요? 각 기능들에 대한 상태관리를 request, success, failure 3가지의 액션타입으로 관리하는 이유가 뭔가요? 공식문서에는 이렇게 나와있긴 한데 https://lunit.gitbook.io/redux-in-korean/advanced/asyncactions" 하나의 액션 타입에 표지를 두고 사용하건, 여러 액션 타입을 사용하건 여러분에게 달렸습니다. 여러분이 팀과 함께 정할 규칙일 뿐입니다. 여러 타입을 쓰면 실수는 줄겠지만, 여러분이 redux-actions와 같은 헬퍼 라이브러리를 써서 액션 생산자와 리듀서를 만든다면 이게 별 문제가 되지 않을 수도 있습니다. " 제로초님 입장에서는 어떻게 생각하시나요? 또 실무에서는 하나의 액션으로 처리하는지 아니면 강좌처럼 세가지의 액션으로 나누어서 처리하는지 궁금합니다. request에 대한 로직을 하나 보면case LOG_IN_REQUEST: draft.loginLoading = true; draft.logInError = null; draft.logInDone = false; // Done을 왜 굳이 초기화 해야하지?logInDone 같은 경우는 request 이전에도 이미 false라고 생각하는데 따로 초기화를 명시해주는 이유가 있나요? 프론트엔드를 구현할때 처음에 데이터 구조 잡을 때 아직 정해진거 없으면 전체 데이터베이스 구조를 제가 정하고 들어가야 하는건가요?전체 테이블 구조를 관계설정까지 다 잡고 들어가야 하는건지, 아니면 내가 구현하는 기능에 대한 테이블 구조만 하나씩 잡고 들어가면 되는건지 궁금합니다. 사실 이 강좌를 듣기 전에는 프론트엔드 부분 데이터를 구현할 때백엔드로 요청을 보내고, 그 응답으로 데이터를 건네받아서, 해당 데이터를 가지고 프론트에 직접 값을 표시하는 방식으로 웹이 돌아가겠지, 라고 생각을 했습니다.(프론트엔드에서 API 요청 -> 백엔드에서 데이터처리, 응답 -> 응답에서 받은 데이터로 뷰 가공 및 출력)그런데 강좌에서는 벡엔드에서의 처리와 별개로, 프론트에서의 데이터는 프론트에서의 로직만으로 처리하도록 구현하셨는데요. 이렇게 하는 이유가 있으신가요? 프론트를 처음 구현할때 처음에 데이터 구조 잡을 때 아직 정해진거 없으면 먼저 전체 데이터베이스 구조를 제가 정하고 들어가야 하는건가요?전체 테이블 구조를 관계설정까지 다 잡고 들어가야 하는건지, 아니면 내가 구현하는 기능에 대한 테이블 구조만 하나씩 잡고 들어가면 되는건지 궁금합니다. redux saga 함수 로직보면 백엔드API요청 후에 put 연산 success or failure 로직으로 나뉘는데원래 try catch 문 안쓰면 axios.post().then(() => put(action)).catch(e => put(action)) 이런식으로 쓰는 로직이랑 같은건가요?
-
미해결크롤링으로 웹, 텔레그램봇, REST API, 모바일 앱 만들기
텔레그램 봇 만들기 파트에서 에러가 발생합니다.
안녕하세요, 강사님.강의 잘 듣고 있습니다:)현재 크롤링 후 텔레그램을 통해 메세지를 보내고, 장고에 연결하는 부분을 학습하고 있습니다.강의 영상에서는 별도의 동기/비동기 처리 없이 진행이 가능했는데그대로 따라하였더니 coroutine 'bot.sendMessage' was never awaited 에러가 발생하여강의에서 작성한 for문을 async def test(): 로 함수로 감싼 뒤 스크립트 하단에asyncio.run(test()) 함수를 실행시키니 에러가 발생하지 않고 텔레그램으로 메세지가 보내지더라구요.그런데, 해당 스크립트를 django에 연결하기 위해선 def run 함수를 통해 진행해야하는데,함수 형태가 조금 변경돼서 그런지 위와 같이 async, asyncio, await 등을 사용해봐도에러가 발생하여 진행이 되지 않고있습니다..어떻게 하면 좋을까요?? 코드 및 에러 첨부드립니다.from asyncore import loop from datetime import time from bs4 import BeautifulSoup import requests import telegram import asyncio from hotdeal.models import Deal async def test(): response = requests.get('https://www.ppomppu.co.kr/zboard/zboard.php?id=ppomppu') soup = BeautifulSoup(response.text, "html.parser") BOT_TOKEN = 'TOKEN' bot = telegram.Bot(token=BOT_TOKEN) for item in soup.find_all("tr", {'class': ["list1", "list0"]}): try: image = item.find("img", class_="thumb_border").get("src")[2:] title = item.find("font", class_="list_title").text.strip() link = item.find("font", class_="list_title").parent.get("href") link = "https://www.ppomppu.co.kr/zboard/" + link reply_count = int(item.find("span", class_="list_comment2").text) up_count = item.find_all("td")[-2].text up_count = up_count.split("-")[0].strip() up_count = int(up_count) if up_count >= 5: if Deal.objects.filter(link__iexact=link).count() == 0: Deal(image_url = image, title = title, link = link, reply_count = reply_count, up_count = up_count).save() await bot.sendMessage(-1001897599228, '{} {}'.format(title, link)) except Exception as e: print(e) def run(): asyncio.run(test())에러 메세지입니다.invalid literal for int() with base 10: '' 'NoneType' object has no attribute 'text' invalid literal for int() with base 10: '' 'NoneType' object has no attribute 'text' invalid literal for int() with base 10: '' 'NoneType' object has no attribute 'text' invalid literal for int() with base 10: '' You cannot call this from an async context - use a thread or sync_to_async. 'NoneType' object has no attribute 'text' invalid literal for int() with base 10: '' 'NoneType' object has no attribute 'text' You cannot call this from an async context - use a thread or sync_to_async. 'NoneType' object has no attribute 'text' You cannot call this from an async context - use a thread or sync_to_async. You cannot call this from an async context - use a thread or sync_to_async. You cannot call this from an async context - use a thread or sync_to_async. You cannot call this from an async context - use a thread or sync_to_async. You cannot call this from an async context - use a thread or sync_to_async. You cannot call this from an async context - use a thread or sync_to_async. 'NoneType' object has no attribute 'text' 'NoneType' object has no attribute 'text' invalid literal for int() with base 10: '' 'NoneType' object has no attribute 'text' invalid literal for int() with base 10: ''
-
해결됨나도코딩의 자바 기본편 - 풀코스 (20시간)
클래스와 배열 부분에서
배열만드는법은String[] 배열이름 = new String 클래스 만드는법은Blackbox 클래스명 = new Blackblox () 이런식으로 만드는데 맨앞과 맨뒤에 같은걸쓰는 이유가 있을까요? 예를들어 맨뒤가 배열에 어떤걸 전달한다 이런뜻인가요?
-
미해결따라하며 배우는 도커와 CI환경 [2023.11 업데이트]
배포 오류관련
위의 질문 글들을 참조하면서 해결을 해보려했는데 아직 해결이 안되서요 에러는 계속 502에러가 뜨고 엘라스틱 빈스톡에 배포할 때 계속 터집니다. 혹시 최근 수정된 코드라던지 해결방법을 아시면 댓글좀 부탁드리겠습니다.
-
미해결[리뉴얼] 처음하는 MongoDB(몽고DB) 와 NoSQL(빅데이터) 데이터베이스 부트캠프 [입문부터 활용까지] (업데이트)
안녕하세요 터미널 창에서 이상한 화면 질문드립니다!
안녕하세요 데이브님!강의 너무 잘 듣고 있습니다. 다름이 아니라 약간의 문제가 있는데요 ㅜ터미널 창에서 aws 서버에 접속하고 is 구문을 칠시 굉장히 이상한 화면이 뜹니다...글씨랑 색깔이 막 바뀌면서 애니메이션 같은 게 나타나는데요,,, 제가 studio 3t에서 서버가 잘 연결이 안되는 과정에 있어서 해결을 해보려고 여러 사이트에서 온갖 코드들을 실행해보면서 인스톨도 많이 했었는데요 그 과정 중에 이런 현상을 발견했습니다,, 좀 당황스럽고 소름끼치는 화면이라서 해킹 당한건가 싶기도 하고,, 혹시 데이브님은 이게 어떤 것인지 아실까요?
-
미해결프로그래밍 시작하기 : 파이썬 입문 (Inflearn Original)
'{:4}' '{:4d}' 실행값 차이가 없는데 d넣어야하는건가요?
%d의 활용에서 format형식 쓸때 중괄호에서 d의유무 '{:4}' '{:4d}' 실행값 차이가 없는데 d넣어야하는건가요?
-
해결됨스프링 핵심 원리 - 기본편
DL이 뭔가요 찾아봐도 모르겠어요ㅠㅠ
옛날에 했던 질문인데 다시 읽어봐도 이해가 안돼서 재질문 드립니다 죄송합니다 ㅠㅠ1. 위에서 빨간 밑줄을 DL이라고 하셨는데 그럼2. 이것도 DL인가요?3. 1번하고 2번하고 무슨 차인지 모르겠어요 ㅠㅠ
-
미해결[리뉴얼] React로 NodeBird SNS 만들기
제로초님 github에있는 최신코드랑 여기 리뉴얼한 코드랑 다른가요?
따라치기는 너무 무리일꺼같아서 제로초님 github에있는 react_nodebird master(default) pull 해서 그거랑 동영상 보면서 공부하고있는데요.코드가 리뉴얼강의 찍기 전에 올리신것인지, 제로초님이 강의하면서 적어주신 코드랑 그 깃허브에 저장되어있는 코드랑 좀 많이 달라서 문의드립니다.예를들면 LoginForm.js 에는LoginForm.propTypes = { setIsLoggedIn: PropTypes.func.isRequired, };이부분이 안들어가는데 여기 동영상 보면 이 코드를 적으시더라구요그리고 github 에있는건 인라인으로 css로 적용해주시는데, 새로운 강의에서는 리렌더링을 방지하기위해서 라고 하시면서 styled-components를 적용하시던데, 혹시 제가 최신으로 올리신 github를 못찾고있는것인가 해서 여쭤봅니다.!!혹시나 리뉴얼된 코드 올려주신게 있다면 경로를 여쭤봐도될까요?!
-
미해결Autodesk Maya 3D 그래픽의 입문 Part.1
Render the current frame을 선택하면 arnold render로 바로 넣어가고 구안에 있는 것들이 안 보입니다
Render the current frame을 선택하면 arnold render로 바로 넣어가고 구안에 있는 것들이 안 보입니다
-
미해결스프링부트 시큐리티 & JWT 강의
시큐리티 페이스북 작동이 안되는 것 같아요
깃허브에 올려주신 파일에서 client-id,client-secret 정도만 제가 동일하게 생성해서 실행해봤는데 위와 같은 에러가 발생하네요..
-
미해결[C++과 언리얼로 만드는 MMORPG 게임 개발 시리즈] Part1: C++ 프로그래밍 입문
main이나 endl 부분이 주황색으로 표시된건 어떻게 하나요
main이나 endl 부분이 주황색으로 표시된건 어떻게 하나요
-
미해결스프링 핵심 원리 - 기본편
Autowired 왜 쓰냐고 물어보면 이렇게 대답해도 괜찮을까요?
설정정보 파일에서 수동으로 @Bean을 등록하고 의존관계 주입까지 설정 하는 방법은 수동등록해야 할 @Bean의 개수가 많아지면 관리가 번거롭고 오류가 발생할 확률이 커져서 @ComponentScan과@Component를 이용해서 Bean을 자동 등록 하는 방법이 생겼는데 이렇게 되면 기존의 의존관계를 수동으로 설정하는 방법을 사용할 수 없어서 @Autowired라는 애너태이션을 사용해서 컨테이너에 등록된 Bean을 끌어와서 의존관계 주입을 해줍니다.
-
미해결
알고리즘 강의 중에 실전식으로 된 거 있나요?
알고리즘 강의를 찾고 있는데 너무 강의가 많아서 뭐를 들어야 할 지 모르겠네요.유튜브로 잠깐 보고 있는데 너무 어려워서요.언어는 파이썬입니다.아 그리고 컴퓨터에 오래 앉아 있으면 의자가 너무 불편한데 의자 뭐 쓰세요? 의자 추천도 좀 해주세요..