173만명의 커뮤니티!! 함께 토론해봐요.
해결됨
초보자를 위한 BigQuery(SQL) 입문
안녕하세요 좋은 강의 잘 듣고 있습니다. battle 파일 실행 중 문제가 있어 질문 드립니다. google cloud에서 battle파일을 열면 스키마는 나오는데 미리보기가 안됩니다. '표시할 데ㅌ이터가 없습니다'라고 메시지가 뜹니다. 쿼리를 날려도 데이터가 없는 건지 결과가 안 나옵니다. 다른 파일은 다 멀쩡합니다. 파일탐색기에서 battle.csv 열어도 데이터가 잘 있습니다. 혹시 문제에 대해 알고 계신 게 있으신가요? 감사합니다.
해결됨
초보자를 위한 BigQuery(SQL) 입문
SQL 공부하다가 궁금한점이 생겼어요! 실행순서는 group by가 select 보다 먼저 실행되는 것으로 알고 있는데 select절에서 설정한 별칭을 왜 group by절에서 사용해도 되는걸까요? 현업에서는 팀마다 다르겠지만, 보통 어떻게 사용하시나요? 그리고 만약에 안된다면, 서브쿼리를 사용하시나요? 서브 쿼리를 사용하는 이유는 정확히 무엇인가요? 그리고 현업에서도 서브쿼리를 많이 사용하는지 궁금합니다! (아직 서브쿼리가 정확히 왜 필요한지 모르겠어요. 자바스크립트의 클로저라는 개념과 비슷한 개념일까요?) 마지막으로 아래 쿼리가 결과는 똑같은데 어떤게 더 바람직한 작성 방법일까요? (해당 강의는 4-6. 조건문(CASE WHEN, IF)입니다) 감사합니다 :) SELECT new_type1, COUNT(DISTINCT id) AS cnt FROM( SELECT *, CASE WHEN type1 IN ('Rock', 'Ground') OR type2 IN ('Rock', 'Ground') THEN 'Rock&Ground' ELSE type1 END AS new_type1, FROM `basic.pokemon` ) GROUP BY new_type1 SELECT CASE WHEN type1 IN ('Rock', 'Ground') OR type2 IN ('Rock', 'Ground') THEN 'Rock&Ground' ELSE type1 END AS new_type1, COUNT(DISTINCT id) AS cnt FROM `basic.pokemon` GROUP BY new_type1
미해결
SQL과 구글시트로 시작하는 데이터분석
설치가 제대로 안되네요 어떻게해야될까요?
해결됨
[2025 신규] 어서와, Fast API는 처음이지?
(base) PS C:\Users\JaeJun> curl http://127.0.0.1:8000 StatusCode : 200 StatusDescription : OK Content : {"Hello":"World"} RawContent : HTTP/1.1 200 OK Content-Length: 17 Content-Type: application/json Date: Sun, 28 Apr 2024 07:59:31 GMT Server: uvicorn {"Hello":"World"} Forms : {} Headers : {[Content-Length, 17], [Content-Type, application/json], [Date, Sun, 28 Apr 2024 07:59:31 GMT], [Server, uvicorn]} Images : {} InputFields : {} Links : {} ParsedHtml : mshtml.HTMLDocumentClass RawContentLength : 17 powershell을 통해 호출할 경우 위와 같이 GET이 정상적으로 되지만 웹브라우저를 통해서 접근할 경우에는 Chrome이나 Edge 모두 연결할 수 없다고 합니다.. 인바운드,아웃바운드 모두 8000을 혹시 몰라 열어둔 상태이며, 8000이 아닌 8000-8010까지 포트를 변경해봤는데 안되고 있습니다. 어떻게 해야할까요
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
수치형은 robustscaler를 사용하려고 하는데여 from sklearn.preprocessing import RobustScaler scaler = RobustScaler() cols = x_train.select_dtypes(exclude='object') for col in cols: x_train[col] = scaler.fit_transform(x_train[col]) x_test[col] = scaler.transform(x_test[col]) 이렇게 하면 ,ValueError: Expected 2D array, got 1D array instead: array=[ 888. 1308. 151. ... 173. 1244. 893.]. Reshape your data either using array.reshape(-1, 1) if your data has a single feature or array.reshape(1, -1) if it contains a single sample. 이런 오류가 납니다... 어떻게 수정해야 하나여
해결됨
장래쌤과 함께하는 쉽고 재미있는 SQL 이야기
선생님 어제 알려주신대로 잘 따라했더니 연결 성공했습니다 정말 감사합니다. 한 가지 궁금한 게 더 있는데요! 정규식 사용해서 특수문자 등을 모두 제거하니 공백 문자열이 생겼는데요 trim 이나 is not null 이렇게 해도 null 값이 아니다보니 공백 문자값이 계속 추출이되서요 공백 문자값 자체를 데이터에서 제외하려면 어떻게 해야될까요?
해결됨
초보자를 위한 BigQuery(SQL) 입문
글자가 겹쳐 써지거나, SELECT를 썼을 때 위처럼 파란색이 나타나지 않는 경우가 있어요. 그리고 드래그를 해도 파란색으로 보이지가 않아요. 제가 실수로 어떤 설정을 건드렸을까요? 혹은 제 노트북 내 잘못 설정한 것인지 문제를 발견하기 어려워요. 도와주실 수 있으실까요?
해결됨
초보자를 위한 BigQuery(SQL) 입문
강의 관련해서 제가 조금 이해가 어려운 부분이 있는데 도와주실 수 있나요?(위의 이미지는 강의 영상을 캡쳐한 것입니다) 2번 문제가 '오전 6시에서 오후 6시 사이에 일어난 배틀의 수를 계산해주세요' 입니다. 그런데 EXTRACT(HOUR FROM battle_datetime) <= 18 을 해보면 빨간색 네모 상자에 표시해둔 것처럼 18:53분 즉, 오후 6시를 넘어서 나온 시간까지 데이터에 잡히는데요! 이럴 때는 어떻게 하면 좋을까요? 그냥 EXTRACT(HOUR FROM battle_datetime) < 18이 나을까요? (그런데 그러면 딱 정확히 18:00에 배틀이 이루어진 순간은 포함되지 않아서 고민이네요)
해결됨
초보자를 위한 BigQuery(SQL) 입문
안녕하세요! 카일스쿨님! battle 테이블을 영상 그대로 만들었는데도, 계속 battle 테이블에 관한 데이터에 관한 정보를 볼 수가 없어요! 빠진것 없이 최대한 꼼꼼히 다시 체크했는데도 모르겠습니다. 혹시 제가 어떤 실수를 했을지 도와주실 수 있나요? 아래는 스키마 정보와, 제가 테이블 만들때 과정을 이미지로 첨부했습니다. 감사합니다.
해결됨
장래쌤과 함께하는 쉽고 재미있는 SQL 이야기
안녕하세요 MySQL 사용하고있는데요 조인하려는 테이블이 PK가 없는 단일 값인데요 메인 select 절에 있는 컬럼이 pk 테이블에 있는 단일컬럼에 포함되는 값이 있는지 regexp_like 함수로 확인하고싶은데요 pk값이 없다보니 join 을 어떻게 할지.. 모르겠습니다 using 으로 연결해보려 했는데 (natural join은 지원안됨) 컬럼절에 regexp_like (a.테이블 컬럼, pk 없는 테이블 컬럼) 이렇게 조건을 거니까 에러가 떠서요.. 방법이 있을까요? 요약 : left join으로 pk 테이블이 없는 단일 컬럼과 같다는 조건으로 연결 시, regexp_like 를 사용해도 똑같은 값만 불러오는 에러가 발생 ex. pk 테이블이 없는 컬럼에 '사과' 라는 단어가 있다고 가정, '사과와당근' 이라는 메인 테이블의 컬럼값이 pk 테이블의 '사과' 단어가 매칭되는지 아래 조건으로 걸면 null 값으로 반환. regexp_like('사과와당근', pk 없는 테이블) - > '사과'가 포함되지만 조인조건 때문에 사과와 당근을 매칭해서 불러오지 못함.
해결됨
Airflow 마스터 클래스
안녕하세요. 외부 파이썬 함수 수행하기가 안되어서 문의드리게 되었습니다. 저는 Pycharm이 익숙해서 Pycharm으로 하고 있었는데, Pycharm의 경우 .env파일이 인식이 안되는 걸까요..? common 모듈을 발견하지 못하네요... .env파일을 아래와 같이 설정하였고 dags_python_import_ func.py 에서도 Enable EnvFile에 체크표시를 하였는데 여전히 해당 모듈을 읽지 못하네요...ㅠㅠ 혹시 Pycharm의 경우 .env파일을 다르게 설정해야하는 걸까요...?
미해결
Do it! SQL 입문
섹션 1 수강 중 SSMS 까지 설치 이후, SQL 서버 로그인 시도 시 위와 같은 화면이 노출됩니다. 조치 방법 알 수 있을까요?
미해결
핵심만 쉽게, 모두의 SQL 데이터 분석
교안 PDF 받아볼 수 있을까요?
미해결
데이터 분석 SQL Fundamentals
hr 은 되는데 nw 는 안됩니다.. 기존 방법이 안되서 깃헙에서 파일 다운 받았습니다 이런거 뜨고요 제가 11.2 버전인데 최신버전이 도저히 안깔려서 대안으로 깔았는데 앞으로 강의 진행 될 동안에 버전 문제로 에러나면 스트레스 받을꺼 같은데 어떻게든 최신 버전 깔아야되나요?? 실습하고 싶은데 셋팅만 하다가 안되서 질문남겨요
미해결
MySQL 성능 최적화
안녕하세요. 강의를 보다보니 no offset 최적화를 보니 순차정보(ex: id, datetime, ...)가 기준값으로 사용될 수 있는 경우에는 충분히 사용할 수 있을 것 같은데, 복잡한 조건들이 들어가는 검색 기능(ex: 다나와 상품 상세검색이나, 부동산 사이트의 매물 검색, 쿠팡 상세검색 등) 같은 경우에는 이런 최적화 기법을 사용할 수 없을 것 같은데, 이 경우에는 그냥 offset 기반의 페이징밖에 최적화 방법이 없을까요?
미해결
실습으로 끝장내는 웹 크롤링과 웹 페이지 자동화 & 실전 활용
안녕하세요! 차근차근 잘 보고 있습니다. 선생님이랑 똑같이 따라하고 있는데 저는 자꾸 에러가 나서요ㅠㅠ ".logo_naver"가 없어진거 같아서 다른걸 붙여서 했는데도 오류가 나는데 뭐가 잘못된 걸까요ㅠㅠㅠㅠ 답변이 선생님이랑은 다르게 이렇게 나와서요ㅠㅠ 똑같이 따라하는데 뭐가 잘못된 건지 모르겠어요ㅠㅠ
미해결
[신규 개정판] 이것이 진짜 크롤링이다 - 실전편 (인공지능 수익화)
- 학습 관련 질문을 남겨주세요. 상세히 작성하면 더 좋아요! - 먼저 유사한 질문이 있었는지 검색해보세요. - 서로 예의를 지키며 존중하는 문화를 만들어가요. - 잠깐! 인프런 서비스 운영 관련 문의는 1:1 문의하기를 이용해주세요. 안녕하세요! 쌤 인프런, 유튜브 강의 보면서 잘 만들어 가고 있었는데 현재 코드에서 아무리 수정을 해도 css를 잘못 가져오는건지 오류가 생겨서 답답해서 질문 들고 왔습니다 현재 css 코드 찾기 좀 부탁드릴게요ㅠㅠ 안되는 항목 ✔ 연예뉴스 -> 내용을 못 가져옴 ✔ 스포츠뉴스 -> 제목, 날짜, 내용 다 못 가져옴 css를 여러개 바꿔서 넣어봐도 저는 자꾸 찾을 수 없다고 크롤링 됩니다 도와주세요,,,,,,, #네이버기사 크롤링 엑셀저장 import requests from bs4 import BeautifulSoup import time import pyautogui from openpyxl import Workbook #사용자입력 keyword = pyautogui.prompt("검색어를 입력하세요") lastpage = int(pyautogui.prompt("몇 페이지까지 크롤링 할까요?")) #엑셀 생성 wb = Workbook() #엑셀시트 생성 ws = wb.create_sheet(keyword) #열 너비 조절 ws.column_dimensions['A'].width = 60 ws.column_dimensions['B'].width = 30 ws.column_dimensions['C'].width = 60 ws.column_dimensions['D'].width = 150 #행 번호 row = 1 #페이지 번호 pageNum = 1 for i in range(1, lastpage*10, 10) : print(f"{pageNum}페이지 크롤링중입니다 =================") response = requests.get(f"https://search.naver.com/search.naver?where=news&query={keyword}&sm=tab_opt&sort=1&photo=0&field=0&pd=3&ds=2024.04.11&de=2024.15.20&news&query={keyword}&start={i}") html = response.text soup = BeautifulSoup(html, 'html.parser') articles = soup.select("div.info_group") #뉴스기사 div 10개 추출 for article in articles: links = article.select("a.info") #리스트 time.sleep(0.7) if len(links) >= 2: #링크가 2개 이상이면 url = links[1].attrs['href'] #두번째 링크의 href를 추출 response = requests.get(url, headers={'User-agent': 'Mozilla/5.0'}) html = response.text soup_sub = BeautifulSoup(html, 'html.parser') content = soup_sub.select_one("#newsct_article") if content: content_text = content.get_text(separator="\n") else: content_text = "내용을 찾을 수 없습니다." title = None date = None #만약 연예 뉴스라면 if "entertain" in response.url: title = soup_sub.select_one(".end_tit") date = soup_sub.select_one("div.article_info > span > em") content = soup.select_one("#articeBody") #만약 스포츠 뉴스라면 elif "sports" in response.url: title = soup_sub.select_one(".Main_article_title") content = soup.select_one("._article_content") else: title = soup_sub.select_one(".media_end_head_headline") date = soup_sub.select_one("span.media_end_head_info_datestamp_time._ARTICLE_DATE_TIME") #본문 내용안에 불필요한 div, p제거 divs = content.select("div") for div in divs: div.decompose() paragraphs = content.select("p") for p in paragraphs: p.decompose() print("=======제목======= \n", title.text.strip() if title else "제목을 찾을 수 없습니다.") print("=======날짜======= \n", date.text if date else "날짜를 찾을 수 없습니다.") print("=======URL======= \n", url) print("=======내용======= \n", content.text.strip() if content else "내용을 찾을 수 없습니다") # 'else' 블록에서 'date' 변수 정의는 여기서 끝나도록 수정 ws['A1'] = '제목' ws['B1'] = '날짜' ws['C1'] = 'URL' ws['D1'] = '내용' ws[f'A{row}'] = title.text.strip() if title else "제목을 찾을 수 없습니다." ws[f'B{row}'] = date.text.strip() if date else "날짜를 찾을 수 없습니다." ws[f'C{row}'] = url ws[f'D{row}'] = content_text.strip() if content else "내용을 찾을 수 없습니다." row=row+1 #마지막 페이지 여부 확인하기 next_button = soup.select_one("a.btn_next") if next_button: isLastPage = next_button.attrs.get('aria-disabled', None) if isLastPage == 'true': print("마지막 페이지 입니다.") break pageNum = pageNum+1 wb.save(f"{keyword}_4월_뉴스기사_크롤링(4)_내용까지_0411~0415(3).xlsx")
미해결
MySQL 성능 최적화
Index_Dive_Optimization_.pdf 파일을 참고하여 쿼리를 확인중인데 짤려있다보니 확인이 힘듭니다. 그 밖에 Multiple-Column Indexes관련 내용도 그렇고 자료 검토좀 부탁드립니다.
미해결
MySQL 성능 최적화
안녕하세요. my.cnf 설정에 local_infile=ON 설정을 넣어야하는데 오타로 local_infole=ON이 들어가게 되었어요. 그 다음 컨테이너 재시작을 하니 unknown variable 'local_info=ON'라고 하며 종료되어 컨테이너 구동이 안되는데, 어떻게 고쳐야 할까요?
미해결
MySQL 성능 최적화
내장 함수를 사용한 경우에도 Order By 최적화가 가능할까요? 예를 들어 아래와 같이 쿼리를 작성했는데, MONTH로 감싸진 칼럼에는 인덱스 적용이 안되서, using temporary와 using filsort가 나왔는데요. 내장함수를 사용해서 그루핑 및 정렬하는 경우에는 어쩔수 없는지 궁금합니다. select Month(tb1.id) as MONTH, count(tb1.id), SUM(tb1.price), count(tb2.id) from tb1 tb1 left join tb2 tb2 on tb1.id = tb2.tb1_id where tb1.created_at BETWEEN '2024-01-01' and '2024-05-01' group by MONTH order by MONTH; 실제 운영상황에서도 이런 쿼리 요구사항이 있다고 할때에는 쿼리를 분리해서 여러번 처리하고 애플리케이션 단에서 처리해야할까요?
