안녕하세요 선생님 대학교에서 캡스톤디자인을 수행하고 있는 학생입니다. 판결문에서 사건의 원인,판결 결과,가중·감소 처벌 요소,키워드를 추출하고 싶은데 어떤 기술을 사용해야할지 막막하여 질문올리게 되었습니다. 거대언어모델은 지양하라고 교수님께서 말씀하셨습니다..ㅜ 조언을 주신다면 감사하겠습니다.
Spark Architecture(스파크 아키텍처) 소개 강의 내용 중 뒷 단에 있는 node에도 JVM이 있는 걸로 보이는데 Application Master(in Worker Node) 안에 있는 JVM과 오른쪽 노드들 안에 있는 JVM간의 차이점과 역할이 궁금합니다!
안녕하세요 빅분기 기출 3회 작업형2 문제를 풀던중 데이터 분리와 원핫인코딩을 안하고 LabelEncoder와 랜덤 포레스트를 사용해서 문제를 풀어보았는데 마지막 csv 제출에서 데이터길이가 차이 나서 만들어지지 않는다고 뜨네요 어디를 잡아야하는지 몰라 문의드려요 🥲 올려주신 데이터가 아닌 다른 문제집에 있는데이터를 활용했는데 길이 차이가 나더라구여..
학습 관련 질문을 남겨주세요. 상세히 작성하면 더 좋아요! 질문과 관련된 영상 위치를 알려주면 더 빠르게 답변할 수 있어요 먼저 유사한 질문이 있었는지 검색해보세요 안녕하세요 강사님 회사에서 강의를 들으려하는데 보안 때문에 구글 드라이브 자체를 열수가 없어 파일 다운로드가 어렵네요. 파일 받을 수 있는 다른 경로는 없을까요?? 받아서 주피터 노트북으로 학습하려고 합니다. 감사합니다.
학습 관련 질문을 남겨주세요. 상세히 작성하면 더 좋아요! 질문과 관련된 영상 위치를 알려주면 더 빠르게 답변할 수 있어요 먼저 유사한 질문이 있었는지 검색해보세요 자주활용되는 판다스 예제에서 값변경을 진행하고 있는데요! loc함수를 이용해서 원두값을 변경하려고 실행했는데 AttributeError Traceback (most recent call last) <ipython-input-51-3a3e0a1a63d7> in <cell line: 3>() 1 # loc로 값 변경하기 2 # 바닐라라떼 원두 -> 과테말라로 변경 ----> 3 df.loc[3,'원두']="과테말라" AttributeError: 'str' object has no attribute 'loc' 위와같은 에러가 나는데 어떻게 해결하면 될까요 ?
안녕하세요? 강의 잘 보고 있습니다. 도움이 많이 됩니다. 시계열분석(1) 이전은 PPT파일로 교안을 받아서 강의를 보면서 추가 정리하면서 보고 있습니다. 그런데, 시계열분석(1) 부터 zip 파일로 되어 있고, 압축을 풀어보니, 대부분 xml 로 구성되어 있습니다. 전체 강의 교안을 받을 수 있을까요?(ppt) 멜주소: ygjang@hotmail.com 감사합니다.
다른 문제집 질문도 가능 할까요? 문제 풀이 하던 중 답이 다르게 나와 질문드리고 싶어 일단 이렇게 글 올립니 🥲 강의 다 듣고 빅분기 문제집에 있는 기출 문제를 풀이 하던 중에 기출 3회 작업형1 2번 문제에서 강의에서 해주신 풀이 대로 풀어 보았는데 책에 있는 답이랑 달라서 질문드려요 😢 해설에는 76이 나오는데 방법2 처럼 풀이하면 71이 나오네요 😭 두개 다른 점이 있나요?? 봤을때 같은 답 구하는게 맞는거 같은데 왜 다른 값이 나오는지 이상해서요 다음은 국가별 연도별 인구 10만명당 결핵 유병률 데이터 세트이다. 2000년도의 국가별 결핵 유병률 데이터세트에서 2000년도의 평균값보다 더 큰 유병률값을 가진 국가의 수를 계산하시오. !git clone https://github.com/AnalyticsKnight/yemoonsaBigdata/ # 데이터 불러오기 import pandas as pd df = pd.read_csv("/content/yemoonsaBigdata/datasets/Part3/302_worlddata.csv") df.head() # 방법1(해설) df_2000 = df[df['year']== 2000].drop('year', axis =1) df_2000.index = ['value'] df_2000_T = df_2000.T # print(df_2000_T['value'].mean()) rst_df = df_2000_T[df_2000_T['value'] > df_2000_T['value'].mean()] print(len(rst_df)) # 방법2 df = df.T df.head() m = df[1].mean() print(sum(df[1] > m))
AMI 생성 후에 instance를 각각 4개씩 launch를 했는데요 영상 속 이미지와 다르게 sudo vim etc/hosts를 해도 빈 파일이 열립니다. ip 리스트를 작성하고 저장하려고 하니 can't open 에러가 발생하고요. 등록한 ip 리스트를 이용해서 노드 간 통신을 하는 것으로 보여지는데요. 무시하고 진행해도 되는건가요?
이번에 복습하면서 처음부터 수업 다시 듣고 있는데요. 예전엔 corr()함수 오류없었는데, 이번엔 오류가 발생하더라고요. 혹시 상단에 코드 입력이 잘 못 되었나 일일이 다 확인해봤는데도 문제 없었고, 심지어 선생님 기본자료로 돌려봐도 똑같이 오류가 나오네요. corr() 실행 조건이 문자열 항목 있으면 안되게끔 바뀐거 같습니다. 예전에는 문자열 칼럼있어도 알아서 걸어서 계산했는데.... 앞으로 어떻게 사용하면 좋을지 알려주시면 감사하겠습니다
wget 설치 후 wget 으로 2023_BIGDATA 디렉토리에 크롬.deb 파일 내려 받고 dpkg -i 명령어로 설치 하여 google-chrome --version 이 나왔습니다 chromedriver.Chrome ('chromedriver') 라는 파일은 어디에서 찾을 수 있을까요? driver = webdriver.Chrome ("/home/ubuntu/2023_BIGDATA/google-chrome-stable_current_amd64.deb" pip install wget sudo wget https://dl.google.com/linux/direct/google-chrome-stable_current_amd64.deb # google-chrome-stable_current_amd64.deb sudo dpkg -i google-chrome-stable_current_amd64.deb google-chrome --version Google Chrome 123.0.6312.105
안녕하세요 강사님.. 실습 1번은 현재 저로서는 해석이 불가능하여 해석은 나중에 하기로 하고 일단 쳐보기만 열심히 쳐봤는데 역시나 안되네요.. 코드 공유좀 부탁 드릴 수 있을까요.. 죄송합니다 from bs4 import BeautifulSoup from urllib.request import * from urllib.parse import * from os import makedirs import os.path, time, re proc_files = {} def enum_links(html, base): soup = BeautifulSoup(html, "html.parser") links = soup.select("link[rel='stylesheet']") # CSS links += soup.select("a[href]") # link result =[] for a in links : href = a.attrs['href'] url = urljoin(base, href) result.append(url) return result def download_file(url): o = urlparse(url) savepath = "./" + o.netloc + o.path if re.search(r"/$", savepath): savepath += "index.html" savedir = os.path.dirname(savepath) if os.path.exists(savepath): return savepath if not os.path.exists(savedir): print("mkdir=", savedir) makedirs(savedir) try: print("download=", url) urlretrieve(url, savepath) # url 다운 받고 파일 이름은 savepath로 저장 time.sleep(1) return savepath except: print("다운 실패", url) return None def analyze_html(url, root_url): savepath = download_file(url) if savepath is None: return if savepath is proc_files: return proc_files[savepath] = True print('analyze_html', url) html =open(savepath, "r", encoding="utf-8").read() links = enum_links(html, url) for link_url in links: if link_url.find(root_url) != 0: if not re.search(r".css$", link_url): continue if re.search(r".(html|htm)$", link_url): analyze_html(link_url, root_url) continue download_file(link_url) if __name__ == "__main__": url = "https://docs.python.org/3.5/library/" analyze_html(url, url)
일단 따라 쳐봤는데 아래의 결과 처럼 나오는게 맞을까요? html 변수에 </ul>이 있는데 혹시 앞에 <ul>은 없어도 동작 되나요? from bs4 import BeautifulSoup html = """ <html><body> <div id="project"> <h1 id="title">BIG DATA PROGRAMMING</h1> <p id='body'>DATA ANLYSIS AND SCRENCE</p> <p>DATA ACQUISTION PART1</p> </ul> <ul class="items"> <li>CRAWLING</li> <li>SCRAPPING</li> <li>HYBRID WAY</li> </div> </body></html> """ soup = BeautifulSoup(html, 'html.parser') h1 = soup.html.body.h1 p1 = soup.html.body.p p2 = p1.next_sibling.next_sibling print("h1 = " + h1.string) print("p = " + p1.string) print("p = " + p2.string) title = soup.find(id="title") body = soup.find(id="body") print("#title=" + title.string) print("#body=" + body.string) h1 = soup.select_one("div#project > h1").string print("h1 =", h1) li_list = soup.select("div#project > ul.items > li") for li in li_list: print("li =", li.string) 결과 python3 2_bs4_temp.py h1 = BIG DATA PROGRAMMING p = DATA ANLYSIS AND SCRENCE p = DATA ACQUISTION PART1 #title=BIG DATA PROGRAMMING #body=DATA ANLYSIS AND SCRENCE h1 = BIG DATA PROGRAMMING li = CRAWLING li = SCRAPPING li = HYBRID WAY