이야기를 나눠요

캐글 api 호출이 어려울 때 참고해보세요 (맥OS 기준)

[리뉴얼] 처음하는 파이썬 머신러닝 부트캠프 (쉽게! 실제 캐글 문제 풀며 정리하기) [데이터분석/과학 Part2]

안녕하세요, 저는 방금 전까지 캐글 api 불러오는 데에만 1시간 넘게 삽질했습니다. 혹시 저처럼 어려움을 겪는 분이 계실 수도 있을 것 같아 (강의 q&a에도 없길래...창피함을 무릅쓰고)공유드립니다. 아래 방법은 맥OS 기준입니다. 윈도우는..저도 모르겠어요... 강사님께서 말씀해 주신 내용을 조금 더 상세하게 정리해 보았는데 도움이 되었으면 좋겠습니다. kaggle에서 json파일 다운로드 받고 잘 보이는 곳(저는 icloud/desktop에 저장했어요)에 저장 터미널 실행 > cd~ (enter) pwd (enter) mkdir .kaggle (enter) 파인더에서 shift+command+. 누르면 숨김폴더를 확인할 수 있는데, .kaggle 폴더 찾아서 json파일을 해당 폴더에 넣기 제가 컴맹이라서...정확하지는 않지만, 터미널에서 .이 붙은 이름으로 폴더를 만들면 숨김폴더로 생성되는 것 같더라고요. 숨김폴더에 있어서 계속 찾을 수 없었던 거였어요. 다시 터미널로 와서 chmod 600 kaggle.json 엔터 누르기 끗 파이팅입니다.

데이터베이스 설계 이론 책 추천

실전! 스프링 부트와 JPA 활용1 - 웹 애플리케이션 개발

안녕하세요, 공부하다보니 데이터베이스 설계에 관한 이론적인 지식이 많이 부족하다는 걸 느꼈습니다. 이와 관련된 개론 도서를 추천 받고 싶습니다.. 영어 책도 상관없습니다만, 한글 책 중에서도 좋은 책이 있다면 추천받고 싶습니다..!!

개인 프로젝트 만들기 위한 최소 요건,..?

현재 자바 문법 공부를 마친 후 김영한님 - 스프링 완전 정복 로드맵 중 -> 스프링 핵심 원리 - 기본편을 수강 중인데요 !! 게시판이나, 개인 프로젝트를 만들 수 있는 수준에 다다르려면 로드맵 중 어느 단계까지 들어야 할까요??

hue -> workflow [sqoop] 오류 관련 질문 드립니다.

15일간의 빅데이터 파일럿 프로젝트

도저히 모르겠습니다.......왜이런지 알수가 없습니다. hue -> workflow 에서 작업을 진행 하였습니다. 작업은 sqoop을 이용해서 만들어 보았습니다. 명령어는 아래와 같습니다. sqoop import --connect jdbc:mysql://디비서버:3306/디비이름 --username root --password "비밀번호" --table SQOOP_TEST1 --hive-import --hive-database jun --hive-table sqoop_test1 -m 1 위의 명령어를 등록하여 실행 했습니다. 그런데 hdfs에는 db에서 조회한 결과물 데이터가 저장이 되는 것을 확인했습니다. 하지만 hive에 데이터를 넣는 부분에서 문제가 발생합니다. 참고로 hue/oozie를 통하지 않고 서버 접속후 shell에서 명령어를 실행하면 정상 작동 합니다. 오로지 oozie사용의 문제 같습니다.아래의 에러 로그도 oozie의 log링크를 클릭해 추출한 오류 메세지 입니다. 2022-12-02 08:15:27,597 [main] INFO org.apache.sqoop.orm.CompilationManager - Writing jar file: /tmp/sqoop-hadoop/compile/5941ad26fedc6f6eda6f548c6ec6d322/SQOOP_TEST1.jar 2022-12-02 08:15:27,604 [main] WARN org.apache.sqoop.manager.MySQLManager - It looks like you are importing from mysql. 2022-12-02 08:15:27,604 [main] WARN org.apache.sqoop.manager.MySQLManager - This transfer can be faster! Use the --direct 2022-12-02 08:15:27,604 [main] WARN org.apache.sqoop.manager.MySQLManager - option to exercise a MySQL-specific fast path. 2022-12-02 08:15:27,604 [main] INFO org.apache.sqoop.manager.MySQLManager - Setting zero DATETIME behavior to convertToNull (mysql) 2022-12-02 08:15:27,613 [main] INFO org.apache.sqoop.mapreduce.ImportJobBase - Beginning import of SQOOP_TEST1 2022-12-02 08:15:27,645 [main] WARN org.apache.sqoop.mapreduce.JobBase - SQOOP_HOME is unset. May not be able to find all job dependencies. 2022-12-02 08:15:27,987 [main] INFO org.apache.sqoop.mapreduce.db.DBInputFormat - Using read commited transaction isolation 2022-12-02 08:15:39,838 [main] INFO org.apache.sqoop.mapreduce.ImportJobBase - Transferred 14 bytes in 12.1888 seconds (1.1486 bytes/sec) 2022-12-02 08:15:39,841 [main] INFO org.apache.sqoop.mapreduce.ImportJobBase - Retrieved 1 records. 2022-12-02 08:15:39,841 [main] INFO org.apache.sqoop.mapreduce.ImportJobBase - Publishing Hive/Hcat import job data to Listeners for table SQOOP_TEST1 2022-12-02 08:15:39,858 [main] INFO org.apache.sqoop.manager.SqlManager - Executing SQL statement: SELECT t.* FROM `SQOOP_TEST1` AS t LIMIT 1 2022-12-02 08:15:39,873 [main] INFO org.apache.sqoop.hive.HiveImport - Loading uploaded data into Hive 2022-12-02 08:15:40,000 [main] ERROR org.apache.sqoop.tool.ImportTool - Import failed: java.io.IOException: Cannot run program "hive": error=2, No such file or directory at java.lang.ProcessBuilder.start(ProcessBuilder.java:1048) at java.lang.Runtime.exec(Runtime.java:593) at java.lang.Runtime.exec(Runtime.java:501) at org.apache.sqoop.util.Executor.exec(Executor.java:76) at org.apache.sqoop.hive.HiveImport.executeExternalHiveScript(HiveImport.java:382) at org.apache.sqoop.hive.HiveImport.executeScript(HiveImport.java:337) at org.apache.sqoop.hive.HiveImport.importTable(HiveImport.java:241) at org.apache.sqoop.tool.ImportTool.importTable(ImportTool.java:537) at org.apache.sqoop.tool.ImportTool.run(ImportTool.java:628) at org.apache.sqoop.Sqoop.run(Sqoop.java:147) at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:81) at org.apache.sqoop.Sqoop.runSqoop(Sqoop.java:183) at org.apache.sqoop.Sqoop.runTool(Sqoop.java:234) at org.apache.sqoop.Sqoop.runTool(Sqoop.java:243) at org.apache.sqoop.Sqoop.main(Sqoop.java:252) at org.apache.oozie.action.hadoop.SqoopMain.runSqoopJob(SqoopMain.java:165) at org.apache.oozie.action.hadoop.SqoopMain.run(SqoopMain.java:155) at org.apache.oozie.action.hadoop.LauncherMain.run(LauncherMain.java:107) at org.apache.oozie.action.hadoop.SqoopMain.main(SqoopMain.java:47) at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62) at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) at java.lang.reflect.Method.invoke(Method.java:498) at org.apache.oozie.action.hadoop.LauncherAM.runActionMain(LauncherAM.java:412) at org.apache.oozie.action.hadoop.LauncherAM.access$400(LauncherAM.java:54) at org.apache.oozie.action.hadoop.LauncherAM$2.run(LauncherAM.java:225) at java.security.AccessController.doPrivileged(Native Method) at javax.security.auth.Subject.doAs(Subject.java:422) at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1878) at org.apache.oozie.action.hadoop.LauncherAM.run(LauncherAM.java:219) at org.apache.oozie.action.hadoop.LauncherAM$1.run(LauncherAM.java:155) at java.security.AccessController.doPrivileged(Native Method) at javax.security.auth.Subject.doAs(Subject.java:422) at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1878) at org.apache.oozie.action.hadoop.LauncherAM.main(LauncherAM.java:143) Caused by: java.io.IOException: error=2, No such file or directory at java.lang.UNIXProcess.forkAndExec(Native Method) at java.lang.UNIXProcess.<init>(UNIXProcess.java:247) at java.lang.ProcessImpl.start(ProcessImpl.java:134) at java.lang.ProcessBuilder.start(ProcessBuilder.java:1029) ... 34 more <<< Invocation of Sqoop command completed <<< No child hadoop job is executed. java.lang.reflect.InvocationTargetException at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62) at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) at java.lang.reflect.Method.invoke(Method.java:498) at org.apache.oozie.action.hadoop.LauncherAM.runActionMain(LauncherAM.java:412) at org.apache.oozie.action.hadoop.LauncherAM.access$400(LauncherAM.java:54) at org.apache.oozie.action.hadoop.LauncherAM$2.run(LauncherAM.java:225) at java.security.AccessController.doPrivileged(Native Method) at javax.security.auth.Subject.doAs(Subject.java:422) at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1878) at org.apache.oozie.action.hadoop.LauncherAM.run(LauncherAM.java:219) at org.apache.oozie.action.hadoop.LauncherAM$1.run(LauncherAM.java:155) at java.security.AccessController.doPrivileged(Native Method) at javax.security.auth.Subject.doAs(Subject.java:422) at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1878) at org.apache.oozie.action.hadoop.LauncherAM.main(LauncherAM.java:143) Caused by: java.lang.SecurityException: Intercepted System.exit(1) at org.apache.oozie.action.hadoop.security.LauncherSecurityManager.checkExit(LauncherSecurityManager.java:57) at java.lang.Runtime.exit(Runtime.java:101) at java.lang.System.exit(System.java:987) at org.apache.sqoop.Sqoop.main(Sqoop.java:253) at org.apache.oozie.action.hadoop.SqoopMain.runSqoopJob(SqoopMain.java:165) at org.apache.oozie.action.hadoop.SqoopMain.run(SqoopMain.java:155) at org.apache.oozie.action.hadoop.LauncherMain.run(LauncherMain.java:107) at org.apache.oozie.action.hadoop.SqoopMain.main(SqoopMain.java:47) ... 16 more Intercepting System.exit(1)

test

삭제된 글입니다

<익명로그인, 로그인, 로그아웃> FLAG_ACTIVITY_CLEAR_TASK

[초급편] 안드로이드 커뮤니티 앱 만들기(Android Kotlin)

<익명로그인, 로그인, 로그아웃> 강의 시작할 때 아무것도 안 건드리셨다고 하셨는데 FLAG_ACTIVITY_CLEAR_TOP을 FLAG_ACTIVITY_CLEAR_TASK로 바꾸신 것 같습니다!

[데브경수] 제로글랏 프로그래밍

인프런 x 데브경수

• 데브경수
• 개발
• 만화

한국어 챗봇을 만드는 가장 쉬운 방법

KoML을 이용해서 한국어 챗봇을 만드는 8분 정도 되는 영상이에요~ 한국어 챗봇에 관심 있으신 분들 보시면 좋을 것 같아요. https://youtu.be/u8ApVAYFaKE

Module not found: Error: Can't resolve 'fs'

따라하며 배우는 리액트 A-Z[19버전 반영]

Module not found: Error: Can't resolve 'fs' 에러가 납니다. webpack에 따라 fs가 지원이 안된다는 내용을 보았는데 어떻게 해야할까요? 그리고 저희가 수업중에 webpack을 따로 install하거나 구성한적이 있나요? 그리고 export const getStaticeProps 부분 에서 아래와 같은 오류가 나는데 형식이 맞지 않는다고 합니다. 무슨 이유 때문일까요? '() => Promise<{ porps: { allPostData: { date: string; title: string; id: string; }[]; }; }>' 형식은 'GetStaticProps<{ [key: string]: any; }, ParsedUrlQuery, PreviewData>' 형식에 할당할 수 없습니다. 'Promise<{ porps: { allPostData: { date: string; title: string; id: string; }[]; }; }>' 형식은 'GetStaticPropsResult<{ [key: string]: any; }> | Promise<GetStaticPropsResult<{ [key: string]: any; }>>' 형식에 할당할 수 없습니다. 'Promise<{ porps: { allPostData: { date: string; title: string; id: string; }[]; }; }>' 형식은 'Promise<GetStaticPropsResult<{ [key: string]: any; }>>' 형식에 할당할 수 없습니다. '{ porps: { allPostData: { date: string; title: string; id: string; }[] ㅇ

350분 정주행완료.

퀘이사(Quasar) 완벽 마스터: Vue 프론트 웹을 빠르게 만들고 싶다면! (Based Vue3)

vue + vite + 웹기본에 대한 이해가 필요하지만 그만큼 기본기 있다는 가정하에 최상의 아웃풋을 단기간에 내게 하는 강의라고 생각합니다.

ㅁㄴㅇㄹㅁㄴ

ㅁㄴㅇㅁㅇㅁㅇㅁㄹㅂㅈㄹ

⚽️ 스포츠 파트너 매칭 서비스 / 사이드 프로젝트 크루모집

📍 안녕하세요 :) 사이드 프로젝트를 진행하고 있는 팀, 패스 입니다. 저희는 스포츠 파트너 매칭 서비스를 제작하고 있습니다. 다니는 스포츠 센터의 회원끼리 익명성이 보장되는 공간에서 이야기를 나누고 함께 운동할 파트너들을 모집하며, 나아가서는 러닝크루, 배드민턴 등 원하는 레벨의 운동을 함께할 파트너를 구하는 프로젝트입니다. 😊 테스트를 진행하며 데이터기반으로 의사 결정을 함께하고 방향성을 같이할 크루를 모집하고 있습니다! 운동을 좋아하는 분들이라면 누구나 환영입니다 ⛹️‍♂️ 🚀현재 📌 반응형 빌더를 통해 1차 제작을 완료. (원하는 기능이 구현되지 않아 새롭게 사이트를 만들고자 합니다) 📌 서비스 기획과 디자인 시안 완료 📌 2022년 MVP 완료 후 테스트 진행 계획 (데이터 수치를 분석해 2023년 모바일 어플리케이션으로 이동 예정) 👨‍👩‍👧‍👦 팀원 📌 현재 3인 💻 기획자 💻 디자이너 💻 프론트엔드 개발자 💘 모집 크루 📌 서버 API + DB 백엔드 개발자 [필수] -중급 수준이면 무방합니다 :) -NestJS + PostgreSQL [변동 가능] 📍 나이, 경력, 성별 전부 무관합니다. 평소 운동을 좋아하시는 분이면 충분합니다! 편하게 컨텍 주세요! 현재까지 진행된 자세한 상황 업데이트 가능하고, 원하시는 방향 있으시다면 조율 가능합니다 contact ⬇️ [ https://open.kakao.com/o/sdBuSYoe](https://open.kakao.com/o/sdBuSYoe)

강좌 하나씩 내용에 틈이 있네요

[리뉴얼] React로 NodeBird SNS 만들기

정말 오랜만에 이어서 듣는데요 저번에 말했다시피 매 강좌마다 따라하다보면 에러발생하고 에러원인 찾으려고 1시간이상 가버리고 강좌계속들으면 갑자기 소스수정되있고, 지금도 오늘 몇시간동안 강의듣는데 또 갑자기 소스 수정되어 있어서 고생했네요. 이런고생까지 수강생이 해야합니까? 강의 2버전이면 소스수정부분에 전부 미리 자막처리라도 해놓아야 수강생이 쓸데없는 에너지,시간 낭비 없지 않을까요?

text content 오류 나시는 분들

풀스택 리액트 토이프로젝트 - REST, GraphQL (for FE개발자)

혹시라도 text content 오류와 함께 오류 페이지 4건 정도가 뜬다면 components 폴더 아래에 있는 파일들에 오타가 없는지 확인해보시길 추천 드립니다. [새글쓰기 기능 구현] 강의에서 1:10~1:30 사이에 그동안 작성해온 파일 내역이 빠르게 지나가는데 다른 부분이 없는지 잘 찾아보시면 오타가 있을 확률이 높습니다. 혹여나 헤매고 있을 누군가에게 도움이 되길 바랍니다.

cluster 설정시..꼭 role을 설정하셔야 합니다

Vue.js 끝장내기 - 실무에 필요한 모든 것

'MongoDB 클라우드 인스턴스 생성 및 설정' 강의에서 클러스터 설정 중 MongoDB에서 UX를 바꿔서 강의와 달리 role이 디폴트로 설정되어 있지 않습니다. 권한 설정 없이 swagger UI에서 시도할 경우 409에러가 발생합니다. 따라서 해당 에러가 발생할 경우 Database Access ->계정 edit -> Built-in role에서 'Read and write to any database'를 설정해야 합니다.

• cluster
• role

소리가 작아졌다가 커집니다

안전한 웹 사이트 제작을 위한, 웹 보안 원 포인트 레슨

안녕하세요 강의 자체는 잘듣고있으나 전반적으로, 강의 초반에 소리가 매우작다가 뒤에가서야 정상으로 들립니다 해결 부탁드립니다!

test

스프링부트 개념정리(이론)

test

QueryDsl SpringBoot 3.0의 gradle 설정을 공유합니다.

실전! Querydsl

최근 스프링부트 3.0이 나옴에 따라 QueryDSL 설정 내용을 공유합니다. 아래 설정 내용중 Querydsl 추가 라고 나온 부분만 추가하시면 됩니다. 스프링 부트: 3.0.0, 자바: 17 기준입니다! plugins { id 'java' id 'org.springframework.boot' version '3.0.0' id 'io.spring.dependency-management' version '1.1.0' } group = 'study' version = '0.0.1-SNAPSHOT' sourceCompatibility = '17' configurations { compileOnly { extendsFrom annotationProcessor } } repositories { mavenCentral() } dependencies { implementation 'org.springframework.boot:spring-boot-starter-data-jpa' implementation 'org.springframework.boot:spring-boot-starter-web' compileOnly 'org.projectlombok:lombok' runtimeOnly 'com.h2database:h2' annotationProcessor 'org.projectlombok:lombok' testImplementation 'org.springframework.boot:spring-boot-starter-test' // Querydsl 추가 implementation 'com.querydsl:querydsl-jpa:5.0.0:jakarta' annotationProcessor "com.querydsl:querydsl-apt:${dependencyManagement.importedProperties['querydsl.version']}:jakarta" annotationProcessor "jakarta.annotation:jakarta.annotation-api" annotationProcessor "jakarta.persistence:jakarta.persistence-api" } tasks.named('test') { useJUnitPlatform() }

• quereydsl
• springboot3
• java17

포스트맨에서 /restaurant/{rid} 요청에 rid를 자동으로 입력 시켜주는 방법

[코드팩토리] [중급] Flutter 진짜 실전! 상태관리, 캐시관리, Code Generation, GoRouter, 인증로직 등 중수가 되기 위한 필수 스킬들!

책 한권 보고 프로토타입을 진행했는데, 부족함을 느껴 강의를 구입했습니다. 강의 구입한지는 좀 됐는데, 게으름에 안보고 있다가 이대로 한 해를 끝낼 수 없단 생각에 정주행 중입니다. 강사님께 감사한 마음과 잠깐 팁을 나누고자 글을 작성합니다. /restaurant의 tests에 pm.environment.set을 호출해 rid에 자동으로 입력할 레스토랑의 인덱스로 id 값을 가져와 저장합니다. /restaurant/{rid}의 Params의 Path Variables의 rid KEY의 VALU에 {{rid}}를 입력합니다.

리얼엠은 좀 충격적이다.....

스프링 시큐리티 OAuth2

충격