맥북 사용
15일간의 빅데이터 파일럿 프로젝트
맥북 사용에 따라 vmware-fusion을 통해 실습 진행하려고 하는데 가상머신 구성해주신게 버츄얼박스에만 적용되나요???
- 빅데이터
- hadoop
- kafka
- zookeeper
- redis
- flume
- impala
- 데이터-엔지니어링
qqqssh
댓글 1
좋아요 0
조회수 571
이야기를 나눠요
173만명의 커뮤니티!! 함께 토론해봐요.
프레임워크
CS 지식의 정석 | 디자인패턴 네트워크 운영체제 데이터베이스 자료구조
https://github.com/egoing/django-tutorial-src 현재 컴퓨터 공학과로 편입하고 군복무중입니다. 복무중 토이프로젝트(to do list) 하나정도는 만들고 cs의 기본은 떼고 가자해서 파이썬을 배우고 장고를 배우고 있었습니다. 그리고 디자인 패턴을 공부하고 가장 쉽게 가르친다는 생활코딩의 장고 강의를 보면서 하려고 하는데 위 링크의 myapp의 views.py 에서 읽고 쓰고 수정하고 삭제하는 crud를 구현하는 코드를 잘 이해하지 못하겠어서 고민입니다. 분명 장고가 어떻게 구동되는 방식도 아는데 조금 무슨 개념을 몰라서 이해를 못하는지 답답합니다. 제가 그 부분의 코드를 이해하려면 어떤 공부를 먼저 해야할까요..?
- 면접
- 운영체제
- 기술면접
최진욱
댓글 1
좋아요 0
조회수 503
학습 방향에 대한 조언을 듣고 싶습니다.
15일간의 빅데이터 파일럿 프로젝트
안녕하세요. "실무로 배우는 빅데이터 기술" 교재와 15일간의 빅데이터 파일럿 프로젝트 강의에 열정을 쏟고 있는 학생입니다. 커뮤니티 게시판에 '고민있어요' 배너를 보고, 제 학습과 관련된 고민을 나누고자 글을 쓰게 되었습니다. 제 경험을 간단히 소개하자면, 약 2년간 직장에서 파이썬을 활용하여 크롤링, 분산 처리, API, DB 관리 등을 통해 데이터 수집 및 모델링 업무를 해왔습니다. 이후 데이터 엔지니어로 전환하면서, 본격적으로 이 분야를 공부하기 시작했습니다. Hadoop 생태계나 리눅스는 이전에는 이름만 들어본 적이 있었는데, 이번 강의를 통해 직접 프레임워크를 구축하고 설정하며, 데이터를 쌓아보는 경험은 정말 뜻깊습니다. 특히 Cloudera나 Git에서 'bigdata2nd-master' tar 파일을 받아 시스템을 구축하는 과정을 통해 전체적인 워크플로우와 업무에 대한 이해를 넓힐 수 있었던 점은 다른 어떤 강의보다 만족스러웠습니다. 처음 프레임워크를 하나하나 구축하고 설정하는 과정이 매우 어렵게 느껴졌는데, 이번 강의를 통해 크게 성장할 수 있었습니다. 강의 중 강사님께서는 프레임워크 자체에 집착하기보다는, 요구사항을 통해 세부적인 요구사항을 도출하고, 이를 해결하는 방법에 중점을 두라는 조언을 주셨습니다. 프레임워크가 어떻게 활용되는지를 이해하고, 실제 문제 해결에 적용하는 방향으로 학습하라는 조언은 매우 감사했습니다. 하지만, 저의 고민은 여기서 시작됩니다. 저만의 공부와 업무를 진행할 때, 대부분의 경우 도커 컨테이너 내에서 conf, yaml, Dockerfile 등을 직접 구성하거나 수정해야 할 것으로 압니다. Cloudera를 사용하지 않고 직접 프레임워크를 설계하며 공부를 해보고 싶은데, 이에 관련된 다른 강의나 학습 방향에 대한 조언을 구할 수 있을까요? 긴 글 읽어주셔서 감사합니다.
- 빅데이터
- hadoop
- kafka
- zookeeper
- redis
- flume
- impala
- 데이터-엔지니어링
Junhui Woo
댓글 1
좋아요 0
조회수 466
강의, 교재 학습 방법 문의
[핵집] 2025 빅데이터 분석기사(필기)_과목 1~2
수강평 보니까 커리큘럼과 교재 순서를 일부러 다르게 했다고 하던데 그러면 강의는 교안을 받아서 학습하고 책은 따로 공부하면 될까요
- 빅데이터
2080abc1234
댓글 1
좋아요 0
조회수 318
고민있어요 ㅠㅠ
CS 지식의 정석 | 디자인패턴 네트워크 운영체제 데이터베이스 자료구조
안녕하세요! 큰돌님! 먼저 좋은 강의를 만들어주셔서 감사합니다. 덕분에 많은 걸 배우고 있어요! 저는 2월 달에 졸업을 앞두고 있고, 데이터 파이프라인을 설계하고 ETL을 개발하는 데이터 엔지니어가 꿈인 28살입니다.. 학교를 늦게 들어가서 시간이 많이 지체되었는데요. 취업을 위해서 어떤 방향으로 나아가야 할지 고민이 되어 이렇게 글을 작성하게 되었습니다. 현재 알고리즘은 백준 실버 1이고, 꾸준히 공부하고 있습니다. 프로젝트는 너무 간단한 걸 제외하면 혼자 AWS 서버리스 기반 프로젝트를 한 것이 전부입니다. 그리고 이 과정에서 AWS 아키텍트 어소시에이트 자격증까지 취득했습니다. 이러한 상황에서 프로그래머스 데이터 엔지니어링 데브옵스나 SW 마에스트로를 준비하고 있는데요. 솔직히 말해서 꼭 붙을거라는 보장도 없고 주변 사람들에 비해 나이도 적지 않은 거 같아서 취업에 대한 조바심이 납니다.. 본론을 말씀드리자면, 앞으로 국비교육을 준비하는게 최선일까요? 아니면 이런 스펙을 가지고 있더라도 더 독학하여 취업을 우선시 하는게 최선일까요? 혼자 고민을 많이 해봤는데 도저히 결론이 나질 않아 질문드립니다 ㅠㅠ 바쁘실텐데 답변해주시면 감사하겠습니다!
- 면접
- 운영체제
- 기술면접
kyg8821
댓글 1
좋아요 0
조회수 638
저자님
곰책으로 쉽게 배우는 최소한의 운영체제론
저하고 강의방식이 안맞는거 같습니다 환불 가능합니까?
- 운영체제
1596796
댓글 1
좋아요 0
조회수 666
자바 스프링 공부 방향과 로드맵
스프링 입문 - 코드로 배우는 스프링 부트, 웹 MVC, DB 접근 기술
삭제된 글입니다
- java
- spring
- mvc
- spring-boot
- jpa
- 로드맵
srbboot
댓글 1
좋아요 0
조회수 1756
디바이스 드라이버
FreeRTOS 프로그래밍
홍영기 강사님, 안녕하세요. 질문 사항이 있어서 문의 남깁니다. 디바이스 드라이버를 개발하는 강의, 서적, 교육, 참고 자료 등을 추천해주시면 감사하겠습니다. 일반적인 드라이버 개발 예제보다는 좀 더 실무에 가까운 교육을 수강하고 싶은데 추천해주실 만한 사항이 있는지 문의드립니다. 감사합니다.
- 운영체제
- 임베디드
- FreeRTOS
토끼야놀자
댓글 1
좋아요 1
조회수 926
수간 기한 연장 부탁드립니다 ㅠ
15일간의 빅데이터 파일럿 프로젝트
안녕하세요 선생님! 🙂 수강기간 연장 부탁드립니다 ㅠㅠ
- 빅데이터
- hadoop
- kafka
- zookeeper
- redis
- flume
- impala
- 데이터-엔지니어링
JP
댓글 1
좋아요 0
조회수 467
빠르게 코딩하기 위한 단축기 문의 (팁)
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
삭제된 글입니다
- python
- 머신러닝
- 빅데이터
- pandas
- 빅데이터분석기사
hello4298
댓글 1
좋아요 0
조회수 444
샘플로 제시해주신 참고문헌 출처 부탁드리겠습니다!
[실전]텍스톰 TEXTOM 실전 강의: 빅데이터 논문 작성을 위한 텍스트 분석/텍스트마이닝
N-gram 분석은 N개 단어의 연쇄를 확률적인 수치를 산출하고 시각화하는 방법으로 대용량의 문서에서 특정 단어 뒤에 위치하는 단어나 음절의 빈도를 정량적인 수치로 나타낼 수 있다(Kang & Lee, 20019). 단어 간 연결방향이 화살표를 통해 시각화되며 화살표의 굵기 크기를 통해 연결강도가 결정된다(Yoo et al., 2019). 또한 연관 단어 간 관계성을 분석하면 단어간 관계 파악에 용이다하다(Kim, 2020). 본 연구에서는 Textom에서 제공하는 N-gram 텍스트마이닝 기법 시 데이터의 흐름과 이해를 하기 위해 가장 먼저 기초 분석 자료로 활용되는 기법이기도 하다. 단어빈도에 기반한 분석은 전체 문서 내에서 특정 단어의 풀현 빈도를 나타낸다. 문서 내에 특정 단어가 등장하는 횟수를 나타내며 이수치값이 클수록 문서에서 자주 사용하는 단어임을 의미한다(Jang et al.,2018). 높은 출현 빈도를 나타내는 단어는 대체로 연구주제와 관련된 함축된 의미를 내재하고 핵심 단어로 작용 할 수도 있다(Lee,2022).
- 빅데이터
- 텍스트마이닝
- textom
김남현
댓글 0
좋아요 1
조회수 866
VirtualBox 6.1 MacOS 버전 질문입니다.
15일간의 빅데이터 파일럿 프로젝트
안녕하세요 VirtualBox 6.1 설치 했는데요. 아래와같이 호스트 전용 네트워크 탭에 어댑터 설정이 없는데요.. 찾아도 안보이네요 ㅠ
- 빅데이터
- hadoop
- kafka
- zookeeper
- redis
- flume
- impala
- 데이터-엔지니어링
도루크막토
댓글 1
좋아요 0
조회수 473
컴퓨터 비전 airflow
실리콘밸리 엔지니어와 함께하는 Apache Airflow
안녕하세요 딥러닝 컴퓨터비전 엔지니어로 근무 중인 수강생입니다 :) 최근에 mlops에 대해 관심을 가지고 있는 도중에 airflow라는 도구를 알게되었습니다. 딥러닝분야에서도 airflow를 통해 mlops를 하는지 궁금합니다.
- python
- 빅데이터
- 데이터-엔지니어링
- airflow
Jaewoo Choi
댓글 1
좋아요 0
조회수 490
안녕하세요 선생님 :)
나도코딩의 자바 기본편 - 풀코스 (20시간)
삭제된 글입니다
- java
- 객체지향
갈색곰
댓글 1
좋아요 0
조회수 1643
이진수, 16진수 표현할 줄 알아야하나요?
개발자를 위한 컴퓨터공학 1: 혼자 공부하는 컴퓨터구조 + 운영체제
이진수나 16진수 보면 바로 이게 수 몇인지 모르겠는데 볼 줄 알아야 하겠죠? 예를 들어 0110(2) 보면 이게 수 몇을 표현한 건지 모르겠습니다. 볼 줄도 알고 쓸 줄도 필수적으로 알려면 따로 공부해야겠죠?
- 컴퓨터-구조
- 운영체제
- 기술면접
호시노 아이
댓글 1
좋아요 0
조회수 659
빅분기6회
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
오늘 빅분기 실기 6회 저만어려웠나요..?
- python
- 머신러닝
- 빅데이터
- pandas
- 빅데이터분석기사
enffl214
댓글 1
좋아요 0
조회수 570
만료된 메서드 fetchResult(), Blaze-persistence 세팅 관련 글 공유드립니다.
실전! Querydsl
QueryDSL 내부 메소드 중 fetchResult() 나 fetchCount()는 만료된 메소드에 대해서는 QueryDSL에서 Blaze-persistence Integration 라이브러리 사용을 권장 하는데요, Blaze-persistence도 QueryDSL 처럼 쿼리 빌더 API 로서 개발자에게 유지보수하기 좋은 객체를 제공해주고 있습니다. 게다가 최신 업데이트 날짜가 글 작성일 기준(2023.06.21) 일주일 이전이라 여전히 유지보수되고 있어서 최신 스프링버전과 호환성도 어느정도 보장되었다고 볼 수 있습니다. 개인적으로 SpringBoot 3.1.0 기준으로 다음과 같이 세팅하니 정상적으로 동작하는 걸 확인했는데요, 혹시 저처럼 deprecated 메소드를 쓰는 것이 신경쓰이시는 분들을 위해 공유드립니다. build.gradle dependencies { //Blaze-Persistence implementation 'com.blazebit:blaze-persistence-integration-querydsl-expressions-jakarta:1.6.9' implementation 'com.blazebit:blaze-persistence-integration-hibernate-6.2:1.6.9' implementation 'com.blazebit:blaze-persistence-core-impl-jakarta:1.6.9' } BlazePersistenceConfiguration.java @Configuration public class BlazePersistenceConfiguration { @PersistenceUnit private EntityManagerFactory entityManagerFactory; @Bean @Scope(ConfigurableBeanFactory.SCOPE_SINGLETON) @Lazy(false) public CriteriaBuilderFactory createCriteriaBuilderFactory() { CriteriaBuilderConfiguration config = Criteria.getDefault(); // do some configuration return config.createCriteriaBuilderFactory(entityManagerFactory); } } QuerydslBasicTest.java ..... JPAQueryFactory queryFactory; @Autowired CriteriaBuilderFactory cbf; BlazeJPAQueryFactory blazeQueryFactory; @BeforeEach public void testEntity(){ queryFactory = new JPAQueryFactory(em); // 이건 동시성 문제를 고민하지 않아도 됨, 해결됨 blazeQueryFactory = new BlazeJPAQueryFactory(em, cbf); ..... 적용 결과 기존 QueryDSL 세팅한 것에 추가로 세팅하시면, 만료된 메소드에 대해 Blaze-persistence 객체로 대체되는데요, 기존 querydsl 클래스를 상속 받는 형태여서 QueryDSL이 제공하는 메소드를 그대로 쓸 수도 있습니다. fetchResults는 fetchPage로 바꿔서 사용할 것을 권장하고 있다는 점 참고하시면 될 것 같습니다. 추가로 내부로직이라든지 설명이 더 필요하시다면 Blaze-persistence 릴리즈 노트 와 Blaze Persistence Document 를 참고하시면 좋을 것 같습니다. 이 글에 대해 지적 및 피드백 해주시면 정말 감사하겠습니다. 감사합니다. 여담 및 고민 : 개인적으로 이 라이브러리의 내부로직을 뜯어보면서 분석하고 검증할 수 있는 역량은 부족한지라 분석 및 검증하는 방법에 대해서 팁이라든지, 아니면 blaze-persistence 사용할 시 주의해야할 점이라든지 조언해주실 수 있으시면 정말 감사드립니다. 강의를 듣던 중에 서브쿼리가 발생하는 부분에서는 정상동작하지 않는 것을 발견했습니다. @Test public void findUserDto(){ QMember memberSub = new QMember("memberSub"); List<UserDto> memberDtoList = queryFactory //이건 blazeQueryFactory가 정상 동작하지 않음 .select(Projections.fields(UserDto.class, //생성자 필드 순서에 맞게 변수를 만들어야 한다. member.username.as("name"), // member.age 대신 서브쿼리로 다 최대 나이로 찍고 싶어 ExpressionUtils.as( JPAExpressions .select(memberSub.age.max()) .from(memberSub), "age") )) .from(member) .fetch(); for (UserDto userDto : memberDtoList) { System.out.println("userDto = " + userDto); } } QueryDSL 쿼리 /* select member1.username as name, (select max(memberSub.age) from Member memberSub) as age from Member member1 */ select m1_0.username, (select max(m2_0.age) from member m2_0) from member m1_0 blaze-persistence 쿼리 /* SELECT member1.username AS name, member1.age AS generatedSubquery_1 FROM Member member1 */ select m1_0.username, m1_0.age from member m1_0 blaze-persistence generatedSubquery라 하여, 서브쿼리를 하나의 alias로 처리를 해버렸는데, 후행으로 이 generatedSubquery 에 대한 정의가 따라오질 않습니다... 왜 이런 차이가 나오는지는 모르겠지만 blaze-persistence 활용할 때는 유의해야할 것 같습니다.
- java
- jpa
- querydsl
- blaze-persistence
말랑한참깨
댓글 0
좋아요 1
조회수 2812
오겜 Discord 차단 된것 같은데 ,, ㅠㅠ
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
삭제된 글입니다
- python
- 머신러닝
- 빅데이터
- pandas
- 빅데이터분석기사
idk1930
댓글 0
좋아요 0
조회수 18
공부하다가 궁금해서요..
그림으로 쉽게 배우는 운영체제
시분할 시스템에서 장점이 sw의 중복 회피 기능이라고 나오는데 구글링해보면 중복 회피 가능이라고 하기도 하고.. 아무튼 여기서 말하는 중복 회피라는 것이 무엇일까요? 그리고 시분할 시스템은 왜 중복 회피가 장점인지도 설명해주세요.
- 운영체제
혜성
댓글 1
좋아요 0
조회수 438
면접준비
CS 지식의 정석 | 디자인패턴 네트워크 운영체제 데이터베이스 자료구조
안녕하세요 제가 이번에 OOO 기업에 스마트팩토리 IT 직무에 지원하게 됐습니다. 어제 코딩테스트 3문제중 3솔로 마무리하였고, 다음으로 1차 면접이 남아 있습니다. 1차면접 후 인턴생활을 하고 2차면접에서 최종 채용이 결정이 되는 구조입니다. 1차 면접은 6월 초 예정으로 1~2주정도 남아있을 것 같습니다. 제가 면접 경험이 없고 CS지식이 부족해서 큰돌님의 CS 지식의 정석을 1주일 안에 전부 수강할 예정인데 괜찮은 방법일까요?? 그리고 스마트팩토리 IT 직무인데, 여기 강의에 있는 CS 지식안에서 대부분 나오는게 맞을까요? (명확한 프론트엔드직군, 백엔드직군 이런 것이 있는 게 아니라 스마트팩토리 IT 직무 채용이라서 궁금한 내용입니다.) 외적인 질문은 제가 따로 준비하고 있는데, 기술 질문이 들어오는 게 걱정입니다ㅠㅠ
- 면접
- 운영체제
- 기술면접
김범콩
댓글 2
좋아요 0
조회수 651
인기 태그
인프런 TOP Writers
주간 인기글
- [부산] AI 세미나 : 9월 수강생 모집 Edun
- 9월 출시 예정 공연 예매 플랫폼 멀티켓과 함께할 백엔드 개발자를 구합니다 sumin
- 🚀 끝까지 만들어 본 적 있나요? | 실서비스 완성 + 수익 창출 모임 💰 catalyst collectiv
- 🚀 끝까지 만들어 본 적 있나요? | 실서비스 완성 + 수익 창출 모임 💰 catalyst collectiv
- 🚀 끝까지 만들어 본 적 있나요? | 실서비스 완성 + 수익 창출 모임 💰 catalyst collectiv