컴퓨터 비전 airflow
실리콘밸리 엔지니어와 함께하는 Apache Airflow
안녕하세요 딥러닝 컴퓨터비전 엔지니어로 근무 중인 수강생입니다 :) 최근에 mlops에 대해 관심을 가지고 있는 도중에 airflow라는 도구를 알게되었습니다. 딥러닝분야에서도 airflow를 통해 mlops를 하는지 궁금합니다.
- python
- 빅데이터
- 데이터-엔지니어링
- airflow
173만명의 커뮤니티!! 함께 토론해봐요.
실리콘밸리 엔지니어와 함께하는 Apache Airflow
안녕하세요 딥러닝 컴퓨터비전 엔지니어로 근무 중인 수강생입니다 :) 최근에 mlops에 대해 관심을 가지고 있는 도중에 airflow라는 도구를 알게되었습니다. 딥러닝분야에서도 airflow를 통해 mlops를 하는지 궁금합니다.
부트캠프에서 알려주지 않는 것들 (리액트 렌더링 최적화 편) 2편
제목 그대로 접근이 되지 않아 문의남깁니다
게임 프로그래머 취업 전략 가이드
저번에 질문드려서 상담을 받았었는데요 너무감사하게도 학원을 추천해주셔서 매우 잘다니고있습니다 현재 1달차입니다. 3개월전에 미리 독학을하고있어서 winapi로 전반적인 게임프레임워크 로직을 이해하였고 2d타일맵으로 에이스타알고리즘과 랜덤맵생성 알고리즘을 사용한 게임을 만들었습니다. 그래서 아직까지는 학원도 매우 잘다니고있습니다 그런데 고졸이라는 두려움이 아직도 남아있는 상태입니다 제가 고졸인 상태에서 포폴을 얼마나 잘해야 경쟁력이 있을지 감이안잡힙니다.... 초반 api전까지는 수학공부에 흥미도 생겨서 지금은 수학공부만하고있습니다. 개념을 충분히 이해하면서요 근데공부하다보니 수능에도 관심이 생겨버려서... 그떄 말씀하시기로 어떤 프로그래머가 될지 충분히 고민해보라고 하셨는데 제가 그래픽스 프로그래머가 되고싶습니다. 유튜브에 포프님의 영향이 있었던것같습니다. 그래서 현재 나이가 만으로 23인데요(2000년생입니다.) 현재 제가 판단한결과로 만약 대학이 중요하다면 이번이 마지막기회인듯 싶어서요 농어촌특별전형이 가능해서 정시로 매우 좋은 상황이긴합니다... 하지만 나이가 나이인지라 대학을 졸업하면 30대에 가까워지기때문에 꿈에서 멀어지는 느낌이 많이들어서요.... 결론은 대기업기준 포폴을 어느정도까지해야 경쟁력이있을지 궁금하고... 학력때문에 대기업을 못간다고하면 중소기업에서라도 충분히 그래픽스프로그래머로써 기회가있을지 궁금합니다... 저는 돈보다 꿈이중요하기때문에 얼마를 벌든지 상관은 없을것같습니다... 만약안된다면 1년3개월동안 공부만해서 농어촌으로 sky 컴공과를 노려보려구 합니다 조언부탁드립니다. 감사합니다.
나도코딩의 자바 기본편 - 풀코스 (20시간)
삭제된 글입니다
게임 프로그래머 취업 전략 가이드
현재 29살 나이에 재수, 휴학해 가면서 그저 그런 4년제 대학 졸업했습니다. 컴공과 들어올 때만 해도 제가 뭘 좋아하는지 몰랐기에 마음이 앞서서 졸업했는데 이 나이가 되고서야 게임 프로그래머가 되고 싶네요.. 거두절미하고 본론만 말씀드리면 제가 현재 게임 업계에 종사하고 싶어서 ISTQB 자격증도 따고, 기획 쪽으로 공부도 했습니다. 기획 쪽 언리얼 포폴을 지원해도 너무 취업이 안되고.. 결국은 전공 살려서 게임프로그래밍 쪽으로 돌리고 싶은데 루키스 선생님의 C+ 자료구조 및 유니티 수업 두 가지 수업을 듣고 준비해도 괜찮을까요? 현재 팀 프로젝트 경험도 없고.. 아무것도 없는 상태입니다. 앞으로 어떤 식으로 준비하면 좋을지 조언해 주실 수 있을까요?
개발자를 위한 컴퓨터공학 1: 혼자 공부하는 컴퓨터구조 + 운영체제
이진수나 16진수 보면 바로 이게 수 몇인지 모르겠는데 볼 줄 알아야 하겠죠? 예를 들어 0110(2) 보면 이게 수 몇을 표현한 건지 모르겠습니다. 볼 줄도 알고 쓸 줄도 필수적으로 알려면 따로 공부해야겠죠?
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
오늘 빅분기 실기 6회 저만어려웠나요..?
실전! Querydsl
QueryDSL 내부 메소드 중 fetchResult() 나 fetchCount()는 만료된 메소드에 대해서는 QueryDSL에서 Blaze-persistence Integration 라이브러리 사용을 권장 하는데요, Blaze-persistence도 QueryDSL 처럼 쿼리 빌더 API 로서 개발자에게 유지보수하기 좋은 객체를 제공해주고 있습니다. 게다가 최신 업데이트 날짜가 글 작성일 기준(2023.06.21) 일주일 이전이라 여전히 유지보수되고 있어서 최신 스프링버전과 호환성도 어느정도 보장되었다고 볼 수 있습니다. 개인적으로 SpringBoot 3.1.0 기준으로 다음과 같이 세팅하니 정상적으로 동작하는 걸 확인했는데요, 혹시 저처럼 deprecated 메소드를 쓰는 것이 신경쓰이시는 분들을 위해 공유드립니다. build.gradle dependencies { //Blaze-Persistence implementation 'com.blazebit:blaze-persistence-integration-querydsl-expressions-jakarta:1.6.9' implementation 'com.blazebit:blaze-persistence-integration-hibernate-6.2:1.6.9' implementation 'com.blazebit:blaze-persistence-core-impl-jakarta:1.6.9' } BlazePersistenceConfiguration.java @Configuration public class BlazePersistenceConfiguration { @PersistenceUnit private EntityManagerFactory entityManagerFactory; @Bean @Scope(ConfigurableBeanFactory.SCOPE_SINGLETON) @Lazy(false) public CriteriaBuilderFactory createCriteriaBuilderFactory() { CriteriaBuilderConfiguration config = Criteria.getDefault(); // do some configuration return config.createCriteriaBuilderFactory(entityManagerFactory); } } QuerydslBasicTest.java ..... JPAQueryFactory queryFactory; @Autowired CriteriaBuilderFactory cbf; BlazeJPAQueryFactory blazeQueryFactory; @BeforeEach public void testEntity(){ queryFactory = new JPAQueryFactory(em); // 이건 동시성 문제를 고민하지 않아도 됨, 해결됨 blazeQueryFactory = new BlazeJPAQueryFactory(em, cbf); ..... 적용 결과 기존 QueryDSL 세팅한 것에 추가로 세팅하시면, 만료된 메소드에 대해 Blaze-persistence 객체로 대체되는데요, 기존 querydsl 클래스를 상속 받는 형태여서 QueryDSL이 제공하는 메소드를 그대로 쓸 수도 있습니다. fetchResults는 fetchPage로 바꿔서 사용할 것을 권장하고 있다는 점 참고하시면 될 것 같습니다. 추가로 내부로직이라든지 설명이 더 필요하시다면 Blaze-persistence 릴리즈 노트 와 Blaze Persistence Document 를 참고하시면 좋을 것 같습니다. 이 글에 대해 지적 및 피드백 해주시면 정말 감사하겠습니다. 감사합니다. 여담 및 고민 : 개인적으로 이 라이브러리의 내부로직을 뜯어보면서 분석하고 검증할 수 있는 역량은 부족한지라 분석 및 검증하는 방법에 대해서 팁이라든지, 아니면 blaze-persistence 사용할 시 주의해야할 점이라든지 조언해주실 수 있으시면 정말 감사드립니다. 강의를 듣던 중에 서브쿼리가 발생하는 부분에서는 정상동작하지 않는 것을 발견했습니다. @Test public void findUserDto(){ QMember memberSub = new QMember("memberSub"); List<UserDto> memberDtoList = queryFactory //이건 blazeQueryFactory가 정상 동작하지 않음 .select(Projections.fields(UserDto.class, //생성자 필드 순서에 맞게 변수를 만들어야 한다. member.username.as("name"), // member.age 대신 서브쿼리로 다 최대 나이로 찍고 싶어 ExpressionUtils.as( JPAExpressions .select(memberSub.age.max()) .from(memberSub), "age") )) .from(member) .fetch(); for (UserDto userDto : memberDtoList) { System.out.println("userDto = " + userDto); } } QueryDSL 쿼리 /* select member1.username as name, (select max(memberSub.age) from Member memberSub) as age from Member member1 */ select m1_0.username, (select max(m2_0.age) from member m2_0) from member m1_0 blaze-persistence 쿼리 /* SELECT member1.username AS name, member1.age AS generatedSubquery_1 FROM Member member1 */ select m1_0.username, m1_0.age from member m1_0 blaze-persistence generatedSubquery라 하여, 서브쿼리를 하나의 alias로 처리를 해버렸는데, 후행으로 이 generatedSubquery 에 대한 정의가 따라오질 않습니다... 왜 이런 차이가 나오는지는 모르겠지만 blaze-persistence 활용할 때는 유의해야할 것 같습니다.
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
삭제된 글입니다
CS 지식의 정석 | 디자인패턴 네트워크 운영체제 데이터베이스 자료구조
안녕하세요 제가 이번에 OOO 기업에 스마트팩토리 IT 직무에 지원하게 됐습니다. 어제 코딩테스트 3문제중 3솔로 마무리하였고, 다음으로 1차 면접이 남아 있습니다. 1차면접 후 인턴생활을 하고 2차면접에서 최종 채용이 결정이 되는 구조입니다. 1차 면접은 6월 초 예정으로 1~2주정도 남아있을 것 같습니다. 제가 면접 경험이 없고 CS지식이 부족해서 큰돌님의 CS 지식의 정석을 1주일 안에 전부 수강할 예정인데 괜찮은 방법일까요?? 그리고 스마트팩토리 IT 직무인데, 여기 강의에 있는 CS 지식안에서 대부분 나오는게 맞을까요? (명확한 프론트엔드직군, 백엔드직군 이런 것이 있는 게 아니라 스마트팩토리 IT 직무 채용이라서 궁금한 내용입니다.) 외적인 질문은 제가 따로 준비하고 있는데, 기술 질문이 들어오는 게 걱정입니다ㅠㅠ
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
함수에 대해 정의내릴 때 예를 들어 코랩 에서는 scaler = minmax_scale() 이렇게 정의를 내리고 scaler(data) 하는데 #코랩은 정의내릴 때 괄호를 빼면 동작안함 구름에서 테스트해보니까 scaler = minmax_scale()하고 scaler(data)하면 에러가 발생하고 괄호없이 scaler = minmax_scale 만해야 에러가 발생하지 않더라구요. 이게 구름 환경만의 특성이라서 그렇다고 보면 될까요?
CS 지식의 정석 | 디자인패턴 네트워크 운영체제 데이터베이스 자료구조
안녕하세요 선생님 항상 좋은 강의를 제공해 주셔서 잘 공부하고 있습니다. 다름이 아니라 복싱을 배울 때 줄넘기와 달리기를 통해 기초체력을 단련하는 것처럼 개발자에게도 근본적으로 단련해야 하는 기초체력이 있을까요 요즘 개발 공부를 하면서 뭔가 모래 위에 성을 쌓아가는 느낌이 들어 이렇게 질문드립니다.
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
노트북 링크 복사 붙여넣기 후 열면, 해당 팝업이 뜹니다
쉽게 처음하는 파이썬 고급 크롤링 [Scrapy, Selenium, Headless Chrome]
안녕하세요 저는 비전공자이고 풀스택 전과정 + 고급 크롤링 강의를 듣고있는 수강생입니다. 우선 너무 좋은 강의 정말 잘 듣고 있습니다. 저는 코딩을 아예처음 접하고있어서 어느쪽으로 가고싶은지 전혀 갈피가 없었는데요. 하다보니 데이터과학이 제가 하고싶었던 분야라는것을 알게되었습니다. 항상 외주로 개발자를 구해서 돈을 주고 프로그램을 제작하는것을 자주해왔는데요. 개발비로도 2000만원이상을 쓴것 같습니다. 그런데 제가직접 해보고자 이곳을 찾아왔고, 데이터 과학이 제가 생각한 분야라는것을 고급크롤링 강의들으면서 알게되었습니다. 그런데 궁금한점은 개발자에게 외주를 맡기면서 항상 GUI 방식의 프로그램을 받아서 그것으로 크롤링 및 자동화 프로그램들을 주로 외주를 맡겨왔었는데요. 강의 내용을 계속보고있는데 GUI 에 관한건 없더라구요. 제가 못찾는건지 별도 다른강의가 있는건지 알고싶습니다. 저는 GUI에 자동화 소스를 버튼처럼만드는 그런 프로그램을 만들고 싶거든요 ! 강의내용의 질문은 아니지만, 그 강의가있다면 추가로 구매해서 수강하고싶습니다. 답변 부탁드립니다
[핵집] 2025 빅데이터 분석기사(필기)_과목 1~2
안녕하세요, 이번에 빅데이터 분석기사 필기(1~4강)을 모두 수강신청 하였습니다. 따라서 통합 교안을 이메일로 받아보고 싶어 이렇게 문의 남겨드립니다. 이메일 주소 : hyungmin997@gmail.com 감사합니다.
자바 ORM 표준 JPA 프로그래밍 - 기본편
https://xively.tistory.com/43
CS 지식의 정석 | 디자인패턴 네트워크 운영체제 데이터베이스 자료구조
어떻게 읽는 지 전혀 모르겠어서 찾아봤습니다. 얻제이쓴씨 뭐 이런 식으로 읽는데요.. 길 가다 json씨를 만났습니다. 그리고 반갑게 인사를 합니다. 엇 json씨
CS 지식의 정석 | 디자인패턴 네트워크 운영체제 데이터베이스 자료구조
큰돌툰 폼 미쳤다..
CS 지식의 정석 | 디자인패턴 네트워크 운영체제 데이터베이스 자료구조
안녕하세요 큰돌님 다름이 아니라 2달내 수강완료시 포폴첨삭 이벤트를 진행하시잖아요? 근데 포폴 첨삭을 어느 시기에 부탁드리는게 맞는지 고민되어 질문드립니다 일단 저는 웹 프론트엔드를 지망하고있습니다 그리고 저는 지금 js강의를 듣고 있고 1달후엔 대략적으로 react를 다룰 수 있을 것 같아 실질적으론 3월 중순부터 포폴제작에 들어갈 것 같습니다 그래서 포폴제작은 4월 중후반쯤에 대략적인 완성이 되리라 예측합니다 다만 저는 1개의 포폴을 기반으로 node js ,mongo db등을 학습해나가며 간단한 백엔드 시스템 구축 및 알고리즘 학습하며 코드 리팩토링등 1개의 포폴을 계속 업그레이드 해나가며 완성도 높은 포폴 만드는것을 목표로하고 있는데 제 생각엔 하반기쯤 되어서야 제대로 된 포폴을 완성할 것 같아서 그 때 큰돌님께 검수를 받고 개선점을 찾는게 맞는지 react로 대략적인 구성을 한 다음 검수를 받고 대략적인 방향을 가이드 받는것이 맞는지 고민되어서 질문드립니다
스프링 입문 - 코드로 배우는 스프링 부트, 웹 MVC, DB 접근 기술
현재 국비 학원을 수료하며 프로젝트를 마친 뒤에 김영한님 강의를 듣고 있으며 spring에 대해 이제서야 이해하려 하는 취준생입니다. 문득 제가 어떤 개발을 하고 싶은지 방향성에 대해 생각해보게 되었습니다. ->어떤 개발을 하고 싶은지 방향성에 대해 되짚어 보고 있었다 ->SQL문을 짜면서 효율적인 방법은 무엇이 있을까 고민하는 과정이 스스로 가치 있는 고민을 하고 있다는 생각이 들었다. ->데이터 처리 속도 개선에 관하여 고민하는 개발자가 되고 싶다. ->대용량 트래픽을 다루는 서비스 회사에서 성장하고 싶다. 질문 ==> 위의 4문장을 설득력 있게 말하기 위해서 취준에 뛰어드는 예비 백엔드 개발자 수준에서 할 수 있는 "공부 방향"은 무엇이 있을지 조언 해주실 수 있을까요? (특정 개념이나 강의를 추천해주셔도 감사할 것 같습니다. )