인프런 - 라이프타임 커리어 플랫폼

실리콘밸리 소프트웨어 엔지니어에게 배우는 빅데이터를 처리하는 방법 & 파이썬을 이용해 아파치 스파크로 빅데이터 코드를 개발하는 법을 가르쳐 드립니다. 현재 14년차 소프트웨어 개발자로 웹 어플리케이션, 빅데이타 그리고 SRE & 데브옵스까지 파이썬으로 다 처리하고 있습니다. 파이썬을 이용해, 빅데이터 직군에서 꼭 알아야하는 아파치 스파크에 대해서 쉽고 깊게 배울 수 있는 기회를 절대 놓치지 마세요!

데이터를 하는 사람이라면 꼭 알아야하는 기본 기술은 SQL입니다. 이번 강의에서는 SQL을 데이터 분석이란 관점에서 실습 위주로 학습해보겠습니다. 실습은 DuckDB를 가지고 Google Colab에서 진행합니다.

MongoDB를 사용하여 대용량 데이터에 대한 쿼리를 작성하는 방법을 학습하시게 됩니다.

여러분들은 빅데이터 프로세싱의 4단계에 해당하는 [데이터 수집 ▶ 데이터 저장 ▶ 데이터 분석 ▶ 표현] 에 대한 내용을 이론 30% + 실습 70%으로 이루어진 코드랩 방식으로 보다 재밌고 체계적으로 학습합니다 🧑🏻‍🏫

최신 스타트업에서 활용하는 풀스택과 데이터과학 기술의 기본 기술 중 하나인 빅데이터를 다룰 수 있는 NoSQL 기술을 익힙니다. 몽고DB는 NoSQL 중에서도 가장 쉬우면서 빠르게 활용할 수 있는 기술입니다. 본 강의에서는 짧은 시간 안에 몽고DB 기초를 익히고, 파이썬으로 몽고DB를 다루고 활용할 수 있는 기술까지 학습해 봅니다.

이 강의는 Power BI를 활용해 데이터를 불러오고, 전처리하고, 관계를 구성하고, DAX를 작성해 실제 보고서와 대시보드로 연결하는 전 과정을 실습 중심으로 익히는 강의입니다. 특히 경영정보 시각화 능력 실기 유형을 함께 반영해, Power BI를 처음 배우는 분도 실무 활용과 시험 대비를 동시에 할 수 있도록 구성했습니다. 단순 기능 설명이 아니라 실제 업무에서 자주 사용하는 데이터 전처리, 시각화, 핵심 측정값 작성 방법까지 다루며, 하루 8시간 안에 핵심 흐름을 빠르게 정리할 수 있도록 돕습니다.

Bigquery에서 GA4 데이터를 활용할 수 있는 방법을 소개합니다. 빅쿼리에 공개되어 있는 구글머천다이즈스토어(https://www.googlemerchandisestore.com/)의 GA4 Bigquery 데모 데이터를 가지고 직접 기본적인 SQL문의 실습과 함께 마케터나 기획자나 쉽게 GA4 Bigquery 데이터를 활용할 수 있는 방법을 소개합니다.

mongoDB, NoSQL 요즘 많이 들리지만 아직은 낯선 데이터베이스인가요? 관계형 데이터베이스(RDS/SQL)처럼 사용하고 계시지는 않으신가요? 아무리 좋은 기술도 올바르게 사용하지 않으면 역효과가 발생합니다. 그래서 몽고디비 사용 실패 사례도 종종 보이는데요. 이 강의는 mongoDB를 최대한 mongoDB스럽게 사용할 수 있도록 기본 개념부터 실무 노하우까지 가르쳐드려요.

Apache Superset은 여러 데이터베이스를 연결해서 차트·대시보드를 뚝딱 만들 수 있는 오픈소스 BI 툴입니다. 코드 몰라도 시각화 가능하고, SQL Lab에서는 직접 쿼리도 날릴 수 있어 초보부터 프로까지 모두 유용합니다. 만든 대시보드는 바로 공유하고 권한 설정까지 할 수 있어 협업에도 완벽합니다. Superset을 배우면 데이터 기반 의사결정을 빠르게 만들고, 회사에서 바로 써먹는 실전 대시보드를 만드는 역량을 갖출 수 있습니다. 한마디로, 데이터를 “말하게” 만들고 싶은 사람에게 딱입니다. 🚀

실시간 데이터 처리, 이제는 선택이 아닌 필수! Apache Flink로 실시간 스트리밍을 똑똑하게 다뤄봅니다. 배치? 스트리밍? 복잡한 개념도 쉽게, 빠르게 이해할 수 있어요. Kafka, DB 연동까지 직접 해보며 감 잡는 실습 위주 구성! 데이터로 움직이는 세상, Flink로 먼저 시작해보세요.

이 강의를 통해 기업의 아파치 스파크 프로젝트를 바로 수행할 수 있게 될 겁니다.

R프로그래밍을 이용해 누구나 빅데이터 분석을 할 수 있도록 데이터의 기본적인 개념, R의 유용한 함수와 패키지, 데이터 분석 실습을 담았습니다.

데이터 분석 경험도 별다른 기술도 없는 기획자, 마케터가 가장 기초적인 수준에서 데이터 분석을 해볼 수 있는 방법을 다양한 사례와 함께 알려 드립니다. 여러 해 동안 100여 개 기업과 공공기관 등에서 2천여 명에 이르는 수강자들과 함께 실습하며 데이터 비전문가 입장에서 가장 현실적으로 활용 가능한 분석법으로 내용을 구성했습니다.

High Availability가 보장되는 빅데이터 시스템 또는 분산처리 시스템 클러스터 (HDFS, Zookeeper, Spark, Zeppelin) 를 직접 구축해보는 코드랩 위주의 수업입니다.

"빅데이터+AI 풀스택 개발" - AI에 생명력을 불어 넣는 빅데이터 구축 과정을 파일럿 프로젝트 형식으로 진행합니다. 요구사항을 파악해 단계별로 플랫폼을 구성하고, 스마트카 데이터 탐색과 분석을 수행 합니다.

[인공지능 시대의 시스템 통제 및 인지적 퇴화 방지를 위한 전략적 로드맵] 1. 서론: 기술적 주도권과 전략적 지휘권 (Strategic Command vs. Passive Dependence) 지난 40년간의 자동차 R&D 및 기업 경영을 통해 도출된 핵심적 통찰은, 기술적 통제권을 상실한 주체는 시스템의 수혜자가 아닌 종속자로 전락할 가능성이 높다는 점입니다. 특히 고성능 엔진에 비견되는 인공지능(AI) 기술의 확산은 인간으로 하여금 기술적 '수동적 승객'에 머물게 하거나, 혹은 시스템을 장악하는 '전략적 지휘관'으로 도약하게 하는 기로를 제시하고 있습니다. 현재 관찰되는 무분별한 AI 의존은 인간 고유의 사고 및 분석 기제를 기계에 전적으로 위임하는 '인지적 오프로딩(Cognitive Offloading)' 현상을 가속화하고 있습니다. 이는 뇌의 실행 제어 네트워크(ECN) 비활성화를 유도하며, 장기적으로는 전두엽의 기능적 저하를 초래하는 '인지적 퇴화(Cognitive Atrophy)'라는 구조적 위기를 동반할 우려가 있습니다. 본 과정은 이러한 지적 위기 상황에 대응하여 인간의 인지적 역량을 강화하고 지적 주권을 수호하기 위한 전략적 방법론을 제시하고자 합니다. 2. 인지적 주권 수호를 위한 5대 핵심 방법론 ① 인지적 가소성 유지 및 의도적 인지 부하의 설계 (Cognitive Gym) 사용자에게 즉각적이고 매끄러운 해답을 제공하는 AI의 편의성은 사고의 단절과 비판적 검토 과정의 생략을 야기할 수 있습니다. 이를 방지하기 위해 업무 프로세스 내에 의도적인 '인지적 마찰(Cognitive Friction)'을 설계하는 과정이 요구됩니다. AI의 자동화 기능을 역이용하여 인간의 사고 과정을 강제로 지연시키고 심화함으로써, 뇌의 신경가소성(Neuroplasticity)을 자극하고 사고의 임계치를 상향 조정하는 고도화된 훈련이 병행되어야 합니다. ② 다중 에이전트 시스템(MAS) 기반의 대항적 검증 체계 구축 인간의 인지 체계는 AI 산출물을 무비판적으로 수용하려는 '자동화 편향(Automation Bias)'에 노출되기 쉽습니다. 이러한 편향을 상쇄하기 위해 사용자의 지시에 충실한 주 모델과는 별도로, 해당 논리의 취약점을 분석하고 공격하는 '비평 에이전트(Critique Agent)' 혹은 가상의 '레드팀(Red Team)'을 운용하는 전략이 유효합니다. 이는 지속적인 방어 논리 구축 과정을 강제함으로써 대니얼 카너먼이 정의한 '시스템 2(숙고적 사고)' 기능을 활성화하는 효과를 제공합니다. ③ 문해력 기반의 이중 트랙(Dual-Track) 및 RQTDW 학습법 이행 디지털 도구에 대한 검증 역량은 아날로그적 기초 사고 체계에 정비례합니다. 텍스트의 맥락을 심층적으로 파악하는 문해력을 견지한 상태에서, 다음과 같은 RQTDW 5단계 로드맵을 체화하는 것이 권고됩니다. Read (심층 독해): 정보의 원천에 대한 다각적인 파악을 수행합니다. Question (의문 제기): 논리적 정합성 및 전제 조건의 타당성에 대해 비판적 질문을 던집니다. Think (모순 직시): 정보 간의 상충 관계 및 논리적 공백을 분석하고 숙고합니다. Discuss (심층 토론): 가상적 혹은 실질적 토론을 통해 논점을 다각화합니다. Write (재구성): 확장된 사고의 결과를 인간 고유의 언어로 정제하여 시스템적으로 내재화합니다. ④ 책임 소재 명확화를 위한 샌드위치 워크플로우(Sandwich Workflow) 적용 업무의 전 과정을 AI에 위임하는 것은 인지적 마비를 초래할 위험이 크므로, 인간과 AI의 역할을 구조적으로 분리하는 엄밀한 워크플로우 확립이 필수적입니다. 맥락 설계 단계 (Top Bun): 업무의 목적 설정, 제약 조건 부여, 전체 아키텍처 설계는 반드시 인간의 주도하에 수행되어야 합니다. 데이터 처리 단계 (Meat): 방대한 데이터의 연산, 정렬 및 초안 작성 등 반복적이고 대규모 리소스가 투입되는 과업을 AI에 위임합니다. 최종 검증 단계 (Bottom Bun): 윤리적 판단, 사실 관계의 정밀 교차 검증(Fact-check) 및 최종 가치 부여는 다시 인간의 책임 영역으로 귀속시켜 시스템의 안정성을 확보합니다. ⑤ SIFT 모델을 통한 환각 제어 및 인식적 경계 강화 AI는 의미에 대한 실질적 이해 없이 확률적 빈도에 기반하여 토큰을 조합하는 '확률적 앵무새'의 속성을 지닙니다. 따라서 AI의 유창한 출력물에 현혹되는 '지식의 환영'을 경계해야 하며, 이를 위해 3단계 팩트체크 프로토콜과 SIFT 모델을 실무에 엄격히 적용해야 합니다. 원천 소스를 추적하고 외부 데이터와 대조하는 횡적 읽기(Lateral Reading) 습관은 기술적 편의성에 안주하는 지적 무임승차를 방지하는 핵심 기제가 됩니다. 3. 결론: 초지능형 조타수의 전략적 사명 지능이라는 현상은 공학적 설계를 통해 발현되나, 이를 유의미한 방향으로 제어하고 비즈니스 가치를 창출하는 핵심 주체는 여전히 인간의 엄밀한 사고력입니다. 본 마스터클래스는 수강생이 AI라는 강력한 동력원을 통제하며 조직의 시스템을 설계하는 '초지능형 조타수'로서의 역량을 확보하도록 설계되었습니다. 개별 구성원의 인지적 근력을 강화하고 기술적 도전에 능동적으로 응전하십시오. 엄밀한 공학적 통제와 고도화된 인지 능력이 결합될 때, 인공지능은 비로소 구성원과 조직의 지속 가능한 성장을 견인하는 전략적 자산으로 기능할 것입니다.

[거대한 재배선(The Great Rewiring)을 통한 공학적 조직 전략 및 개별 역량 로드맵] 1. 서론: '거대한 재배선(The Great Rewiring)'과 조직 패러다임의 전이 현대 기업은 인공지능(AI) 도입의 초기 국면인 이른바 '거대한 재배선(The Great Rewiring)'이라 일컬어지는 전례 없는 기술적 전환점에 직면해 있습니다. 이는 단위 기술의 단순 도입이나 부분적인 업무 자동화를 초과하여, 조직이라는 거대 시스템의 구조적 설계도를 근본적으로 재구성해야 하는 복합적 과업으로 정의됩니다. 생성형 인공지능(Generative AI)이라는 고효율 동력원의 공급에도 불구하고, 상당수의 조직은 구조적 관성에 매몰되어 성능 저하 및 시스템 불안정을 경험하고 있는 실정입니다. 이러한 현상은 동력원의 출력은 강화되었으나, 해당 에너지를 제어하고 유의미한 비즈니스 성과로 변환하기 위한 프로세스(Process)와 구조(Structure)의 재설계가 수반되지 않은 데서 기인하는 것으로 분석됩니다. 본 과정은 조직을 고도화된 유기적 시스템으로 진화시키기 위한 심층 아키텍처 설계 전략을 제시하고자 합니다. 2. [진단] 인공지능 도입 단계에서의 3대 구조적 결함 분석 ① 조직 하부 구조의 강성 부족 (Chassis Collapse) 경직된 수직적 계층 구조를 유지한 채 인공지능이라는 초고성능 동력원을 탑재할 경우, 가속화된 정보 처리량과 의사결정 속도를 기존 구조가 수용하지 못하는 현상이 발생합니다. 이는 의사결정 체계가 기술적 전개 속도에 상응하지 못해 발생하는 조직적 기능 부전으로, 궁극적으로는 리더십의 권위와 관리 시스템의 물리적 와해를 초래할 가능성이 농후합니다. ② 성능 경계의 오판과 시스템 신뢰성 저하 (Jagged Frontier) 확률론적 추론 기제인 생성형 인공지능을 엄격한 결정론적 논리가 요구되는 과업에 무분별하게 투입함으로써 발생하는 문제입니다. 수학적 정밀성이나 법적 준거가 필수적인 영역에서 인공지능의 확률적 특성을 간과할 경우, 시스템 전반의 신뢰도가 급격히 하락하는 '시스템 노킹(System Knocking)' 현상이 발생하며, 이는 조직에 막대한 유무형적 자산 손실을 야기합니다. ③ 인지적 마찰과 심리적 불안정의 방치 (NVH: Noise, Vibration, Harshness) 기계적 진동과 소음이 시스템의 피로도를 높이듯, 조직 내에 확산된 고용 불안정성 및 모호한 직무 가이드라인은 구성원의 인지 부하를 임계치까지 가속화하는 요인이 됩니다. 이러한 조직 내 심리적 NVH(Noise, Vibration, Harshness) 현상을 적절히 제어하지 못하는 조직은 지능형 시스템 도입에도 불구하고 구성 요소 간의 불협화음으로 인해 내부적인 자멸 위기에 직면할 수 있습니다. 3. [개별 역량] 수동적 순응에서 주권적 아키텍트로의 진화 인공지능 시대의 개별 구성원은 기술에 종속된 '수동적 양(Passive Sheep)'의 지위에서 벗어나, 시스템을 해체하고 재배선하는 '실존적 아키텍트'로 거듭나야 합니다. ① 지적 주권의 회복과 노예 도덕(Slave Morality)의 탈피 인공지능의 산출물을 무비판적으로 수용하고 분석 과정을 기계에 전적으로 위임하는 행위는 '인지적 오프로딩(Cognitive Offloading)'을 초래하며, 이는 결과적으로 실행 제어 네트워크(Executive Control Network)의 퇴화를 유발합니다. 기술의 편의성에 안주하는 '착한 양'의 위치를 거부하고, 시스템의 부조리와 기술적 부채에 대해 비판적 분노를 표출할 수 있는 '주권적 주체(Sovereign)'로서의 각성이 요구됩니다. ② 인지적 가소성 확보를 위한 '의도적 마찰' 설계 개별 구성원은 AI가 제공하는 매끄러운 해답에 저항하며 의도적인 '인지적 마찰(Cognitive Friction)'을 업무 프로세스에 설계해야 합니다. 인공지능을 단순한 정답 생성기가 아닌, 인간의 사고를 자극하고 심화시키는 대항적 파트너로 활용함으로써 뇌의 신경가소성을 유지하고 지적 근력을 강화해야 합니다. ③ 인공지능 지휘 역량: S.E.E.D 프롬프트 아키텍처 단순한 질의를 넘어, 인공지능이 처리 가능한 논리적 인터페이스를 설계하는 능력이 필수적입니다. S.E.E.D 프레임워크: 상황(Situation), 기대 결과(Expectation), 공학적 구조(Engineering Structure), 근거 데이터(Data)를 체계적으로 구조화하여 인공지능을 정밀하게 제어하는 '디렉터(Director)'로서의 역량을 함양합니다. 4. [방법론] 인지적 파워트레인 구축을 통한 조직 혁신 전략 ① 이중 엔진 아키텍처 설계 (Cognitive Powertrain) 조직의 인지 프로세스를 예측형 모델과 생성형 모델로 명확히 분리(Decoupling)하여 시스템 최적화를 도모합니다. 예측형 인공지능(Predictive AI): 정밀한 논리 체계 및 정량적 분석 업무를 전담하여 시스템의 안정성을 담보합니다. 생성형 인공지능(Generative AI): 창의적 종합 및 맥락 생성 업무를 담당하여 혁신적 동력을 제공합니다. ② 신뢰성 공학 기반의 지능형 협업 프로토콜 (Golden Pattern) 환각(Hallucination) 리스크를 제어하기 위해 인간과 인공지능의 협업 과정을 시스템화합니다. 직렬 프로세스 최적화: 생성형 AI의 정보 처리, 인간의 논리적 필터링, 재최적화 출력으로 이어지는 표준 작업 절차를 확립합니다. 인간 중심 게이트키퍼(Gatekeeper) 역량: 인간은 시스템의 방향성을 지휘하고 최종 의사결정을 수행하는 주권적 위치를 확보함으로써 기술적 정합성을 유지합니다. ③ 행동 소프트웨어 공학(Behavioral Software Engineering)의 적용 리더와 구성원 모두 정서적 저항과 인지적 부하를 능동적으로 완화할 수 있는 공학적 접근이 필요합니다. 윤리적 지연(Ethical Latency)의 전략적 설계: 기술 도입의 속도전이 윤리적 파산으로 이어지지 않도록 의도적인 검토 단계를 삽입합니다. 투명한 피드백 루프: 상호 신뢰 비용을 최소화하기 위한 피드백 메커니즘을 이식하여 조직 운영의 투명성을 극대화합니다. 5. 결론: 주권적 아키텍처를 통한 미래 경쟁력의 확보 본 마스터클래스는 추상적인 담론을 지양하며, 거대 시스템을 조율해 온 40년의 공학적 통찰을 인공지능 시대의 비즈니스 언어로 치환하여 전달합니다. 구조적 관성과 기술적 편의성에 함몰되어 서서히 퇴화하는 '착한 양'으로 남을 것인가, 아니면 시스템의 허상을 꿰뚫고 주체적으로 재배선하는 '실존적 아키텍트'가 될 것인가? 인공지능이라는 강력한 동력원을 완벽히 통제하여 조직의 지속 가능한 성장을 견인할 수 있도록, 정밀한 인지적 파트너십을 통해 귀하의 조직과 개인의 아키텍처를 재설계해 드릴 것입니다.

본 과정은 임상시험(Clinical Trial) 데이터를 기반으로 피험자 특성 분석, 이상반응(AE) 분석, 치료 효과 비교 및 통계 기반 시각화를 수행하는 실전 분석 과정입니다. 단순 시각화가 아닌, 임상 데이터 구조를 이해하고 시험군–대조군 비교, 안전성·유효성 지표 분석을 Spotfire를 활용하여 구현하는 방법을 학습합니다.

데이터는 있는데 이걸 어떻게 파이썬에서 읽어 들이고 처리해야 할 지 막막하신가요? 걱정하지 마세요. Pandas의 마법으로 처리할 수 있습니다. Pandas는 가장 강력하고 효율적이며 유용한 데이터 처리 라이브러리입니다. Pandas로 데이터 전처리 Skill-UP! 인사이트 팍팍!

Numpy와 Pandas는 데이터 분석의 기본이자 AI 프레임워크의 기반으로, 제가 현업과 강의에서 쌓아온 핵심 활용 노하우를 담았습니다. 마케터·기획자·초보 분석가들이 가장 자주 막히는 데이터 정제·가공을 실습 중심으로 쉽게 따라 할 수 있도록 구성했습니다. 이 강의를 통해 누구나 개발자 도움 없이 스스로 데이터를 다루고 분석 결과를 만들어내는 실력을 갖출 수 있습니다.