DIKW로 사고하고 THICK으로 소통하는 엔지니어, 교육자

저는 ‘바나바처럼 생각하자(Thinking like Barnabas)’를 모토로 삼고 일하는 데이터 엔지니어입니다. 이를 실천하는 구체적인 방법론으로 데이터 파이프라인(수집, 분석, 학습, 추론 등)을 설계하고 구축할 때는 DIKW 프레임워크를 사용하고 있으며 이 과정에서 현업 전문가, 협업팀과 소통할 때는 THICK 프레임워크를 사용합니다.

• DIKW: Data > Information > Knowledge > Wisdom

• THICK: Tolerance, Hidden Desire, Informants, Context, Kindered Spirit

   

데이터 엔지니어 여정(1996 ~ 현재)

• 관계형 데이터베이스(Oracle, MySQL, PostgreSQL)로 시작해 OLAP을 거쳐 검색엔진(Autonomy, K2, Konan, Solr Cloud)을 인프라로 다양한 애플리케이션과 솔루션을 개발했습니다.

• 2010년 이후로는 Hadoop의 HDFS, MapReduce를 비롯해 HBase(Phoenix)와 Storm, Kafka, Spark에 이르기까지 빅데이터 플랫폼을 이용한 분산병렬처리 솔루션을 개발하였으며

• 2018년부터는 기계학습(SVM)과 분석모델(회귀예측, 분류, 군집 등)을 이용한 솔루션(교통정보, 자율제조)을 개발하고 있습니다.

   

관심 분야

• Agent Team by Harness Engineering (OpenClaw + GPT-5.5)

• 자율제조, ISO 22400 KPI 기반 AI 트리거, RCA 모델

• 교통정보 빅데이터, Kriging 보간법을 활용한 교통량 추정, Variogram 모델 최적화 연구

• DIKW Process와 텍스트마이닝, 특히 한국어 형태소분석, 개체명인식 등을 근간으로 하는 응용시스템

• 실시간으로 수집되는 메시지(메일 등)에 대한 보안문서 분류(삼성 반도체)

• Hadoop 에코시스템과 Spark의 연계로 Streaming Analytics

• V2X, OTA on V-PKI, Data Science for Connected Car

   

주요 프로젝트(최근 순)

• NEXPOM AI(자율제조, ISO 22400 KPI, RCA 모델)

• OTA & V-PKI

• 대항군자동화플랫폼 구축(사이버전 훈련 레드팀/블루팀 자동화 기술)

• VSaaS 및 AI-BOX(영상분석 모델을 탑재한 Edge Device)

• DSML플랫폼-교통도메인(ITS) 개발 및 진주시 운영 중

• K-ICT 빅데이터플랫폼 구축사업 1, 2, 3차년도 완료 및 운영(진주시 브레인 센터)

• 삼성전자(반도체) : PL/기계학습(SVM) 설계, 구축, 운영(모델 업데이트)

• 삼성전자 : TA/대용량 분산(CDH5) 메시지 수집, 가공(Phoenix), 색인 및 검색(SolrCloud)

• 현대중공업 : PL/Splunk를 이용한 공정 데이터 분석

• 한국고용정보원 : PL/상관 테이블과 인메모리 방식의 소프트 매칭(구인, 구직 매칭) 구축L

• 국회예산정책처 : 개발/검색엔진 윈백(Verity K2 Autonomy IDOL)

   

강의 경력 요약

• 한양대학교(겸임) : 산업공학과(대학원) 빅데이터시스템및계산, 빅데이터융합학과(학부) 자료구조와알고리즘

• 한국지능형교통정보체계(강사): 교통정보 빅데이터 DB 설계

• 서울과학종합대학원(겸임) : AI 빅데이터 MBA, 데이터 기반 의사결정을 위한 SQL 활용-Spark 중심

• 신한대학교(겸임) : 컴퓨터정보계열 자료구조, 네트워크 등

• 항공대학교(특강) : 경영학과 데이터과학 특강(데이터기반 의사결정과 파이썬)

• 사내 직무교육 : Hadoop(HDFS, HBase, Solr) 엔지니어 직무교육 커리큘럼 설계 및 교육

개발을 시작할 때 우리는 보통 언어와 프레임워크부터 배웁니다.
하지만 시간이 지나면 깨닫게 됩니다.

현장의 업무는 결국 데이터가 되고,
데이터는 시스템이 되며,
시스템은 다시 사람과 조직의 문제로 연결된다는 것을.

저는 지난 30년 동안 데이터와 함께 일해왔습니다.

DBMS에서 시작해 DW/DM, 검색엔진, Hadoop과 Spark 기반의 빅데이터 시스템, 실시간 데이터 파이프라인과 Kafka 스트리밍, 그리고 최근의 AI·LLM·Agentic AI까지.

기술은 계속 바뀌었지만, 그 중심에는 늘 같은 질문이 있었습니다.

“현실 세계의 문제를 어떻게 데이터와 시스템으로 구조화할 것인가?”

이 멘토링은 단순히:

• 어떤 언어를 공부해야 하는지,
• 어떤 프레임워크가 유행인지,
• 어떤 자격증이 필요한지

만 이야기하는 자리가 아닙니다.

오히려:

• 개발자가 왜 시스템을 이해해야 하는지,
• 왜 데이터 흐름이 중요한지,
• 왜 AI 시대에 맥락(Context)과 구조화 능력이 더 중요해지는지,
• 그리고 변화하는 시대 속에서 어떻게 자신의 커리어를 설계해야 하는지

를 함께 고민하는 시간입니다.

특히 비전공자 출신 개발자나,
실무 몇(3~5) 년 차 이후 방향성의 혼란을 느끼는 분들에게 도움이 될 수 있습니다.

저는 정답을 주는 사람이라기보다,
문제를 바라보는 관점과 구조를 함께 정리하는 멘토에 가깝습니다.

기술은 계속 변합니다.
하지만:

• 데이터 흐름
• 상태와 이벤트
• 계약과 인터페이스
• 운영과 관측성
• 시스템적 사고

같은 본질은 오래 남습니다.

빠르게 소비되는 기술보다,
오래 살아남는 개발자의 사고방식을 함께 이야기해보고 싶습니다.

[중요] 아래 멘토링 사전 질문지를 작성해서 안내된 메일로 보내주세요.

1. 현재 직무, 경력, 전공 여부, 이전 커리어, 사용하는 기술, 관심 분야 등
2. 현재 가장 고민하고 있는 문제
3. 현재의 업무 또는 공부 흐름
4. 멘토링을 통해 얻고 싶은 것
5. 자신의 강점과 약점
6. 왜 개발을 계속하고 싶은지(정답은 없음)
7. 사전공유자료(선택: 깃헙, 이력서, 포트폴리오 등)
8. 2~6번 문항 외 멘토링 중 하고 싶은 추가 질문 목록 

멘토링 진행

• Google Meet
• 대면(원할 경우, 장소와 시간 조율 필요)