shinpans5018
@shinpans5018
Reviews Written
1
Average Rating
4.0
Posts
Q&A
์ ํ๋ฆฐ ๋ฌธ์ ๋๋ฆฝ๋๋ค.
์ ์๋ ์๋ ํ์ธ์? ๊ตฌ๊ธ๋ง์ ํด๋ ์ง๊ธ ๋์ค๋ ๋ฌธ์ ๋ฅผ ์ฐพ์ ์ ์์ด ์ง๋ฌธ ๋๋ฆฝ๋๋ค. ๋จธํ์๊ณผ ์คํํฌML์ ์ด์ฉํ ๋จธ์ ๋ฌ๋์์ ํ์ด๋ธ์ฟผ๋ฆฌ ์คํํ๋ฉด ์๋์ ๊ฐ์ด ๋์ค๋ ์ด์ ๋ฅผ ์ ์ ์์ด ์ง๋ฌธ ๋๋ฆฝ๋๋ค. ํน์ ๋ชฐ๋ผ ํด๋ผ์ฐ๋ฐ๋ผ ๋งค๋์ ์์ Cluster 1 ๋ชจ๋ ๊ตฌ์ฑ์ ์์์ผ๋ก ํ๊ณ , ์คํฐ nimbus, supervisor, ui ๊ทธ๋ฆฌ๊ณ ๋ ๋์ค ๋ค ์์ํ์ต๋๋ค๋ง ์๋์ ๊ฐ์ด ๋์ค๋ค์...์ ๊ฐ ์ด๋์ ์ค์๋ฅผ ํ๋์ง ๋ชจ๋ฅด๊ฒ ๋ค์... (์ฌ์ง)
- 0
- 2
- 317
Q&A
ํ์ ํ์ผ๋ฟ ์คํ 4๋จ๊ณ - ๋ฐ์ดํฐ ํ์ ๊ธฐ๋ฅ ๊ตฌํ ๋ฐ ํ ์คํธ ์ง๋ฌธ ๋๋ฆฝ๋๋ค.
์ ์๋ ์๋ ํ์ธ์? ์ฃผ์ ์์ญ 5 ์์ ๋์จ ์ค๋ฅ์ ๋ํด ํด๊ฒฐ๋ ๊ฒ ๊ฐ์ ๊ธ์ ์ฌ๋ฆฝ๋๋ค. ์ง๋๋ฒ๊ณผ ํ๋ฆฌ๊ฒ ์งํํ ๋ด์ฉ์ creat_table_managde_smartcar_item_buylist_info.hql ์ ๋๋ค. ์ง๋๋ฒ์๋ managed ๊ฐ ๋น ์ ธ ์์๊ณ ์ง๊ธ์ managed๊ฐ ๋ค์ด๊ฐ ํ ์ด๋ธ๋ก ์์ฑํ์ฌ ์๋์ฒ๋ผ ๊ฒฐ๊ณผ ๋์์ต๋๋ค. ์๋ ์บก์ฒ ํ๋ฉด์ ๋ํด์ ๊ถ๊ธํ ๋ถ๋ถ์ putty์ ํ๋จ์ ์๋ -- more-- (0%) ์ ๋๋ค. 100% ๊ฐ ๋์ด์ผ ์ ์์ธ์ง ์๋ ๊ทธ๋ฅ ๋์จ ๋ด์ฉ์ธ์ง ์ ๋ชฐ๋ผ์์....๊ทธ๋ฆฌ๊ณ ์๋ ์บก์ฒ ๋ด์ฉ๋ ์ ๋๋ก ๊ฒฐ๊ณผ๊ฐ ๋์๋์ง ํ์ธํด ์ฃผ์๋ฉด ๊ฐ์ฌํ๊ฒ ์ต๋๋ค. ์๊ณ ํ์ธ์ (์ฌ์ง) (์ฌ์ง)
- 0
- 4
- 426
Q&A
ํ์ ํ์ผ๋ฟ ์คํ 4๋จ๊ณ - ๋ฐ์ดํฐ ํ์ ๊ธฐ๋ฅ ๊ตฌํ ๋ฐ ํ ์คํธ ์ง๋ฌธ ๋๋ฆฝ๋๋ค.
์ ์๋ ์๋ ํ์ธ์? ์ฃผ์ ์์ญ2 ๊ฒฐ๊ณผ๋ ์ ๋์๋๋ฐ์.... ์ฃผ์ ์์ญ 3 ์๋ฌ๊ฐ ๋์ ๋ ๋ค์ ์ง๋ฌธ๋๋ฆฝ๋๋ค. create_tabel~~~, insert_tabel~~~ ์ญ์ ํ๊ณ ์ฐ์ง ํธ์ง๊ธฐ ๋ค์ ํด๋ ์๋์ ๊ฐ์ด ์๋ฌ๊ฐ ๋์ค๋ค์. (์ฌ์ง) ํน์ ์๋ ์บก์ฒ ํ๋ฉด์ ๋นจ๊ฐ ๋งํน ๋ถ๋ถ ๋๋ฌธ์ ์๋ฌ๊ฐ ๋์ค๋๊ฑธ๊น์? ํ ์ด๋ธ ์๋ ์์ฑ๋ managed_smartcar_symptom_info ๋ ์ญ์ ๊ฐ๋ฅํ๊ฐ์? ๋นจ๊ฐ์ ๋งํน๋ ๋ด์ฉ์ ์์ create_tabel~~~, insert_tabel~~~ ์ญ์ ํ๊ณ ์ฐ์ง ํธ์ง๊ธฐ ๋ค์ ํด๋ ๋ณ๊ฒฝ์ด ๋์ง ์๋๋ผ๊ตฌ์.... (์ฌ์ง)
- 0
- 4
- 426
Q&A
ํ์ ํ์ผ๋ฟ ์คํ 4๋จ๊ณ - ๋ฐ์ดํฐ ํ์ ๊ธฐ๋ฅ ๊ตฌํ ๋ฐ ํ ์คํธ ์ง๋ฌธ ๋๋ฆฝ๋๋ค.
์ ์๋ ์๋ ํ์ธ์? ์ง๊ธ ์ฃผ์ ์์ญ 2 ์ค์ต์ ์งํํ๊ณ ์์ต๋๋ค. ๋งค๊ฐ๋ณ์ ๊ด๋ จํ์ฌ 4๊ฐ ๋ ธ๋์ ๊ฐ๊ฐ working_day=20200322 ๋ก ์ค์ ์ ํ๋ฉด ๋๋์ง์? ์๋๋ฉด insert_table ๋ ธ๋ 2๊ฐ์๋ง ๋งค๊ฐ๋ณ์ working_day=20200322 ๋ก ์์ ํ์ฌ ์ ์ฅํ๋ฉด ๋๋์ง์? ์ ์ง๋ฌธ์ ๊ธฐ๋ค๋ฆด์ ์์ด insert_table ๋ ธ๋ 2๊ฐ์ ๋งค๊ฐ๋ณ์ working_day=20200322๋ก ์ค์ ํ์ฌ ์ ์ ์๋ ํ๋์ง ํ์ธํ๋๋ฐ์. ์๋ ์บก์ณ์ ๊ฐ์ด ๊ฒฐ๊ณผ๊ฐ ๋์ค์ง ์๋ค์....๋ค์ ์ฒ์๋ถํฐ ํด์ผ ๋ ๊น์???? (์ฌ์ง)
- 0
- 4
- 426
Q&A
ํด๋ฌ์คํฐ ์ค์ ์คํจ
์ ์๋ ์๋ ํ์ธ์? ์ค๋์ HBase ์ ์ฌ ๋ฐ์ดํฐ ํ์ธ์์ HBase ํ๋ฉด์์ Region ์ ๋ณด๊ฐ ๋์ค์ง ์์ต๋๋ค. ์๋ ํ๋ฉด์ฒ๋ผ Region ์ ๋ณด ํ์ธํ๋ ๋ถ๋ถ์ด ๋์ค์ง ์์ ์ค์ต์ ์ค์งํ์ต๋๋ค. ์ ์ฌ์ pc์์ ๋์ค๋ ๋ฌธ์ ์ผ๊น์? ์ ๊ฐ ์ค์ํ ๋ถ๋ถ์ด ์์๊น์? (์ฌ์ง)
- 0
- 3
- 316
Q&A
ํด๋ฌ์คํฐ ์ค์ ์คํจ
์ ์๋ ์๋ ํ์ธ์? ์ ์ฌ์ PC์์ ์ฒ์๋ถํฐ ๋ค์ ์์ํ๊ณ ์์ ๋ด์ฉ์ผ๋ก ์ง๋ฌธ ๋๋ ธ์ต๋๋ค. ์ด์ ์ค์น๊ฐ ์ ์งํ๋์ด CM ์ค์ ๊น์ง ์๋ฃํ์ต๋๋ค. Cloudera Management Service๋ ์ค์งํ์ฌ ์ฟผ๋ฆฌ์ค๋ฅ๊ฐ ๋์ค์ง๋ง ์๋ฌด ๋ฌธ์ ์๋ค๋ ์ปค๋ฎค๋ํฐ ์ง๋ฌธ ๋ด์ฉ์ ํ์ธํ๊ณ ๋ค์ ๊ณผ์ ์ผ๋ก ๋์ด๊ฐ๊ณ ์์ต๋๋ค. ์ง๋ฌธ์ด ๋๋ฌด ๋ง๊ณ ๊ธฐ์ด์ ์ธ ๋ด์ฉ์ด๋ผ ๋ต๋ณ์ด ์ด๋ ค์ฐ์๊ฒ ์ง๋ง ๋๋ฆ ์ด์ฌํ ํ๊ณ ์์ต๋๋ค. ๊ณผ์ ์ ๋ง๋ฌด๋ฆฌ ํ๊ธฐ๊น์ง ์์ผ๋ก๋ ๋ง์ ์ง๋ฌธ์ด ์๊ฒ ์ง๋ง....๋ง์ ์กฐ์ธ ๋ถํ ๋๋ฆฝ๋๋ค. ๊ฐ์ฌํฉ๋๋ค!
- 0
- 3
- 316
Q&A
์นดํ์นด ๊ธฐ๋ฅ ๊ตฌํ ์ง๋ฌธ์ ๋๋ค.
์ ์๋ ์๋ ํ์ธ์? ์คํฐ UI ๊ด๋ จํ์ฌ ์๋ storm-nimbus.out ํ์ผ์ ๋๋ค. ์ด๊ฒ log์ธ๊ฐ์? ์๋ ๋ด์ฉ์ ๋ณด๋ฉด ๋ฌธ์ ๋ฅผ ์ ์ ์๋์? supervisor.out, ui.out ํ์ผ๋ ์์ต๋๋ค๋ง ์ด๊ฒ ๋ง๋ ํ์ผ์ธ์ง ํ์ ์ด ์๋ค์....ํ์ธ ๋ถํ ๋๋ฆฝ๋๋ค. Running: java -server -Ddaemon.name=nimbus -Dstorm.options= -Dstorm.home=/home/pilot-pjt/apache-storm-1.2.3 -Dstorm.log.dir=/home/pilot-pjt/apache-storm-1.2.3/logs -Djava.library.path=/usr/local/lib:/opt/local/lib:/usr/lib -Dstorm.conf.file= -cp /home/pilot-pjt/apache-storm-1.2.3/*:/home/pilot-pjt/apache-storm-1.2.3/lib/*:/home/pilot-pjt/apache-storm-1.2.3/extlib/*:/home/pilot-pjt/apache-storm-1.2.3/extlib-daemon/*:/home/pilot-pjt/storm/conf -Xmx1024m -Dlogfile.name=nimbus.log -DLog4jContextSelector=org.apache.logging.log4j.core.async.AsyncLoggerContextSelector -Dlog4j.configurationFile=/home/pilot-pjt/apache-storm-1.2.3/log4j2/cluster.xml org.apache.storm.daemon.nimbus Running: java -server -Ddaemon.name=nimbus -Dstorm.options= -Dstorm.home=/home/pilot-pjt/apache-storm-1.2.3 -Dstorm.log.dir=/home/pilot-pjt/apache-storm-1.2.3/logs -Djava.library.path=/usr/local/lib:/opt/local/lib:/usr/lib -Dstorm.conf.file= -cp /home/pilot-pjt/apache-storm-1.2.3/*:/home/pilot-pjt/apache-storm-1.2.3/lib/*:/home/pilot-pjt/apache-storm-1.2.3/extlib/*:/home/pilot-pjt/apache-storm-1.2.3/extlib-daemon/*:/home/pilot-pjt/storm/conf -Xmx1024m -Dlogfile.name=nimbus.log -DLog4jContextSelector=org.apache.logging.log4j.core.async.AsyncLoggerContextSelector -Dlog4j.configurationFile=/home/pilot-pjt/apache-storm-1.2.3/log4j2/cluster.xml org.apache.storm.daemon.nimbus Running: java -server -Ddaemon.name=nimbus -Dstorm.options= -Dstorm.home=/home/pilot-pjt/apache-storm-1.2.3 -Dstorm.log.dir=/home/pilot-pjt/apache-storm-1.2.3/logs -Djava.library.path=/usr/local/lib:/opt/local/lib:/usr/lib -Dstorm.conf.file= -cp /home/pilot-pjt/apache-storm-1.2.3/*:/home/pilot-pjt/apache-storm-1.2.3/lib/*:/home/pilot-pjt/apache-storm-1.2.3/extlib/*:/home/pilot-pjt/apache-storm-1.2.3/extlib-daemon/*:/home/pilot-pjt/storm/conf -Xmx1024m -Dlogfile.name=nimbus.log -DLog4jContextSelector=org.apache.logging.log4j.core.async.AsyncLoggerContextSelector -Dlog4j.configurationFile=/home/pilot-pjt/apache-storm-1.2.3/log4j2/cluster.xml org.apache.storm.daemon.nimbus Running: java -server -Ddaemon.name=nimbus -Dstorm.options= -Dstorm.home=/home/pilot-pjt/apache-storm-1.2.3 -Dstorm.log.dir=/home/pilot-pjt/apache-storm-1.2.3/logs -Djava.library.path=/usr/local/lib:/opt/local/lib:/usr/lib -Dstorm.conf.file= -cp /home/pilot-pjt/apache-storm-1.2.3/*:/home/pilot-pjt/apache-storm-1.2.3/lib/*:/home/pilot-pjt/apache-storm-1.2.3/extlib/*:/home/pilot-pjt/apache-storm-1.2.3/extlib-daemon/*:/home/pilot-pjt/storm/conf -Xmx1024m -Dlogfile.name=nimbus.log -DLog4jContextSelector=org.apache.logging.log4j.core.async.AsyncLoggerContextSelector -Dlog4j.configurationFile=/home/pilot-pjt/apache-storm-1.2.3/log4j2/cluster.xml org.apache.storm.daemon.nimbus Running: java -server -Ddaemon.name=nimbus -Dstorm.options= -Dstorm.home=/home/pilot-pjt/apache-storm-1.2.3 -Dstorm.log.dir=/home/pilot-pjt/apache-storm-1.2.3/logs -Djava.library.path=/usr/local/lib:/opt/local/lib:/usr/lib -Dstorm.conf.file= -cp /home/pilot-pjt/apache-storm-1.2.3/*:/home/pilot-pjt/apache-storm-1.2.3/lib/*:/home/pilot-pjt/apache-storm-1.2.3/extlib/*:/home/pilot-pjt/apache-storm-1.2.3/extlib-daemon/*:/home/pilot-pjt/storm/conf -Xmx1024m -Dlogfile.name=nimbus.log -DLog4jContextSelector=org.apache.logging.log4j.core.async.AsyncLoggerContextSelector -Dlog4j.configurationFile=/home/pilot-pjt/apache-storm-1.2.3/log4j2/cluster.xml org.apache.storm.daemon.nimbus Running: java -server -Ddaemon.name=nimbus -Dstorm.options= -Dstorm.home=/home/pilot-pjt/apache-storm-1.2.3 -Dstorm.log.dir=/home/pilot-pjt/apache-storm-1.2.3/logs -Djava.library.path=/usr/local/lib:/opt/local/lib:/usr/lib -Dstorm.conf.file= -cp /home/pilot-pjt/apache-storm-1.2.3/*:/home/pilot-pjt/apache-storm-1.2.3/lib/*:/home/pilot-pjt/apache-storm-1.2.3/extlib/*:/home/pilot-pjt/apache-storm-1.2.3/extlib-daemon/*:/home/pilot-pjt/storm/conf -Xmx1024m -Dlogfile.name=nimbus.log -DLog4jContextSelector=org.apache.logging.log4j.core.async.AsyncLoggerContextSelector -Dlog4j.configurationFile=/home/pilot-pjt/apache-storm-1.2.3/log4j2/cluster.xml org.apache.storm.daemon.nimbus Running: java -server -Ddaemon.name=nimbus -Dstorm.options= -Dstorm.home=/home/pilot-pjt/apache-storm-1.2.3 -Dstorm.log.dir=/home/pilot-pjt/apache-storm-1.2.3/logs -Djava.library.path=/usr/local/lib:/opt/local/lib:/usr/lib -Dstorm.conf.file= -cp /home/pilot-pjt/apache-storm-1.2.3/*:/home/pilot-pjt/apache-storm-1.2.3/lib/*:/home/pilot-pjt/apache-storm-1.2.3/extlib/*:/home/pilot-pjt/apache-storm-1.2.3/extlib-daemon/*:/home/pilot-pjt/storm/conf -Xmx1024m -Dlogfile.name=nimbus.log -DLog4jContextSelector=org.apache.logging.log4j.core.async.AsyncLoggerContextSelector -Dlog4j.configurationFile=/home/pilot-pjt/apache-storm-1.2.3/log4j2/cluster.xml org.apache.storm.daemon.nimbus
- 0
- 5
- 459
Q&A
์นดํ์นด ๊ธฐ๋ฅ ๊ตฌํ ์ง๋ฌธ์ ๋๋ค.
์ ์๋ ์๋ ํ์ธ์? ์ด์ ๊น์ง ์คํฐ UI ์ ์์ด ๋์ง ์์ ์ง๋ฌธ ๋๋ ธ๋ค๊ฐ ์กฐ๊ธ์ ์คํฐ UI ์ ์์ด ๋์์ต๋๋ค. (์ฌ์ง) ์คํฐ UI ์ ์ ํ๋ฉด์ด ์ด๋ ๊ฒ ๋์๋ ๋๋์ง์? ์๋ ๊ฐ์ ์์์ฒ๋ผ ๋์ค๊ฒ ํ๋ ค๋ฉด ์ด๋ป๊ฒ ํ๋ฉด ๋๋์ง์? ๊ทธ๋ฆฌ๊ณ hbase shell ๋ช ๋ น ํ count 'DriverCarInfo' ์คํํ๋ฉด ์๋์ ๊ฐ์ ๊ฒฐ๊ณผ ๊ฐ์ด ๋์ค๋ค์... (์ฌ์ง) ๋ค๋ฅธ ์ง๋ฌธ์ ์ฐพ์ ๋ณด๊ณ CM Hbase ์ฌ์์ํ๊ณ count 'DriverCarInfo' ์คํดํด๋ ์์ ๊ฐ์ ๊ฒฐ๊ณผ๋ง ๋์ค๋ค์... ํ๋ก, ์, ์ฃผํคํผ ๋ฑ ํด๋ผ์ฐ๋ฐ๋ผ ๋งค๋์ ์์ ๊ณ์ ์ฌ์์ ํ ์คํํด๋ ๊ฒฐ๊ณผ๊ฐ์ด ๋์ค์ง ์๋ค์....
- 0
- 5
- 459
Q&A
์นดํ์นด ๊ธฐ๋ฅ ๊ตฌํ ์ง๋ฌธ์ ๋๋ค.
์ ์๋ ์ค๋ Redis ์ค์น ์ ๋์ค๋ Error์ ๋๋ค. ๋ชจ๋ ํ๋ก๊ทธ๋จ ์ข ๋ฃ๋ฅผ ์ ํ๊ณ PC๋ฅผ ์ฌ ์์ํด์ ๋ค์ ์ค์น ๋ช ๋ น์ ํด๋ ์๋์ ๊ฐ์ด ๊ฒฐ๊ณผ๊ฐ ๋์ค๋ค์... (์ฌ์ง) ์ ๊ฐ ์ด๋์ ์๋ชปํ๋์ง ๋ชจ๋ฅด๊ฒ ๋ค์.
- 0
- 5
- 459
Q&A
์นดํ์นด ๊ธฐ๋ฅ ๊ตฌํ ์ง๋ฌธ์ ๋๋ค.
์ ์๋ ์ง๋ฌธ ๋๋ฆฝ๋๋ค. ์ ์ฌ ํ์ผ๋ฟ ์คํ 4๋จ๊ณ-์ ์ฌ ๊ธฐ๋ฅ ํ ์คํธ ์ค์ต์์ ์๋์ ๊ฐ์ด ๊ฐ์ ๋ด์ฉ๊ณผ ๋์ผํ๊ฒ ๊ฒฐ๊ณผ๊ฐ ๋์ค์ง ์๋ค์... (์ฌ์ง) ๊ทธ๋ฆฌ๊ณ ์์ ๋ด์ฉ ๊ฒฐ๊ณผ ๊ฐ ๋ฌด์๊ณ ์ดํ ์ค์ต ๋ด์ฉ ๋ฐ๋ผ log ํ์ผ ๋ ๊ฐ ์์ฑํด์ hdfs dfs -cat /pilot-pjt/collect/car-batch-log/wrk_data=20210619/car-batch-log.~~~~~~~~~~.log ์ ์คํํ๋ฉด ์ค๋งํธ์นด ์ํ ์ ๋ณด๋ฅผ ๋ถ๋ฌ ์ค์ง ๋ชปํ๋ค์... ์ ๊ฐ ์ด๋์ ์ ๋ชปํ๋์ง์??????
- 0
- 5
- 459




