안녕하세요 좋은 강의 감사드립니다! a/b test 에서 minimum sample 사이즈를 구한 뒤 period calculation 단계에서 질문 있어서 문의드립니다. 강의 듣던 중에 다른 a/b 테스트 유튜브 강의를 보게 되었는데요. 제가 이강의에서 배운바로는 예를들어 minimum sample size가 5,000명이고 1) daily user: 300명 2) required days는 약 17.7일이 될거구요 3) # of test group은 A,B 2그룹이라고 할때 최소 period는 17.7 * 2개그룹 = 35.5일로 계산하는 걸로 이해했는데요. 해당 유튜브 강의에서는 A, B그룹의 테스트가 동시에 진행하는 것을 추천한다고 하더라구요. 이 경우는 35.5일이 아닌 A, B그룹 동시에 진행하니 17.7일이 될수 있는건가요? 상황에 따라 다른건지 어떤게 맞는건지 해깔리네요.. 문의드립니다.
안녕하세요, 좋은 강의 감사합니다. 결과정리해서 해석해주시는 부분에서 질문이 있습니다. App상에서 Buy CVR 을 구할때 raw data는 어떻게 확보되는건가요? 보통의 케이스에서 클릭이력, 시간 등 database에 저장되게 하여 분석하게되는지 궁금합니다. 정렬 필터 변경이 구매전환율(Buy CVR)에 미치는 영향을 측정하기 위해 사용하시는 특정 분석 도구가 있나요? Google analytics와 같은 별도의 툴을 사용하게 되는지 궁금합니다.
안녕하세요. 선생님의 강의로 머신러닝 및 딥러닝에 관심을 갖게 되었습니다. 다름이 아니고, CIFAR100 dataset에 대해서 VGGNet이라는 모델을 이용해 훈련을 시켜보고 있는데, 제가 궁금한 것은 Softmax의 Input의 정밀도를 어디까지 유지하면 모델이 잘 학습될 수 있을까?입니다. 아래의 코드는 training부분입니다. 첫 번째 사진처럼 모델을 훈련시키는데, model(images)를 통해 나온 실제 output을 이용하면 모델이 잘 학습이 되는데 (마지막 epoch의 validation accuracy 55, Top-5 Test Accuracy 80%정도), 이 output을 rounding을 하면 소숫점 아래 20째자리까지 반올림을 해서 높은 정밀도를 유지해도 모델 학습이 아예 되지 않는 (모든 epoch가 끝나도 Validation Accuracy가 1%남짓) 문제가 발생합니다. 이러한 문제가 왜 발생하는지, 어떻게 하면 해결할 수 있을지 또 제가 궁금한 Softmax layer에서 요구하는 최소 Input 정밀도에 대해 다른 방법으로 측정할 수 있을지 궁금합니다 ㅠㅠ 감사합니다
안녕하세요 선생님 분류실습2 섹터에서 학습하다가 궁금한 것이 생겨 질문합니다. 전체 로직에서 학습과 테스트 데이터셋으로 먼저 분할을 해준 뒤 전처리를 수행하는 것이 아니라 왜 전체 데이터셋에 전처리를 적용시킨 뒤에 학습과 테스트 데이터셋으로 분할이 되었는지 궁금합니다. 일반적인 상황에서 어떤 순서가 맞는 것인지 아니면 선생님만의 기준이 있는 것인지 궁금합니다.
안녕하세요 선생님 ! 분류에서 샘플링 기법을 배웠는데 from imblearn.over_sampling import SMOTE smote = SMOTE(random_state=0) 회귀문제에서도 smote 기법같은게 있을까요 ?! 강의 교육 전 먼저 질문드립니다 ㅠ..!
- 학습 관련 질문을 남겨주세요. 상세히 작성하면 더 좋아요! - 먼저 유사한 질문이 있었는지 검색해보세요. - 강의 내용을 질문할 경우 몇분 몇초의 내용에 대한 것인지 반드시 기재 부탁드립니다. - 서로 예의를 지키며 존중하는 문화를 만들어가요. - 잠깐! 인프런 서비스 운영 관련 문의는 1:1 문의하기를 이용해주세요. 안녕하세요 선생님. 최신 아나콘다를 설치하니 sklearn 버전이 1.4.2인데, 혹시 되려나 해서 pip로 다운그레이딩을 시도했는데, 에러가 나서 1.4.2를 그대로 사용해서 강의를 들어도 큰 문제가 없다면 그냥 써도 될까요?
안녕하세요 Orange3 > Options > Add-ons 를 클릭하면 아래와 같은 '경고' 와 '에러'가 뜹니다. 강의에서처럼 다양한 에드온도 없이 빈 공란입니다. [1] Warning "There's an issue with your Internet connection ..." [2] Error "An error occurred while running a subprocess..." [2] 에러에 대한 세부 내용 equirement already satisfied: orange3-explain in c:\users\mypc\appdata\local\programs\orange\lib\site-packages (0.6.10) ERROR: Could not find a version that satisfies the requirement text==1.0.0 (from versions: none) ERROR: No matching distribution found for text==1.0.0 [1] 경고에 대한 세부 내용 Traceback (most recent call last): File "C:\Users\MyPC\AppData\Local\Programs\Orange\Lib\site-packages\urllib3\connectionpool.py", line 467, in make request self._validate_conn(conn) File "C:\Users\MyPC\AppData\Local\Programs\Orange\Lib\site-packages\urllib3\connectionpool.py", line 1099, in validate conn conn.connect() File "C:\Users\MyPC\AppData\Local\Programs\Orange\Lib\site-packages\urllib3\connection.py", line 653, in connect sock_and_verified = ssl wrap_socket_and_match_hostname( ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ File "C:\Users\MyPC\AppData\Local\Programs\Orange\Lib\site-packages\urllib3\connection.py", line 806, in ssl wrap_socket_and_match_hostname ssl_sock = ssl_wrap_socket( ^^^^^^^^^^^^^^^^ File "C:\Users\MyPC\AppData\Local\Programs\Orange\Lib\site-packages\urllib3\util\ssl_.py", line 465, in ssl_wrap_socket ssl_sock = ssl wrap_socket_impl(sock, context, tls_in_tls, server_hostname) ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ File "C:\Users\MyPC\AppData\Local\Programs\Orange\Lib\site-packages\urllib3\util\ssl_.py", line 509, in ssl wrap_socket_impl return ssl_context.wrap_socket(sock, server_hostname=server_hostname) ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ File "C:\Users\MyPC\AppData\Local\Programs\Orange\Lib\ssl.py", line 517, in wrap_socket return self.sslsocket_class._create( ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ File "C:\Users\MyPC\AppData\Local\Programs\Orange\Lib\ssl.py", line 1104, in _create self.do_handshake() File "C:\Users\MyPC\AppData\Local\Programs\Orange\Lib\ssl.py", line 1382, in do_handshake self._sslobj.do_handshake() ssl.SSLCertVerificationError: [SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed: self-signed certificate in certificate chain (_ssl.c:1006) During handling of the above exception, another exception occurred: Traceback (most recent call last): File "C:\Users\MyPC\AppData\Local\Programs\Orange\Lib\site-packages\urllib3\connectionpool.py", line 793, in urlopen response = self._make_request( ^^^^^^^^^^^^^^^^^^^ File "C:\Users\MyPC\AppData\Local\Programs\Orange\Lib\site-packages\urllib3\connectionpool.py", line 491, in make request raise new_e urllib3.exceptions.SSLError: [SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed: self-signed certificate in certificate chain (_ssl.c:1006) The above exception was the direct cause of the following exception: Traceback (most recent call last): File "C:\Users\MyPC\AppData\Local\Programs\Orange\Lib\site-packages\requests\adapters.py", line 667, in send resp = conn.urlopen( ^^^^^^^^^^^^^ File "C:\Users\MyPC\AppData\Local\Programs\Orange\Lib\site-packages\urllib3\connectionpool.py", line 847, in urlopen retries = retries.increment( ^^^^^^^^^^^^^^^^^^ File "C:\Users\MyPC\AppData\Local\Programs\Orange\Lib\site-packages\urllib3\util\retry.py", line 515, in increment raise MaxRetryError(_pool, url, reason) from reason # type: ignore[arg-type] ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ urllib3.exceptions.MaxRetryError: HTTPSConnectionPool(host='orange.biolab.si', port=443): Max retries exceeded with url: /addons/list (Caused by SSLError(SSLCertVerificationError(1, '[SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed: self-signed certificate in certificate chain (_ssl.c:1006)'))) During handling of the above exception, another exception occurred: Traceback (most recent call last): File "C:\Users\MyPC\AppData\Local\Programs\Orange\Lib\site-packages\orangecanvas\application\utils\addons.py", line 350, in list_available_versions defaults = config.addon_defaults_list() ^^^^^^^^^^^^^^^^^^^^^^^^^^^^ File "C:\Users\MyPC\AppData\Local\Programs\Orange\Lib\site-packages\Orange\canvas\config.py", line 166, in addon_defaults_list return session.get(OFFICIAL_ADDON_LIST).json() ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ File "C:\Users\MyPC\AppData\Local\Programs\Orange\Lib\site-packages\requests\sessions.py", line 602, in get return self.request("GET", url, **kwargs) ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ File "C:\Users\MyPC\AppData\Local\Programs\Orange\Lib\site-packages\requests\sessions.py", line 589, in request resp = self.send(prep, **send_kwargs) ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ File "C:\Users\MyPC\AppData\Local\Programs\Orange\Lib\site-packages\requests\sessions.py", line 703, in send r = adapter.send(request, **kwargs) ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ File "C:\Users\MyPC\AppData\Local\Programs\Orange\Lib\site-packages\requests\adapters.py", line 698, in send raise SSLError(e, request=request) requests.exceptions.SSLError: HTTPSConnectionPool(host='orange.biolab.si', port=443): Max retries exceeded with url: /addons/list (Caused by SSLError(SSLCertVerificationError(1, '[SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed: self-signed certificate in certificate chain (_ssl.c:1006)')))
LightGBM을 이용한 위스콘신 유방암 예측 10:54 LGBMClassifier 로 plot_importance() 실행시 오류 발생합니다. lightgbm 3.3.2 버전으로 다운그레이드했습니다. 그래도 오류가 발생합니다. code 는 fig, ax = plt.subplots(figsize=(10, 12)) plot_importance(lgbm_wrapper, ax=ax) plt.show () 입니다 tree must be Booster, XGBModel or dict instance 라는 메세지 입니다.
안녕하세요 교수님 교수님의 머신러닝 강의가 정말 많은 도움이 되고 있어 감사하고 있습니다. 저는 통계를 우선 공부를 한 후 교수님 강의를 통해 머신러닝을 공부중인 연구개발 직장인입니다. 지도학습, 비지도학습 각각의 모델에 대한 개요와 내용들은 정말 자세하게 설명해주시는 것 같습니다. 다만, 예측 모델을 만든다 라고 했을 때, 저는 다음 과정으로 머신 러닝을 이해했습니다. 틀린 게 있거나, 부족하면 말씀부탁드립니다. 1. Teat data set EDA 2. Data pre-processing 3. Input feature select, extract 4. Model training 5. Model validation 6. new input feature prediction 연속 데이터로 이루어진 실험데이터로 선형 회귀 예측 모델을 구현한다라고 했을 때 하기 내용에 대해 궁금합니다. step 2. 과정에서 standardization scaling 했을 때 정규성 검증은 필요가 없나요?? (e.g. shaprio-wilks test, 각 feature 별 QQ plot) step 3. 과정에서 교수님 강의에서는 data scaling 이후 바로 모델 학습/예측/평가를 진행하고, feature 별 회귀 계수를 구하십니다.(경사 하강법) 저는 해당 과정에서 다중 공선성 방지를 위해 PCA, ICA를 통한 features extraction으로 training 으로 진행하는 것으로 이해했는데 해당 방식이 틀린 것인지 여쭙고 싶습니다. 추가로, n개 feature에 대해 몇 개로 차원 축소하는 기준이 있는지 궁금합니다 또, 지도 학습 모델인 선형 회귀 모델을 진행하는데 있어 비지도 학습 기법이 사용이 되는 것이 소개가 안된 것 같은데 이부분에 대해서 어떻게 생각하시는지도 궁금합니다.(정확히는 예측 모델을 구현하는 일련의 과정) 마지막으로 step 5. 과정에서 선형 회귀 모델이 통계적으로 유의한가에 대해 P-value 를 측정하곤 하던데, 이부분에 대해서 간단히 설명해주시면 정말 감사하겠습니다. 상기 질문들을 하는 이유는, 저는 단순히 어떤 연속 데이터 셋에서 ML 모델을 통해 추정하고 싶은데, 여러 분야에서 ML을 사용하다보니 예를 들어 통계 분야 에서는 가설과 함께 설명하고 또 어떤 분야에서는 또 다르게 설명을 하다보니 혼동이 되어서 해당 질문을 드리게 되는 것입니다. 답변 주시면 정말 감사합겠습니다!
안녕하세요! 강의에서 배운 것을 바탕으로 데이터 분석 프로젝트를 진행하고, 분석 내용 및 코드를 노션 포트폴리오에 올리려 합니다. (개인 구직용으로만 사용합니다!) 배운 것을 바탕으로 하다 보니, 강의에서 배운 코드와 같은 부분이 있을 수밖에 없는데 포트폴리오에 사용해도 괜찮을까요?
맥북m2 사용중입니다. venv환경에서 pip install lightgbm==3.3.2를 했지만 아래와 같은 오류가 나옵니다. 3.3.2없이 가장 최신 버젼이 4.5.0은 아주 쉽게 잘 설치가 됩니다. 혹시 강의를 수강할 때 3.3.2가 꼭필요한가요? conda 환경으로 설치를 진행해도 3.3.2는 설치가 안되더라구요ㅠㅠ 구글링을 해서 하라는 것은 다 했는데 해결이 안나와서 문의 드립니다.. ========================================== pip install lightgbm==3.3.2 Collecting lightgbm==3.3.2 Using cached lightgbm-3.3.2.tar.gz (1.5 MB) Installing build dependencies ... done Getting requirements to build wheel ... done Preparing metadata (pyproject.toml) ... done Collecting wheel (from lightgbm==3.3.2) Using cached wheel-0.44.0-py3-none-any.whl.metadata (2.3 kB) Requirement already satisfied: numpy in ./study/lib/python3.9/site-packages (from lightgbm==3.3.2) (1.24.3) Requirement already satisfied: scipy in ./study/lib/python3.9/site-packages (from lightgbm==3.3.2) (1.13.1) Requirement already satisfied: scikit-learn!=0.22.0 in ./study/lib/python3.9/site-packages (from lightgbm==3.3.2) (1.0.2) Requirement already satisfied: joblib>=0.11 in ./study/lib/python3.9/site-packages (from scikit-learn!=0.22.0->lightgbm==3.3.2) (1.4.2) Requirement already satisfied: threadpoolctl>=2.0.0 in ./study/lib/python3.9/site-packages (from scikit-learn!=0.22.0->lightgbm==3.3.2) (3.5.0) Using cached wheel-0.44.0-py3-none-any.whl (67 kB) Building wheels for collected packages: lightgbm Building wheel for lightgbm (pyproject.toml) ... error error: subprocess-exited-with-error × Building wheel for lightgbm (pyproject.toml) did not run successfully. │ exit code: 1 ╰─> [83 lines of output] INFO:root:running bdist_wheel INFO:root:running build INFO:root:running build_py INFO:root:creating build/lib/lightgbm INFO:root:copying lightgbm/callback.py -> build/lib/lightgbm INFO:root:copying lightgbm/compat.py -> build/lib/lightgbm INFO:root:copying lightgbm/plotting.py -> build/lib/lightgbm INFO:root:copying lightgbm/__init__.py -> build/lib/lightgbm INFO:root:copying lightgbm/engine.py -> build/lib/lightgbm INFO:root:copying lightgbm/dask.py -> build/lib/lightgbm INFO:root:copying lightgbm/basic.py -> build/lib/lightgbm INFO:root:copying lightgbm/libpath.py -> build/lib/lightgbm INFO:root:copying lightgbm/sklearn.py -> build/lib/lightgbm INFO:root:running egg_info INFO:root:writing lightgbm.egg-info/PKG-INFO INFO:root:writing dependency_links to lightgbm.egg-info/dependency_links.txt INFO:root:writing requirements to lightgbm.egg-info/requires.txt INFO:root:writing top-level names to lightgbm.egg-info/top_level.txt INFO:root:reading manifest file 'lightgbm.egg-info/SOURCES.txt' INFO:root:reading manifest template 'MANIFEST.in' WARNING:root:no previously-included directories found matching 'build' WARNING:root:warning: no files found matching '*.so' under directory 'lightgbm' WARNING:root:warning: no files found matching '*.so' under directory 'compile' WARNING:root:warning: no files found matching '*.dll' under directory 'compile/Release' WARNING:root:warning: no files found matching '*.dll' under directory 'compile/windows/x64/DLL' WARNING:root:warning: no previously-included files matching '*.py[co]' found anywhere in distribution WARNING:root:warning: no previously-included files found matching 'compile/external_libs/compute/.git' INFO:root:adding license file 'LICENSE' INFO:root:writing manifest file 'lightgbm.egg-info/SOURCES.txt' INFO:root:copying lightgbm/VERSION.txt -> build/lib/lightgbm INFO:wheel:installing to build/bdist.macosx-10.9-universal2/wheel INFO:root:running install INFO:LightGBM:Starting to compile the library. INFO:LightGBM:Starting to compile with CMake. Traceback (most recent call last): File "<string>", line 95, in silent_call File "/Library/Frameworks/Python.framework/Versions/3.9/lib/python3.9/subprocess.py", line 373, in check_call raise CalledProcessError(retcode, cmd) subprocess.CalledProcessError: Command '['cmake', '/private/var/folders/q_/cgds3zcd57z43n2hc_mfsklr0000gn/T/pip-install-_35mq2ue/lightgbm_4b238c34e6dd4d93979880ebb06cf41d/compile']' returned non-zero exit status 1. During handling of the above exception, another exception occurred: Traceback (most recent call last): File "/Users/ike/py3-9/study/lib/python3.9/site-packages/pip/_vendor/pyproject_hooks/_in_process/_in_process.py", line 353, in <module> main() File "/Users/ike/py3-9/study/lib/python3.9/site-packages/pip/_vendor/pyproject_hooks/_in_process/_in_process.py", line 335, in main json_out['return_val'] = hook(**hook_input['kwargs']) File "/Users/ike/py3-9/study/lib/python3.9/site-packages/pip/_vendor/pyproject_hooks/_in_process/_in_process.py", line 251, in build_wheel return build backend().build_wheel(wheel_directory, config_settings, File "/private/var/folders/q_/cgds3zcd57z43n2hc_mfsklr0000gn/T/pip-build-env-nmcdsyxm/overlay/lib/python3.9/site-packages/setuptools/build_meta.py", line 421, in build_wheel return self._build_with_temp_dir( File "/private/var/folders/q_/cgds3zcd57z43n2hc_mfsklr0000gn/T/pip-build-env-nmcdsyxm/overlay/lib/python3.9/site-packages/setuptools/build_meta.py", line 403, in build with_temp_dir self.run_setup() File "/private/var/folders/q_/cgds3zcd57z43n2hc_mfsklr0000gn/T/pip-build-env-nmcdsyxm/overlay/lib/python3.9/site-packages/setuptools/build_meta.py", line 503, in run_setup super().run_setup(setup_script=setup_script) File "/private/var/folders/q_/cgds3zcd57z43n2hc_mfsklr0000gn/T/pip-build-env-nmcdsyxm/overlay/lib/python3.9/site-packages/setuptools/build_meta.py", line 318, in run_setup exec(code, locals()) File "<string>", line 334, in <module> File "/private/var/folders/q_/cgds3zcd57z43n2hc_mfsklr0000gn/T/pip-build-env-nmcdsyxm/overlay/lib/python3.9/site-packages/setuptools/__init__.py", line 117, in setup return distutils.core.setup(**attrs) File "/private/var/folders/q_/cgds3zcd57z43n2hc_mfsklr0000gn/T/pip-build-env-nmcdsyxm/overlay/lib/python3.9/site-packages/setuptools/_distutils/core.py", line 183, in setup return run_commands(dist) File "/private/var/folders/q_/cgds3zcd57z43n2hc_mfsklr0000gn/T/pip-build-env-nmcdsyxm/overlay/lib/python3.9/site-packages/setuptools/_distutils/core.py", line 199, in run_commands dist.run_commands() File "/private/var/folders/q_/cgds3zcd57z43n2hc_mfsklr0000gn/T/pip-build-env-nmcdsyxm/overlay/lib/python3.9/site-packages/setuptools/_distutils/dist.py", line 954, in run_commands self.run_command(cmd) File "/private/var/folders/q_/cgds3zcd57z43n2hc_mfsklr0000gn/T/pip-build-env-nmcdsyxm/overlay/lib/python3.9/site-packages/setuptools/dist.py", line 950, in run_command super().run_command(command) File "/private/var/folders/q_/cgds3zcd57z43n2hc_mfsklr0000gn/T/pip-build-env-nmcdsyxm/overlay/lib/python3.9/site-packages/setuptools/_distutils/dist.py", line 973, in run_command cmd_obj.run() File "/private/var/folders/q_/cgds3zcd57z43n2hc_mfsklr0000gn/T/pip-build-env-nmcdsyxm/overlay/lib/python3.9/site-packages/setuptools/_vendor/wheel/bdist_wheel.py", line 403, in run self.run_command("install") File "/private/var/folders/q_/cgds3zcd57z43n2hc_mfsklr0000gn/T/pip-build-env-nmcdsyxm/overlay/lib/python3.9/site-packages/setuptools/_distutils/cmd.py", line 316, in run_command self.distribution.run_command(command) File "/private/var/folders/q_/cgds3zcd57z43n2hc_mfsklr0000gn/T/pip-build-env-nmcdsyxm/overlay/lib/python3.9/site-packages/setuptools/dist.py", line 950, in run_command super().run_command(command) File "/private/var/folders/q_/cgds3zcd57z43n2hc_mfsklr0000gn/T/pip-build-env-nmcdsyxm/overlay/lib/python3.9/site-packages/setuptools/_distutils/dist.py", line 973, in run_command cmd_obj.run() File "<string>", line 248, in run File "<string>", line 198, in compile_cpp File "<string>", line 99, in silent_call Exception: Please install CMake and all required dependencies first The full version of error log was saved into /Users/ike/LightGBM_compilation.log [end of output] note: This error originates from a subprocess, and is likely not a problem with pip. ERROR: Failed building wheel for lightgbm Failed to build lightgbm ERROR: ERROR: Failed to build installable wheels for some pyproject.toml based projects (lightgbm) ==========================================
