Inflearn brand logo image
Inflearn brand logo image
Inflearn brand logo image
Programming

/

Back-end

Google Authenticator、QR、Cron を活用して自動化を作成する

この講義では、Web Scraping API サーバーを構築するために Naver ショッピング サイトを活用することを目標としています。 MySQL を連携して 3 層アーキテクチャで構成し、管理型 API サーバーを構築する方法について説明します。

  • july
서버강의
자동화
웹 스크래핑
웹크롤링
실무적용
Go
MySQL
Web Scraping
cron
google-authenticator

学習した受講者のレビュー

こんなことが学べます

  • スクラップ

  • HTTP

  • MYSQL

  • Golang

ウェブスクレイピングとは何ですか、なぜそれが必要ですか


Scrapingという言葉に慣れることもでき、 Crawlingという言葉にもっと慣れることができます。
Scrapingという方法は、実際のサービスを構築するために使用される一般的な方法ではありません。


法的にも問題が多い方法であり、旅車すると Denial-of-service attackを誘発する方法なので、私たちはなぜScrapingを進めなければならないのでしょうか。


Scrapingを活用すれば、マーケティング、個人事業など、私が管理していない様々な情報を掻き取ることができるからです。

これらのデータは主にどこに使用されますか

データは本当にさまざまな方法で利用可能です。

必要なデータを収集する方法なので、必要なデータを収集して目的のビジネスを整理してください。


代表的で、最も一般的な方法は

クロールを通じてデータを収集した後、クパン、ネイバーなど、eCommerceプラットフォームにそのデータを提供して手数料取引を支援する方法が最も代表的に使用されています。

法的には問題ありませんか??

スクラップ法は法的に問題のある方法ではありません。


しかし、基本的には、外部プラットフォームの情報を取得するためにサーバーにアクセスするため
前述のように、無分別に情報をもたらす行為を試みると、一般的に言うディドス攻撃という形でトラフィックが行くことになります。


このような状況で、そのプラットフォームで損失が発生した場合、問題になる可能性があります。
したがって、トラフィック量を調整する必要があることに注意してください!


一般的にwrkのようなテストツールを使ってトラフィックを転送しても、 Gateway、Throtling、FronDoorなど様々な防止策を構成しておくので、恐れていなくても構いません。

さらに何を学ぶことができますか

私が作ったほとんどの講義は、常に私が実務で使用して適用しているか、受講生の方が一般的に知っている部分よりはよく分からないような部分を提供することに重点を置いています。


  1. 今回の講義では、皆さんが一般的に知っているJWT Token認証方式ではありません!

Google Authenticatorについてお知らせしますが、これは実際にマネージドページを整理する際に適用した方法です。

だから私のカリキュラムに合わせてChrome拡張機能を活用してQRコードによる認証方法を学ぶことができます! 😁

  1. 今回の講義では、さらに大容量データをバックグラウンドでサービスロジックで管理する方法についてお知らせします。

ただ一般的にAPIリクエストを受け取り、処理する方法について退屈で、面白くないですか

多数のデータを自動化して処理することは非常に重要です

このレッスンではCronを使用してこれらのバックグラウンドでサービスロジックを駆動する方法についてさらに学ぶことができます

講義を聞いたら、このような結果を作ることができます。

MySQLによるデータ管理

このレッスンは、ScrappingをサポートするマネージドAPIを作成するレッスンです。

そのため、必ず情報を格納するデータベースが必要であり、この場合はMySQLを使用することになります。

CronによるScrapping自動化

もしバックグラウンドオートメーションについて知っていますか?

このレッスンでは、 Cronという方法を使用して一定周期ごとにバックグラウンドでロジックを駆動させる方法についてお知らせします!

実務マネージドAPIの構造

板橋IT会社の在職者は、サーバー作業を進めるにつれて、どのように構造を組むのか気になっていませんか?

その疑問をすべて解き放ち、実際のサーバー構造作成法について詳しくお知らせします。

Google AuthenticatorによるTTLベースの認証の実装

コードを通じてQRコードを生成および登録し、認証に使用する方法についてお知らせします。

もう一度申し上げますが、その方法は私が実務で直接使用して適用したケースです。

学習内容

私が実務で使用しているサーバー構造について詳しくお知らせします。

流動的な構造は非常に重要です。

私以外にも他人が見やすく、作業しやすい構造が何なのかをお知らせします。

Secret値によるQR認証の実装

認証方式には多くの方法があります。

このレッスンでは、QRコードによるTTL制限認証方式について説明します。

MySQLによるデータ管理

Schemaの設計から、MySQlによるScrapping自動化データ管理についてお知らせします。

Cronによる自動化処理

開発者の最終目的地は常に自動化です。

このような自動化で欠かせないバックグラウンドロジック駆動とCronを活用する方法についてお知らせします。

💁私はこのような開発者です。 💁

開発者という職業はとても魅力的で可能性の高い職業だと思います。


私が望む仕事をして欲しいなら、その仕事を通して収益を生み出すこともできます。

会社に従事をしたり、あるいはフリーランサーとしても生活が可能です。

私は基本的にさまざまな方法を追求し、新しいツールを適用するのが好きです。


そのため、職場でもさまざまなツールを初めて適用しながら、実際の運用環境で多くのエラーを誘発するスタッフであり開発者です。


もちろん会社内では良くない評価を受けることもありますが、私はこんな私のやり方がとても良くて楽しかったです。そしてこの過程で多くのノウハウがたまっています。

このようなノウハウを皆さんに共有したいと思い、皆さんはこのような問題に対して被害を受けてほしいという気持ちでInflearn講義を始めることになりました。

できるだけ皆さんが私のような状況では、私のように行動しなかったらいいなという心を持って講義を準備してきました。


私の講義が受講生の方々に多くのことを助けて、私から多くの部分を取ってほしいと思います

受講前の注意

練習環境

  • MacBook M1環境で進行中です。

選手の知識と注意事項

  • デフォルトでは、講義の言語はGoです。しかし、Node、Javaを使っても構いません。おおよその構造を知り、適用することは多くの助けになるでしょう。

こんな方に
おすすめです

学習対象は
誰でしょう?

  • スクラップ方法についてご質問がある方

  • 自分でビジネスを構成してみたい方

  • 管理型 API を MYSQL を使って作成したい方

前提知識、
必要でしょうか?

  • Golang [講義言語です。他の言語を使用して同じ構造で作成しても構いません。]

こんにちは
です。

3,481

受講生

162

受講レビュー

87

回答

4.5

講座評価

15

講座

자기 소개

비전공자 출신으로 판교에서 플랫폼 서버 개발을 담당하여 진행하고 있습니다.

서버 최적화와 다양한 쿼리 튜닝을 좋아합니다.

 

경력

[前] 샌드박스 블록체인 개발자

[前] 넥슨 자회사 백엔드 개발자

[前] 판교 대기업 플랫폼 서버 개발자

[] 판교 모회사 서버 개발자

カリキュラム

全体

27件 ∙ (3時間 30分)

講座掲載日: 
最終更新日: 

受講レビュー

全体

3件

5.0

3件の受講レビュー

  • Anfield님의 프로필 이미지
    Anfield

    受講レビュー 37

    平均評価 4.8

    5

    100% 受講後に作成

    일단 go라는 언어로 작성되었을 뿐이지, 충분히 다른 언어, 프레임워크로 구현 가능합니다. spring의 경우 cron같은 것도 quartz 라이브러리를 써서 처리할 수 있습니다. 크롤링하는 부분은 Jsoup 라이브러리를 가져다가 쓰면 됩니다. 아쉬운 점은 글씨가 너무 작았다는 점이였습니다. 나중에 기회가 된다면 go언어를 배워보고싶네요.

    • July
      知識共有者

      Java에 대해 잘 몰라서 해당 부분에 대한 지식이 부족하였는데 상세하게 알려주셔서 감사합니다. 자바의 민국 거주자로써 저도 자바를 배워가는데 도움이 될 꺼 같네요 ㅎㅎ 강의 사이즈가 작은 이유는 제가 듀얼모니터를 사용하는데에 익숙해서인지 항상 제가 익숙한 화면으로 진행해서 작은거 같습니다 ㅠㅠ 피드백 감사드리며 앞으로 해당 부분을 고려해 더 양질의 강의를 제공해 드리도록 하겠습니다. 감사합니다!!

  • 유쾌한 캥거루님의 프로필 이미지
    유쾌한 캥거루

    受講レビュー 14

    平均評価 4.9

    5

    63% 受講後に作成

    QR코드를 사용하는 인증방식이라는 주제가 흥미로워서 수강을 하게 되었습니다. 간단하게 실제 구현 하는것을 보며 많이 배웠습니다. 이번에도 신박하고 좋은 강의 제공해 주셔서 감사합니다!! 😁😁

    • July
      知識共有者

      항상 새로운 강의를 준비함으로써 여러분들이 코딩에 재미를 가지면 좋겠습니다. 수강평 감사드립니다.

  • Deck님의 프로필 이미지
    Deck

    受講レビュー 7

    平均評価 5.0

    5

    96% 受講後に作成

    강사님의 강의를 자주 듣는 수강생입니다. 항상 일반적인 강의가 아니라 실제 실무에서 사용하시는 방법을 주로 다루시는거 같아요 그래서 대부분의 강의가 다른 강의처럼 일반적인 주제가 아니라 더욱더 많은 도움이 되고 들으면 코딩이 더욱더 재미있어지는거 같습니다. 🤣🤣 이번에도 좋은 강의 감사합니다!!

    • July
      知識共有者

      저는 수강하시는 분들이 좀 새로운 개발을 해보셨으면 하는 마음이랑, 제가 경험했던 부분을 녹이려고 강의를 준비하고 있습니다. 이런 부분이 잘 적용이 된 거 같아 기쁘네요 . 🤩 좋은 평 감사드리고!! 재미있는 개발 하시길 바라겠습니다~!

¥4,209

julyの他の講座

知識共有者の他の講座を見てみましょう!

似ている講座

同じ分野の他の講座を見てみましょう!