皆さんこんにちは。データサイエンティストチームYAMALEXのSsk1029Takashiです。 YAMALEXは Acroquest 社内で発足した、会社の未来の技術を創る、機械学習がメインテーマのデータサイエンスチームです。 この記事はGPTでチャットボットを作ってみるシリーズ第3弾です。 第1弾と第2弾もぜひご覧ください。 acro-engineer.hatenablog.com acro-engineer.hatenablog.com 第1弾では、GPTになるべく正確な回答をさせるために、回答の情報を持つ文書を検索し、それをもとに回答を生成するという内容を試しました。 文書をもとに回答を生成することで比較的正確な回答を取得することができました。 ただし、この回答も必ずしも正確な回答とは限らないので、どれくらい信頼していいのかを自動で判定する仕組みが欲しくなります。 今回は第1弾のシ

本記事の目的 もともと本業でデータサイエンスやディープラーニングを扱っていたわけでもなく、ディープラーニング周りは「なんとなく知っている」という状態。ちゃんと勉強したいと思いながらもなかなか手が出ず、モデル実装の経験もない。 上記の状態から、この1年間くらいでやっと、初めてディープラーニング実装の経験をするところまでたどり着いた。とりあえずデータサイエンスの入口に立てた（かもしれない）ということで、整理のためここまで取り組んできたことをまとめてみた。 これから勉強を始める、誰かのために役立てば嬉しい。 ＜画像ディープラーニングの始め方＞ ◇ ステップ1. 画像系AIの全体像を把握する ◇ ステップ2. 画像分類を実装してみる ◇ ステップ3. 理論をフォローアップする ◇ ステップ4. 実装の経験を積む ステップ1．画像系AIの全体像を把握する とりあえず初心者向けの書籍や動画などを見て全

こんにちは、初心者向けシリーズです。 今回はAWSの無料SSL証明書サービス”Certificate Manager”をELBに設定してみようと思います！ そもそもSSL証明書とは？ SSLとは、ブラウザとウェブサーバ間でデータの暗号化をする仕組みのことです。 インターネット上で送受信される個人情報や、クレジットカード情報等を暗号化して通信を行うことで、盗聴や情報改ざんを防ぐ役割を持っています。 SSL証明書が適用されてるサイトはHTTPSで通信されることになり、URLの頭に「https://~」と、鍵マークが表示されます。 認証レベル(方式)により、３タイプに分かれます。 ドメイン認証 個人・法人で発行可能。問い合わせフォーム等の各種フォームやイントラネット等で利用がおすすめ。 企業認証 法人のみ発行可能。個人情報やクレジットカード等の入力が必要なサイトにおすすめ。 EV認証 法人のみ発

またお得なAmazon Monitronスターターキットもご用意されています。 （取り付けキット、5 個のセンサー、ゲートウェイのセット） 運用費用 Amazon Monitronはセンサー1つあたり年間50USDのランニングコストがかかります。 費用例 ■要件 5つのモーターを監視する必要がある。 上記を実現するためにAmazon Monitronスターターキットを購入し、 モーターごとに1つのセンサーを取り付け3年間使用した。 ■試算結果 スターターキット購入費用（715USD）＋　センサー年間利用費用×5（250USD）×3年分　＝　1465USD（3年間利用費用） 注意事項 ■ Amazon Monitron 利用可能な地域について 米国、英国、およびEUのみで利用可能です。（2021/04/16時点） ■必要なモバイル端末について Android8.0以降のスマートフォンが必要で

新年あけましておめでとうございます。毎年年頭に更新している「私の情報収集法」を今年も公開します。何かの参考になれば幸いです。 インプットで参照している情報源（海外） 海外からの攻撃が主流となる中、海外情報をいち早く把握する事の重要性が増している気がしますので、今年は海外情報源から書きたいと思います。 昨年の記事では多くの海外サイトを紹介しましたが、試行錯誤の結果、まとめサイトでもある「morningstar SECURITY」や「DataBreaches.net」を押さえておけば、主要サイトが概ねカバーされると分かったので、今年は数を絞っています。 サイト キタきつね寸評 morningstar SECURITY 去年と変わりませんが、情報の更新頻度、そして関連ソースの網羅性という意味では、英語系のセキュリティニュースとしては最良の情報ソースの１つかと思います。私は「Daily Secur

はじめに Web開発といえばUNIXターミナルが使えるMacが便利だったが、ついに今年WSL2が正式リリースされた。これでようやくWindowsでまともなWeb開発環境を構築することが可能になって喜びもひとしお。 それどころか、WSL2, Windows Terminal, VS Codeと便利なツールがどんどんリリースされていてMacよりも便利といえる環境になってきたため、本格的にWindowsに乗り換えることにした。 環境構築をメモしていく。 WSL2とUbuntuのインストール 公式ドキュメント通り。 ディストリはUbuntuを選んだ。 Windows Terminal マイクロソフト純正。とても使いやすく、アップデートも精力的で今後も楽しみ。 Microsoft StoreからWindows Terminalをインストール 設定ファイルがJSONなのはエモいですね。 この辺で好きな

AWS学習を始めようと考えている人 「AWSとは、概要や全体像、メリットデメリットが知りたい」 「AWSの学習方法が知りたい」 こういった疑問に答えます。 本記事のテーマ 【AWS初心者向け】AWS学習方法まとめ【15時間で達成できる】 AWS学習の始め方 AWSやクラウド初心者の方がAWSを学ぶための方法を纏めました。 ①クラウドを学ぶ ②AWSの概要を学ぶ ③知識の定着（AWS公式ハンズオン実施） ④AWS運用の現場に参画 知識定着のため、インプット、アウトプットのバランスを考えてまとめています。 IT基礎知識（基本情報技術者レベル）がある前提になっていますので、 インフラ基礎知識が足りていないと感じる方には下記の記事もおすすめです。 記事の信頼性 筆者はAWS経験5年程度です。AWS資格は5冠達成しました。 現在は大規模ECサイトのAWS運用を任されるようになっています。 今回紹介し

書籍化されました 本記事をベースに監修者の村上さんが１冊の本にまとめてくれました（感謝） データサイエンティストのキャリア面やポートフォリオの細かい部分をさらに追加・ブラッシュアップした内容になっています。 まえがき はじめに 皆さん、「データサイエンティスト」という職種をご存知でしょうか？ この数年間で、AIやディープラーニングといったバズワードと共にデータサイエンティストというワードも、よく耳にするようになりました。最新の技術を扱えて、年収も高い非常に魅力的な職業なため、データサイエンティストへの転職を検討されている方もいらっしゃるのではないでしょうか？ 実際、データサイエンティスト職への就職・転職希望者は年々増加しています。しかし、未経験の人材を育成できる会社はまだまだ少なく、未経験からの転職は転職希望者の増加に伴い高まっています。 データサイエンティストは求められるスキルの幅が広く

画像は『滋賀大学「大学生のためのデータサイエンス（Ⅱ）」講座PV～ gacco：無料で学べる大学講座』より オンライン講座サイト「gacco（ガッコ）」では11月16日から、滋賀大学データサイエンス学部による「なるべく数式を使わない」という方針で構成した「大学生のためのデータサイエンス（Ⅱ）」が開講される。受講料は無料。 本講座では、機械学習の諸手法とその応用について説明する。まず「機械学習とは何か？」という説明から始め、その後に機械学習の応用事例を紹介。応用事例を先に見ることによって、機械学習の有用性が理解でき、機械学習の手法をより積極的に学べるとしている。 次に、分類問題と回帰問題の具体的な手法を説明し、同時に特徴量の設計・選択など、実践的なテクニックについても紹介する。最後に、近年、発展の著しいニューラルネットワークについても説明してくれる。また、本講座は、機械学習の分野のなかでも教

DX(デジタルトランスフォーメーション) エンジニア以外でも知っておくべき、システム構築の意味と流れとは IT関係の仕事に関わっている人ならば、システム構築という言葉をどこかで聞いたことがありますよね。とくにエンジニアは、現場で働いてシステムを実装する側なだけであってシステム構築について聞いたことのある人が多い傾向でしょう。一方で、エンジニア以外はあまり馴染みがなく、聞いたことがない、もしくは聞いたことを忘れていることもあるかもしれません。 しかし、非エンジニアだけでなくエンジニアであっても、なぜシステム構築が必要なのか、システム構築ではどんな流れなのかについてはあまり知らないといった人もいるでしょう。システム構築について知っておけば、自社でシステム開発を行う、あるいはシステム会社に依頼する場合でもスムーズに開発の話を進められるに違いありません。 そこで今回は、システム構築について、その意

※この投稿は米国時間 2020 年 10 月 17 日に、Google Cloud blog に投稿されたものの抄訳です。 機械学習モデルは、多数の難しいタスクを遂行するために使用されるようになりました。大きな可能性を秘める ML モデルですが、その使用方法、構成、制限に関して疑問も寄せられています。そうした疑問に対する回答を文書化することで状況が明確になり、共通の理解を得ることができます。これらの目標を達成するために、Google はモデルカードを導入しました。 モデルカードの目的は、機械学習モデルの全体像を簡潔に提供することです。まず、モデルカードはそのモデルの機能、意図するユーザー層、その管理者について説明します。また、アーキテクチャや使用されているトレーニング データなど、モデルの構成に関する情報も提供します。さらに、生のパフォーマンス指標だけでなく、モデルの制限とリスク緩和の機会

はじめまして、株式会社アカツキでセキュリティエンジニアをしている小竹泰一 (@tkmru)です。 セキュリティエンジニアという職種は、比較的新しくできた職種なので、他のエンジニア職から転身して働いているセキュリティエンジニアの方も多く、 まだキャリアプランや業務内容というものが確立されていない印象を受けています。 また、私のように新卒から非セキュリティ企業でセキュリティエンジニアとして働いている人はまだ業界には少ないように思います。 そんなセキュリティエンジニアの中でも珍しいキャリアを積んでいる私がキャリアについて書くのも面白いかなと思い、筆を執りました。 今回は、脆弱性診断業務に従事している私が仕事を楽しむために考えていること、おすすめの書籍やWebサイトを紹介したいと思います。 セキュリティエンジニアの業務の種類 一言でセキュリティ業務といっても、様々な業務があります。 アプリケーショ

こんにちは、Finatextグループのナウキャストでデータエンジニアをしているけびん( Twitter: @Kevinrobot34, AtCoder: Kevinrobot34 )です。先日、PyCon JP 2020で、「Pythonで競プロをしよう！ 〜入門者が知っておくべき高速化Tips〜」という題名で発表をさせていただきました。発表時のスライドと動画はこちらです。 この内容について、少し加筆してまとめようと思います。 はじめに最近AtCoderを中心に、競技プログラミングの人気が高まっています。 C++で参加している人が最も多いですが、Pythonで参加している人もかなり増えています。 Pythonは書きやすい一方でC++と比べてしまうと実行速度が遅く、Logicは正しくてもPythonだとTLE(Time Limited Exceeded, 時間超過)してしまうことも少なくあり

株式会社DIVE INTO CODEは10月5日から、「Python 3 エンジニア認定データ分析試験」の模擬試験を無料公開した。本試験は、一般社団法人Pythonエンジニア育成推進協会が2020年春に開始した、プログラミング言語「Python」を使ったデータ分析の基礎や方法を問う試験だ。 DIVE INTO CODEは、一般社団法人Pythonエンジニア育成推進協会やRails技術者認定試験運営委員会認定のオンラインで受講可能な模擬試験「DIVE INTO EXAM」を無料で公開している。2017年に開始された「Python 3 エンジニア認定基礎試験」については、2020年9月に模擬試験を公開した。 今回、DIVE INTO CODEは「Python 3 エンジニア認定データ分析試験」の模擬試験も公開することで、Python3の知識を習得するエンジニアを増やすことに貢献したいという。な

icrawlerとは icrawlerとはウェブクローラのミニフレームワークです。 It supports media data like images and videos very well, and can also be applied to texts and other type of files. と公式に記載があるように、画像や動画などのメディアデータをサポートしており、 テキストやその他の種類のファイルにも適用可能です。 公式マニュアル インストール Macならターミナル、Windowsならコマンドプロンプトを開き、次のコマンドを実行してください。 pip install icrawler Jpyter Notebookのセルや、Colabのセルの中では次のように実行します。 !pip install icrawler 犬と猫の画像をダウンロードする 今回はGoogle検

Information 2024/1/8： pandas , Polars など18を超えるライブラリを統一記法で扱える統合データ処理ライブラリ Ibis の100 本ノックを作成しました。長期目線でとてもメリットのあるライブラリです。こちらも興味があればご覧下さい。 Ibis 100 本ノック https://qiita.com/kunishou/items/e0244aa2194af8a1fee9 2023/2/12： 大規模データを高速に処理可能なデータ処理ライブラリ Polars の 100 本ノックを作成しました。こちらも興味があればご覧下さい。 Polars 100 本ノック https://qiita.com/kunishou/items/1386d14a136f585e504e はじめに この度、PythonライブラリであるPandasを効率的に学ぶためのコンテンツとして

2024春アニメ(3/20現在) Qiitaでは直接`usemap`属性が使えないのでCodePen経由ですが、クリックで公式サイトを開けます。↓ See the Pen yLOQNKZ by Cartelet Cydius (@cartelet-cydius) on CodePen. 9/25追記 うずらインフォさん本人Twitterにてうずらインフォさんスタイルのフォーマットでのアニメリストの公開を控えてほしい旨のツイートがありましたので、本記事掲載当初よりのサンプルの一枚を除いて、以後公開するアニメリストはオリジナル？のデザインのものとしたいと思います（寄せてはいますが）。 うずらインフォさんスタイル風の画像が欲しい場合は掲載のプログラムを実行してください。 9/27追記 こちらからColab上で生成できます。 例のアニメリスト自動生成スクリプト #はじめに 皆さんはうずらインフォさ

みなさん大好き（？）、AWS認定試験のお話です。 参考：AWS 認定 – AWS クラウドコンピューティング認定プログラム | AWS 私は現時点で全ての認定（12個）を持っているのですが、認定の有効期限があるうちに振り返っておきたいと思います。 ※Big Data認定は現在Data Analyticsに名前が変更されています。私は古い形式のBig Dataのみ合格しています。 →2021/3/9にData Analyticsも合格しました！Big Dataの後継になるため、認定の種類としては現在も12種類ですが、バッチ的には13個手にいれることができました。 受験日、スコア 認定 受験日 スコア Solutions Architect - Associate 2017-07-23 78% (*1) Solutions Architect - Professional 2018-11-06