並び順

ブックマーク数

期間指定

  • から
  • まで

41 - 80 件 / 2966件

新着順 人気順

マイニングの検索結果41 - 80 件 / 2966件

  • エンジニアに読んで欲しい技術書90選 - Qiita

    はじめに タイトル通り、読んで欲しい(圧)技術書をたくさん集めてみました。自身の担当から外れる領域に関しては、会社の人に協力を仰ぎ、編集しました。「何を読めばいいかわからない」、「次の読む本を探したい」などのように考えている方の参考になればと思います。 また、大きく、 ・新米エンジニア ・脱新米エンジニア と分けてまとめたので、参考にしてみてください。 技術書のススメ 技術書の紹介の前に、技術書で得られるものについて説明したいと思います。全然読み飛ばしてもらって大丈夫です。この章から本の紹介を行なっていきます。 技術書は体系的な構成となっているため、技術書を読むことで、 ・論理的な思考力が身に付く ・技術の歴史・背景を知れる ・技術の知識、手法を学べる これらを学ぶことができます。論理的な思考力、知識はわかるけど、技術の歴史・背景を知ってどうするんだと思う方もいるかもしれません。しかし、歴

      エンジニアに読んで欲しい技術書90選 - Qiita
    • 実務の専門家として機械学習や統計分析を手掛けたい人にオススメの書籍初級5冊&中級8冊+テーマ別11冊(2020年2月版) - 渋谷駅前で働くデータサイエンティストのブログ

      (Image by Pixabay) この記事は以下のオススメ書籍リスト記事のアップデートです。 毎回の断り書きで恐縮ですが、この記事では「データサイエンティストや機械学習エンジニアなどデータ分析の実務の専門家として」*1機械学習や統計分析を手掛けていきたいという、主に初級ないし中級ぐらいのスキルレベルの人たちにお薦めしたい書籍を、初級向け5冊・中級向け8冊及び細かいテーマ別に11冊、それぞれ挙げていきます。スタンスとしては相変わらず「当座の最終到達点を『中級』に置いた時に最初に読んで内容をマスターしておくべき書籍」を初級に置いているので、世の中のこの手のお薦め書籍リストに比べると若干ハードな内容のものが初級向けに多いかもしれません。 後はちょっと気が早いかもしれませんが、機械学習パートに関しては「AutoML時代にあっても実務の専門家であれば知っておくべき知識」を収めた書籍を選んでおきま

        実務の専門家として機械学習や統計分析を手掛けたい人にオススメの書籍初級5冊&中級8冊+テーマ別11冊(2020年2月版) - 渋谷駅前で働くデータサイエンティストのブログ
      • データサイエンティストは何を勉強すべきか:「教養」と「必須」と「差別化」と - 渋谷駅前で働くデータサイエンティストのブログ

        (Image by Wokandapix from Pixabay) 個人的な観測範囲での話ですが、データサイエンティストという職業は「21世紀で最もセクシーな職業」として刹那的な注目を集めた第一次ブーム、人工知能ブームに煽られて火がついた第二次ブーム、そして「未経験から3ヶ月で人生逆転」ムーブメントと折からのDXブームに煽られる形で沸き起こった第三次ブームを経て、何だかんだで社会に定着してきた感があります。 で、このブログを始めた頃からの連綿と続くテーマになっていますが、いつの時代も話題になるのが「データサイエンティスト(になるに)は何を勉強すべきか」ということ。7年前から恒例にしてきた「スキル要件」記事では、基本的には「どれも必要な知識(学識)」であるという前提で分野・領域・項目を挙げてきました。少なくとも、最初の3回ぐらいはそういう認識でスキル要件記事を書いていた気がします。 ところ

          データサイエンティストは何を勉強すべきか:「教養」と「必須」と「差別化」と - 渋谷駅前で働くデータサイエンティストのブログ
        • NFTに対する技術的な誤解

          はじめに 「メタバース上の土地は買うべきか」から始まり、NFTの価値は信仰によるものであるとの一連の流れを読み大変感銘を受けた。 kumagiさんのNFTの価値は信仰によるものであるとの指摘も、sasakiさんの自分の興味からNFTを買った話も、どちらも私個人としては理解できる話であった。 一連の議論のリンクは貼っておくので、詳しく知りたい方は見てほしい。 NFTとメタバースについて思うこと 空想のNFTと現実のNFT Re: 空想のNFTと現実のNFT Re: Re: 空想のNFTと現実のNFT Re: Re: Re: 空想のNFTと現実のNFT さて、これらの議論に対するtwitterをはじめとするSNSのコメントを見ると、技術的に誤った情報の配布や誤解を生みかねない表現を使ってNFTの価値について語っている人が想像以上に多く感じた。 ブロックチェーンやNFTは新しい技術分野であるため

            NFTに対する技術的な誤解
          • 元素の「周期律」にほころび? 金属元素「ドブニウム」が金属の性質持たず

            重い金属元素「ドブニウム(Db)」の性質を調べた結果、周期表から予想できる性質に反して金属的な性質を失っていることが分かった──日本原子力研究開発機構が、7月7日にこんな研究結果を発表した。この元素の化合物を分離して調べたのは世界で初めてのことで、今回分かった性質から、いまだに完成していない周期表の理解が進むことが期待できるという。 ドブニウムは1967年に発見された、原子番号105番の元素。核融合反応で人工的に生成できるが、生成率が5分当たり1個と低いことと、寿命(半減期)が約30秒と短いため、実験で扱うのが難しく、その化学的性質は明かされていなかった。 研究チームは、同機構の加速器を使ってドブニウムを合成し、独自に開発した分離装置によってドブニウムの純粋な化合物を分離。この化合物と、ドブニウムと同じ周期表第5族の元素(ニオブやタンタル)の化合物について、気体になりやすさを比較したところ

              元素の「周期律」にほころび? 金属元素「ドブニウム」が金属の性質持たず
            • 普通のデータサイエンティストと世界トップクラスのデータサイエンティストの違い ニュースイッチ by 日刊工業新聞社

              「データサイエンティストと名乗るのは厚かましいというか、自分はむしろ外れ値です」そう切り出した小野寺和樹さんは現在、DeNAのAI本部データサイエンス第一グループに所属している。 確かにデータサイエンティストには数学や物理学の修士や博士といった理系のバックグラウンドを有する人が多い中、小野寺さんは経済学部出身で数学の知識も「二次関数の頂点がわかるくらい」だという。 そんな小野寺さんだがKaggle Grandmaster(カグル グランドマスター)という称号を持っている。世界では163人、日本では10人程度しかいない(2019年11月現在)。 【補足説明】Kaggle(カグル)とは、データサイエンティストや機械学習エンジニアが集まる世界最大のコミュニティ。大きな特徴は、誰でも参加可能なコンペティションがあることだ。世界中の企業や研究機関などが提供したビッグデータと課題に対し、モデルの精度を

                普通のデータサイエンティストと世界トップクラスのデータサイエンティストの違い ニュースイッチ by 日刊工業新聞社
              • コインハイブ事件の有罪判決、破棄自判で「無罪」に 最高裁 - 弁護士ドットコムニュース

                自身のウェブサイト上に他人のパソコンのCPUを使って仮想通貨をマイニングする「Coinhive(コインハイブ)」を保管したなどとして、不正指令電磁的記録保管の罪(通称ウイルス罪)に問われたウェブデザイナーの男性の上告審判決が1月20日、最高裁第一小法廷(山口厚裁判長)であった。 山口裁判長は罰金10万円の支払いを命じた2審・東京高裁判決を破棄し、無罪と判断した。裁判官5人全員一致の意見。 ●最高裁の判断は 第一小法廷はマイニングによりPCの機能や情報処理に与える影響は、「サイト閲覧中に閲覧者のCPUを一定程度使用するに止まり、その仕様の程度も、閲覧者がその変化に気付くほどのものではなかった」と指摘。 ウェブサイトの運営者が閲覧を通じて利益を得る仕組みは「ウェブサイトによる情報の流通にとって重要」とし、「広告表示と比較しても影響に有意な差異は認められず、社会的に許容し得る範囲内」と述べ、「プ

                  コインハイブ事件の有罪判決、破棄自判で「無罪」に 最高裁 - 弁護士ドットコムニュース
                • ChatGPTのコア技術「GPT」をざっくり理解する - Qiita

                  ※本記事はOracleの下記Meetup「Oracle Big Data Jam Session」で実施予定の内容です。 ※セミナー実施済の動画に関しては以下をご参照ください。 本記事の対象者 これから機械学習を利用した開発をしていきたい方 機械学習のトレンド技術を知りたい方 なるべく初歩的な内容から学習したい方 はじめに Transformerの登場以降、著しい技術革新が続くここ数年、特にOpenAI社のChatGPTのサービス開始以降、おびただしい数の技術ブログや記事がインターネット上に存在する中、本記事に目を留めていただいてありがとうございます。 この勉強会では、専門用語や難解な公式を極力排除し、初学者の方々を対象に、「そもそも自然言語の機械学習ってどういうもの?」、「言語モデルって要するに何?」というところからGPTをざっくり理解することを目的としています。従って、本記事に記載のあ

                    ChatGPTのコア技術「GPT」をざっくり理解する - Qiita
                  • 【寄稿】コインハイブ事件 意見書ご協力のお願い - 一般社団法人日本ハッカー協会

                    コインハイブ事件弁護団 主任弁護人 平野敬 (電羊法律事務所) 裁判の現状 2022年1月20日、最高裁判所において、Coinhive事件は逆転無罪判決となりました。これまでの皆様のご支援に深く感謝申し上げます。2022/1/20 2021年12月9日に最終弁論が開かれることになりました。2021/10/18 報道でご存知の方も多いと思いますが、2020年2月7日、東京高等裁判所において、モロさんを被告人とする不正指令電磁的記録保管事件について罰金10万円の支払いを命じる逆転有罪判決が言い渡されました。これまで、多くの皆様に裁判費用を含むご支援をいただいてきたにもかかわらず、望む結果を出せなかったことを、弁護人として深くお詫びします。 我々は東京高等裁判所の判決を不服として、上告状を提出すべく準備を進めています。今後は最高裁判所において事件が争われることになります。 横浜地方裁判所の判決(

                      【寄稿】コインハイブ事件 意見書ご協力のお願い - 一般社団法人日本ハッカー協会
                    • 各業界でのデータサイエンスの活用について調べてみた(随時追加) – かものはしの分析ブログ

                      都内の事業会社で分析やWebマーケティングの仕事をしています。大学・大学院では経済学を通じて統計解析を行うなどしておりました。企業に勤めてからは、機械学習やテキストマイニング、クローリング技術などに関心を持っています。 Twitterアカウント Mr_Sakaue( SKUE ) GitHub 読書メーター ほしいものリスト 仕事で、いろんな会社でデータサイエンスってどう使われているのですか?と聞かれることがあり、自分としてはなんとなくしか掴めていないな、知ったかぶりしたくないなと思うところがあったので、やや手厚くリサーチをしてみようと思いました。 2022/3/6の段階では11つの市場しかないですが、最終的には30市場を目指します。 【2021/11/27追記】 公開したところ、それなりにこの記事に関心を持ってくださった方が多かったようなので、少しずつ事例を埋めていこうと思います。 業界

                        各業界でのデータサイエンスの活用について調べてみた(随時追加) – かものはしの分析ブログ
                      • とある仮想通貨マイナーの確定申告まとめ

                        更新履歴・ふるさと納税の住民税の前納という表現について一部修正。ふるさと納税で控除できる住民税の金額には限度がある旨追記。 ・雑所得控除は存在せず雑所得20万円までは申告不要なだけという指摘があったので修正 ・経費について追記 仮想通貨マイニングの確定申告をどのようにすべきか一目で見れるページがあまりなかったため、 自分以外の人も参考にできる形で確定申告のやり方をネットに残しておく。 ■TLDR;・仮想通貨で得た利益にかかる税金は住民税と所得税のみ(細かいこというと復興特別所得税もかかるけど省略) ・住民税は10%固定 ・所得税は給与所得や他の雑所得を合算した総所得で累進的に決まる。5, 10, 20, 23, 30, ...45%まで。(高々年収1000万円程度の普通のサラリーマンなら20%以下) ・例えば仮想通貨の売却益が300万円、給与収入が700万円で合計年収1000万円程度なら、

                          とある仮想通貨マイナーの確定申告まとめ
                        • [Python]機械学習などでテキストデータを特徴量にする際のソースコード集

                          都内の事業会社で分析やWebマーケティングの仕事をしています。大学・大学院では経済学を通じて統計解析を行うなどしておりました。企業に勤めてからは、機械学習やテキストマイニング、クローリング技術などに関心を持っています。 Twitterアカウント Mr_Sakaue( SKUE ) GitHub 読書メーター ほしいものリスト テキストデータの特徴量化について 仕事ではテキストデータを多用するので、機械学習などで扱うためにテキストデータを特徴量にするためのアプローチを色々と整理してソースコードを残しておきたいと思います。今回はあくまでも私の知っているものだけなので、網羅性はないかもしれませんが悪しからず。 (2019/08/18 追記)Stackingをカジュアルに行えるvecstackというモジュールを用いた予測も試してみました。下の方の追記をご覧ください。 アプローチ テキストデータを特

                            [Python]機械学習などでテキストデータを特徴量にする際のソースコード集
                          • LGの洗濯機がなぜか1日3.6GBもデータ通信をしていると持ち主が困惑、LGが調査に乗り出す

                            LGのスマート洗濯機が、1日に3.6GBもの膨大なデータを通信をしていると報告するX(旧Twitter)の投稿が大きな話題となりました。 Homeowner Baffled After Washing Machine Uses 3.6GB of Internet Data a Day https://www.newsweek.com/homeowner-baffled-washing-machine-uses-3-6gb-internet-1862675 Your washing machine could be sending 3.7 GB of data a day — LG washing machine owner disconnected his device from Wi-Fi after noticing excessive outgoing daily data traf

                              LGの洗濯機がなぜか1日3.6GBもデータ通信をしていると持ち主が困惑、LGが調査に乗り出す
                            • 北朝鮮にハックされて頭にきたセキュリティ研究員がしかえし→北朝鮮全土ネット遮断

                              北朝鮮にハックされて頭にきたセキュリティ研究員がしかえし→北朝鮮全土ネット遮断2022.02.09 23:00104,443 satomi パジャマでサイバー攻撃。 「国家の主な財源がハッキング」と言われる国なんて、世界広しといえども(経済制裁でまともに貿易できない)北朝鮮ぐらいなわけですが、ここのスパイに猛攻をかけられてウンザリした米国のセキュリティ研究員が、米政府が何もしないことにしびれを切らせて先月ひとりオペレーションで報復、北朝鮮がまるまるインターネットから消え去る変事となりました。 消えていたのは長いときで6時間ほどです。攻撃がミサイル発射テストの前後に集中していたことから、最初はどこかの政府軍のサイバー攻撃かと思われていたのですが、Wiredに名乗りをあげたのは意外にも匿名希望のP4xさん個人。主要なサーバーとルーターに狙いを定めて全自動のDOS攻撃をプログラムし、パジャマのズ

                                北朝鮮にハックされて頭にきたセキュリティ研究員がしかえし→北朝鮮全土ネット遮断
                              • Googleを超える検索エンジンを作ったので使ってみてほしい

                                表題の通り、検索エンジン(Webアプリ)を作ったので、使ってみて感想を聞かせてほしい、というのが投稿の目的だ。 ただ、せっかく増田に投稿するのだから、制作物の宣伝に終始するのではなく、開発していて考えたことや制作背景を書き添えたいと思う。ここにはエンジニアやデザイナー、また技術職でなくてもWebサービスに携わる人、インターネットを使って遊ぶことが好きな人が多いはず。そんな人たちの向けの四方山話として、思考の一助となれば幸いだ。 検索エンジンについてSalonaというGoogleを超える検索エンジンを作った。 https://salona.org 特定の検索クエリについて、マークダウンの検索結果を添付し、投稿することができる。投稿には、検索クエリと完全一致するタイトル、本文、'# ' + タイトル + '\n' + 本文のSHA-256(=文書のID)、256ビットのノンスが付随する。投稿に

                                  Googleを超える検索エンジンを作ったので使ってみてほしい
                                • 【初心者必見】プログラミング未経験から3年間のPython学習ロードマップ完全版 - 仮想サーファーの日常

                                  近年、Pythonの求人数・案件数が増加すると同時に単価も上がってきており、エンジニアの中で人気が高まっています。 これからプログラミング言語Pythonを学んで、Webアプリケーション開発エンジニアや機械学習エンジニアになりたいと思っている方も多いのではないでしょうか。 この記事では以下のような方向けに、Pythonを未経験からどのような手順で学びPythonエンジニアになるのか、またPythonエンジニアになった後にどのように学び続けていけばいいのか、具体的な方法をまとめています。 この記事の対象読者 エンジニアではないけど、未経験からPythonエンジニアに転職したい方 エンジニアではないけど、未経験からPythonでデータ分析や業務効率化をしたい方 非Web系の会社で働いているけど、Web系のPythonエンジニアに転職したい方 Pythonとは Pythonとは何か Python

                                    【初心者必見】プログラミング未経験から3年間のPython学習ロードマップ完全版 - 仮想サーファーの日常
                                  • Dockerコンテナのpostgresqlがマルウェアに感染した件について - Qiita

                                    背景 Dockerコンテナを立てたらマルウェアに感染したのでサイバーセキュリティの啓蒙を兼ねてメモ書きしてみました。 注意事項 マルウェアに感染した被害の対処方法を記述しています。マルウェア自体の機能や解析の解説ではなく一般利用者ユーザーの視点から感染経路と対応方法についての記述になります。 マルウェア感染状況 症状 Dockerコンテナを稼働させたホストのロードアベレージ(CPU負荷)が常時4を超える状況になっていました。つまり400%でホストがフル回転してた訳ですな。 例えるならエヴァンゲリオン初号機が暴走してマヤちゃんがコンソール画面に向かって叫んでいるところです(違) こうなるとクラウドサービスのAWSとかだと英文で警告アラートが飛んで来ますし毎日課金されで膨大な利用料金請求が来ることになります。恐ろしい!! 状況の調査 CPUの利用状況やメモリの使用量などを調査するツール類があり

                                      Dockerコンテナのpostgresqlがマルウェアに感染した件について - Qiita
                                    • テレビ東京、仮想通貨マイニング業界の超絶負け組を発掘 : 市況かぶ全力2階建

                                      日刊SPA!に登場の医学生投資家、儲け自慢に熱を入れるあまり「11歳から親の口座で投資を始めた」と借名取引をうっかり告白

                                        テレビ東京、仮想通貨マイニング業界の超絶負け組を発掘 : 市況かぶ全力2階建
                                      • 「全数調査なら何でもわかる」という誤解 - 間違えがちな母集団とサンプリングそしてベイズ統計 - - ill-identified diary

                                        この文章は pandoc-hateblo で tex ファイルから変換しています. PDF 版はこちら 2021/10/15 追記: 後半のベイジアンブートストラップに関する解説はこちらのほうがおそらく正確です ill-identified.hatenablog.com 概要挑発的なタイトルに見えるかも知れないが, 私はしらふだしこれから始めるのは真面目な話だ — 正直に言えばSEOとか気にしてもっと挑発的なタイトルにしようかなどと迷ったりはしたが. 「全数調査できれば標本抽出の誤差はなくなるのだから, 仮説検定は不要だ」という主張を見かけた. いろいろと調べた結果, この問題を厳密に説明しようとすると最近の教科書には載ってない話題や視点が必要なことが分かった. ネット上でも勘違いしている or よく分かってなさそうな人をこれまで何度か見かけたので, これを機に当初の質問の回答のみならず関

                                          「全数調査なら何でもわかる」という誤解 - 間違えがちな母集団とサンプリングそしてベイズ統計 - - ill-identified diary
                                        • Steamで無料Lo-Fi癒やしゲーム『Chill Corner』が人気。ネコのいる部屋を眺めるだけの、インタラクティブ作業用BGM - AUTOMATON

                                          Steamにて、とある癒やし系のアプリケーションが人気上位となっているようだ。『Chill Corner』は、昨年12月18日に配布開始されたリラクゼーションゲーム。対応プラットフォームはPCで、無料にてダウンロード可能。日本語にも対応している。 『Chill Corner』の内容はシンプルだ。画面には立方体状の小部屋が映し出されている。バックには心休まるLo-FiのBGM。室内には、ごろごろとくつろぐペットが一匹と、住民キャラクターが一人何らかの作業をしている。ではこのキャラクターを操作して謎解きをするのかというと、そういうわけではない。ただワンルームで、一人と一匹が過ごす時間を眺め続けるだけなのだ。 部屋の環境はさまざまに変更することができる。たとえば天候が晴れのときは外から鳥のさえずりが聞こえるし、雨にすればしとしとと降りしきる音がBGMに加わる。ときには雪の日に設定して、しんと冷え

                                            Steamで無料Lo-Fi癒やしゲーム『Chill Corner』が人気。ネコのいる部屋を眺めるだけの、インタラクティブ作業用BGM - AUTOMATON
                                          • データサイエンティストという職業の10年間の変遷を振り返る - 渋谷駅前で働くデータサイエンティストのブログ

                                            (Image by Gordon Johnson from Pixabay) TL;DR 今年の6月に僕自身がデータサイエンティストに転じて10年という節目の年を迎え、10月でDavenportの「データサイエンティストは21世紀で最もセクシーな職業である」HBR総説から10周年になるのを機に、この10年間のデータサイエンティストという職業の変遷を振り返ることにしました。 6月の回顧録記事でも書いた通り、僕がデータサイエンティストの仕事に就いてから今年で10年になります。最近も同じかどうかは分かりませんが、古くから「10年ひと昔」という常套句がある通りで個人的には大きな節目の年だと感じています。 一方で、今年の10月にはあまりにも有名な「データサイエンティストは21世紀で最もセクシーな職業である」HBR総説が出てから10周年を迎え、後述するようにDavenportは「今もデータサイエンティ

                                              データサイエンティストという職業の10年間の変遷を振り返る - 渋谷駅前で働くデータサイエンティストのブログ
                                            • 『きかんしゃトーマス』490話を2周した夏の記録 | オモコロ

                                              ツクツクボウシが鳴いている。夏の終わりの始まりだ。僕はアパートの一室に閉じこもり、血走った眼で『きかんしゃトーマス』を観ていた。 ◇ 遡ること数ヶ月前。友人の家に遊びに行った僕は、彼の1歳半になる息子をあやしていた。動物と子どもには昔から好かれなくて、いないないばあをしては泣かれ、高い高いをしては嗚咽が出るほどの号泣をされた。異変に気づいた友人はすぐに息子を僕から取り上げ、iPadで動画を再生し始めた。 画面に映ったのは、きかんしゃトーマスだった。 イギリスにあるとされる架空の島「ソドー島」を舞台に、「トーマス」を中心とした人格を持った機関車たちが活躍する人形劇。そういえば僕も幼い頃、きかんしゃトーマスの虜だった。実家には今も当時のプラレールが大切に保存されている。 懐かしいオープニング映像と共に、青い機関車が走り出す。この世の終わりみたいな顔をしていた子どもは嘘のように泣き止み、目を丸く

                                                『きかんしゃトーマス』490話を2周した夏の記録 | オモコロ
                                              • 【実録】攻撃者のお気に入り API 10選 | DevelopersIO

                                                AWSアクセスキーセキュリティ意識向上委員会って何? 昨今、AWSのアクセスキーを漏洩させてしまうことが原因でアカウントへの侵入を受け、 多額の利用費発生・情報漏洩疑いなど重大なセキュリティ事案が発生するケースが実際に多々起きています。 そこで、アクセスキー運用に関する安全向上の取組みをブログでご紹介する企画をはじめました。 アクセスキーを利用する場合は利用する上でのリスクを正しく理解し、 セキュリティ対策を事前に適用した上で適切にご利用ください。 はじめに 弊社オペレーションチームでは、AWS よりお客様アカウントの侵害疑いの連絡を受けた際に、状況確認のため CloudTrail を調査しています。本記事では調査で気づいたことをいくつかお伝えできればと思います。 仮想通貨のマイニングを例とすると、攻撃者は自分たちの IAM ユーザーを作り、とにかく「ハイスペックなインスタンス」をとにかく

                                                  【実録】攻撃者のお気に入り API 10選 | DevelopersIO
                                                • 趣味でKaggleを始めたことをきっかけにデータサイエンティストになった話 - Qiita

                                                  Kaggleアドベントカレンダー2023の19日目の記事です. TL;DR データ分析未経験からkaggleでどんなことを学んだか 想像していたデータ分析と実業務とのGap kaggleやっていて良かったこと、kaggleでは学ばなかったこと はじめに 趣味でkaggleを始めたことをきっかけに、現在はデータ分析の仕事をしています。 Muj!rush!というアカウントでKaggleをしています。Kaggle expertです。 kaggleを始めてから3年程度経過したので(この3年間は、地球の公転が早まってんのかってくらい時間が経つのが早かったです)、これまでを振り返ることで、今後kaggleを始めてデータサイエンティストを目指すような方への参考になれば幸いです。 Kaggleと出会ったことで仕事への向き合い方や、今後のキャリアの考え方が変わったので、 僭越ながら一言だけ言わせてもらうと、

                                                    趣味でKaggleを始めたことをきっかけにデータサイエンティストになった話 - Qiita
                                                  • 【資料公開】AWSアカウントで最初にやるべきこと 〜2022年6月版〜 | DevelopersIO

                                                    ログ・モニタリングのやること AWS CloudTrail の設定 CloudTrail は AWS リソースに関して「誰が」「いつ」「何に」対して「どうような」操作をしたのかのイベントを記録するサービスです。イベント履歴から 90 日間分のイベントを確認することはできますが、イベントログの長期保管の設定(証跡の作成を行い、S3 に保管)をしておくことで、トラブル発生時の解析やインシデント発生時の調査などに利用できます。 有料です(無料利用枠もあります)。 [YouTube] AWS CloudTrail を触ってみた CloudTrail Insights イベントを利用することで、機械学習により異常なアクティビティを検出することもできます。通常の操作で検出されることがあるため、始めに試してみて、あまり活用しないようであれば無効化を検討でも良いと思います。 イベントログは S3 と Cl

                                                      【資料公開】AWSアカウントで最初にやるべきこと 〜2022年6月版〜 | DevelopersIO
                                                    • Azure環境作ったら最初にやるべきこと(2021年版)

                                                      はじめに Azure環境作ったら最初にやるべきこと(2021年版)と題して一記事書いてみたいと思います。 ※補足事項 「Azure環境作ったら最初にやるべきこと」の定義 この場では「どんなサービス/リソースを使うかに関わらず、誰もが全環境でやるべき最初のステップ」という主旨ととらえていただければと思います。 Azure環境運用していくうえで、「SQL Databaseのベストプラクティスは何?」とか「Web Appsだったらこうやって使うよね」とか細かい設定を挙げると色々あるのですが、今回は対象外。 なので、基本的には「Azureを使うすべて人」にとって意味のある記事になってるはずです。 先駆者たちの情報を探す AWSだと個人のブログもいっぱいあるし、かの有名なClassmethodさんのブログでもこういった記事がまとめられています。 初心者に優しいというか、いろんな情報が転がっていて、「

                                                        Azure環境作ったら最初にやるべきこと(2021年版)
                                                      • [AWS利用者必読] アクセスキー漏洩による不正利用について | DevelopersIO

                                                        AWSアクセスキーセキュリティ意識向上委員会って何? 昨今、AWSのアクセスキーを漏洩させてしまうことが原因でアカウントへの侵入を受け、 多額の利用費発生・情報漏洩疑いなど重大なセキュリティ事案が発生するケースが実際に多々起きています。 そこで、アクセスキー運用に関する安全向上の取組みをブログでご紹介する企画をはじめました。 アクセスキーを利用する場合は利用する上でのリスクを正しく理解し、 セキュリティ対策を事前に適用した上で適切にご利用ください。 【はじめに】 昨今、アクセスキーの漏洩を契機とした不正利用の発生が多発しております。AWS 利用のお客様へのビジネスリスクが非常に大きく、弊社としても憂慮する状況です。 そのため、以下をお読み頂き AWS 利用のお客様は環境の見直しをお願い致します。 【この記事で伝えたいこと】 多額の費用発生リスクをなくすために、可能な限りアクセスキーの利用を

                                                          [AWS利用者必読] アクセスキー漏洩による不正利用について | DevelopersIO
                                                        • 「乳がんや脳腫瘍を検出するAI」を公開した人物は本職ではなくアマチュアのプログラマー、高性能グラボを自腹で数十枚購入

                                                          2018年、「coolwulf」と名乗るプログラマーが、アップロードされたX線画像から約90%の精度で乳がんを検出するウェブサイトを無料で公開しました。中国のオンライン開発者フォーラム「V2EX」では開発者に対してさまざまな質問が寄せられましたが、coolwulfは個人的な質問には答えないまま沈黙を続けました。そして2022年、coolwulfはAIで脳腫瘍の正確な位置を検出する「NeuralRad」というプラットフォームを公開。再び表舞台に姿を見せたcoolwulfに対し、中国のニュースサイト・今日頭条がインタビューしています。 这名“业余”程序员,曾用50张1080Ti对抗癌症-今日头条 https://www.toutiao.com/article/7094940100450107935/?wid=1653278073761 This "amateur" programmer fou

                                                            「乳がんや脳腫瘍を検出するAI」を公開した人物は本職ではなくアマチュアのプログラマー、高性能グラボを自腹で数十枚購入
                                                          • 最近流行りのWebスキミングについて調べてみた - セキュアスカイプラス

                                                            こんにちは!もう新卒エンジニアとは言えなくなった西尾です!(社会人2年目) 最近、世界的に流行っているWebスキミングについて調べていたのですが、意外と日本語の情報が少なかったので、今回はWebスキミングについて調べた内容をブログにまとめてみました。 Webスキミングとは Webスキミング(Web skimming)とは、その名の通り Web版のスキミング です。具体的には、ECサイトなどの決済画面に不正なスクリプトを埋め込み、ユーザがフォームに入力したクレジットカード情報を窃取する攻撃です。 一般的には「フォームジャッキング」とも呼ばれている攻撃ですが、個人的には「Webスキミング」の方が直感的に分かりやすいかなぁと思ってます。 Webスキミング自体は数年前から発生していたようですが、昨年イギリスの大手航空会社が大きな被害を受けたことがきっかけで有名になり、最近は世界中でスキミング被害が

                                                              最近流行りのWebスキミングについて調べてみた - セキュアスカイプラス
                                                            • サーバーレスのセキュリティリスク - AWS Lambdaにおける脆弱性攻撃と対策 - Flatt Security Blog

                                                              はじめに こんにちは、株式会社Flatt Security セキュリティエンジニアの森岡(@scgajge12)です。 本稿では、AWS Lambda で起こりうる脆弱性攻撃やリスク、セキュリティ対策を解説し、サーバーレスにおけるセキュリティリスクについて紹介します。 はじめに AWS Lambda について サーバーレスにおけるセキュリティリスク AWS Lambda で起こりうる脆弱性攻撃 Lambda での脆弱性攻撃によるリスク 脆弱性攻撃による更なるリスク OS Command Injection XML External Entity (XXE) Insecure Deserialization Server Side Request Forgery (SSRF) Remote Code Execution (RCE) AWS Lambda におけるセキュリティ対策 セキュリティ

                                                                サーバーレスのセキュリティリスク - AWS Lambdaにおける脆弱性攻撃と対策 - Flatt Security Blog
                                                              • 暗号通貨には手を出すな

                                                                TL;DR 長期的に見て投資価値が無いという話 これはパブリック型のブロックチェーンをベースにした暗号通貨の話で、プライベート(コンソーシアム)型ブロックチェーンの話は知りません。 解決の糸口すらない問題:金融犯罪 Bitcoinが電力を食い過ぎる問題は有名で、世界中の主要なスパコンを凌ぐ電力を地球規模で消費している。そこに関してはProof of Stakeだのの亜種で解けるかも知れないという話は出ている。実際、ゲーム理論の応用で「悪用しようとすると損をするので経済的利得の観点から協力する事になる」という方向で悪意のないシステムを作ろうというアイデアは面白い。 しかしながらこの方向性でどこまで掘っても解決しそうに見えない問題がある。金融犯罪である。 ゲーム理論によって守れるのは通貨システムを崩壊させない事までであって、その通貨システムのルールの上での詐欺まで防げるわけではない。ATMをガ

                                                                  暗号通貨には手を出すな
                                                                • 「AWS全体のセキュリティ管理と快適なセキュリティ運用」というタイトルで登壇しました | DevelopersIO

                                                                  こんにちは、臼田です。 みなさん、AWSできるマンの人材育成してますか?(挨拶 今回は、2022年4月8日に実施したAWSトレーニング・人材育成ウェビナー 今あなたが学ぶべきAWSセキュリティにてお話した内容をブログにまとめます。 資料 解説 私の内容の解説の前に少し追加の情報を。 今回のイベントでは私の前に「怖がらずにセキュリティと向き合うために」というタイトルで、アマゾン ウェブ サービス ジャパン合同会社 セキュリティ アシュアランス本部 本部長の松本照吾さんにご登壇いただきました。怖がらずにセキュリティと向き合うために、どう考えてどう取り組めばいいか、大変良く分かる内容でした。ぜひ松本照吾さんが他の場で登壇されるのを見かけたら、話を聞いてみてください。 では私のセッションの話を。 私のセッションのテーマは「AWSセキュリティを理解して便利に運用しよう」です。よく一般ではITのセキュ

                                                                    「AWS全体のセキュリティ管理と快適なセキュリティ運用」というタイトルで登壇しました | DevelopersIO
                                                                  • マルウェア感染によるPayPayアカウントの不正利用についてまとめてみた - piyolog

                                                                    2019年5月23日、愛知県警はPayPayを不正に利用した詐欺事件で被疑者を逮捕(その後不起訴)したと発表しました。また2019年6月6日、日本経済新聞はこの事件で不正利用されたPayPayアカウントがマルウェア感染を通じて作成されたものであったと報じました。ここでは関連する情報をまとめます。 PayPayアカウント 不正利用事案の概要 日時 出来事 2018年12月4日 PayPayで100億円あげちゃうキャンペーンが開始。 2018年12月*1 偽佐川急便のSMSを通じて男性Aがマルウェアに感染。 感染から1時間以内 何者かが男性Aの電話番号を使ってPayPayのアカウントを作成。 2018年12月9日~11日 栃木県の男の所有するPayPayアカウントで約1000万相当の購入記録。 2018年12月10日 栃木県の男が愛知県名古屋市でPayPayを使って約35万円分を不正購入。 2

                                                                      マルウェア感染によるPayPayアカウントの不正利用についてまとめてみた - piyolog
                                                                    • 自然言語を簡単に可視化・分析できるライブラリ「nlplot」を公開しました - ギークなエンジニアを目指す男

                                                                      こんにちは。たかぱい(@takapy0210)です。 本日は自然言語の可視化を手軽にできるようにしたパッケージnlplotをPyPIに公開したので、これのご紹介です。 nlplotとは? nlplotで何ができるか 使い方 使用データ 事前準備 ストップワードの計算 N-gram bar chart N-gram tree Map Histogram of the word count wordcloud co-occurrence networks sunburst chart まとめ nlplotとは? 自然言語の基本的な可視化を手軽にできるようにしたパッケージです。 現在は日本語と英語で動作確認済みです。 基本的な描画はplotlyを用いているため、notebook上からインタラクティブにグラフを操作することができます。 github.com (スター★お待ちしております🙇‍♂️)

                                                                        自然言語を簡単に可視化・分析できるライブラリ「nlplot」を公開しました - ギークなエンジニアを目指す男
                                                                      • 国家レベルの電力を消費するビットコインマイニングの消費電力量をケンブリッジ大学が分かりやすく解説

                                                                        Bitcoin(ビットコイン)などの暗号資産はコンピューターを使って複雑な計算を解くマイニングと呼ばれる処理を行うことで、新たに発行された暗号資産を獲得することができます。マイニングを効率的に行うには大規模なコンピューター設備が必要で、世界中で莫大な電力を消費しながらマイニングが行われています。そんなビットコインのマイニングによる消費電力量を分かりやすく示した「Cambridge Bitcoin Electricity Consumption Index (CBECI)」をイギリスのケンブリッジ大学が公開しています。 Cambridge Bitcoin Electricity Consumption Index (CBECI) https://cbeci.org/ CBECIのトップページでは、世界中のビットコインマイニングによる消費電力の理論的最小値、推定値、理論的最大値が30秒ごとに更

                                                                          国家レベルの電力を消費するビットコインマイニングの消費電力量をケンブリッジ大学が分かりやすく解説
                                                                        • タイムスタンプの再発見と「いわゆるブロックチェーン」

                                                                          (第三者)検証可能な形で情報の非改ざんを保証することブロックチェーン技術の登場により、「情報が改ざんされずに検証できる形で残る」という機能が注目を集めている。しかし、ブロックチェーン技術の文脈でこの機能との関係を考える時に、多くの議論において技術史を踏まえない曖昧な議論が散見され、これが様々な場面で無用なディベートを生み出しているように見られる。そこで、この機能についての歴史を紐解きながら、「いわゆるブロックチェーン」をどう理解したらいいのかを述べたい。 この節のタイトルのように、第三者検証可能な形で情報の非改ざんを保証すること、という要請はもちろん古くから存在する。その多くは、信頼される第三者機関が、ある時点で文書が存在したことを証明するというもので、日本では法務省が所轄する公証制度が存在する[1]。[1]では、公証制度のことを以下のように書いている。 公証制度とは,国民の私的な法律紛争

                                                                            タイムスタンプの再発見と「いわゆるブロックチェーン」
                                                                          • 仮想通貨の無断「採掘」に逆転有罪 東京高裁  :日本経済新聞

                                                                            閲覧した人のパソコン(PC)端末の処理能力を無断で使って暗号資産(仮想通貨)を採掘(マイニング)するプログラムをウェブサイトに設置したとして、ウェブデザイナーの諸井聖也被告(32)が不正指令電磁的記録保管罪に問われた事件の控訴審判決が7日、東京高裁であった。栃木力裁判長は被告を無罪とした一審・横浜地裁判決を破棄し、罰金10万円の有罪とした。 諸井被告は「とても残念です」と話し、弁護人は上告する方針を明らかにした。 判決で栃木裁判長は、他人のPC端末の処理能力を使って仮想通貨をマイニングするプログラム「Coinhive(コインハイブ)」について「PCの機能が提供されていることを知る機会や実行を拒絶する機会も保障されていない」として、意図に反するものと指摘。また「(閲覧者に)一定の不利益を与えるプログラムと言えるうえ、生じる不利益に関する表示もされておらず、社会的に許容すべき点は見あたらない」

                                                                              仮想通貨の無断「採掘」に逆転有罪 東京高裁  :日本経済新聞
                                                                            • RDBの限界とNoSQLの登場

                                                                              事実世界のインターネット人口が増えたのは1990年代からだ。 [引用] http://www.soumu.go.jp/johotsusintokei/whitepaper/ja/h10/html/98wp2-3-1f.html [引用] http://www.soumu.go.jp/johotsusintokei/whitepaper/ja/h29/html/nc144210.html __NoSQL__の登場 1990年に入るとインターネットの利用人口が急激に増加することになる。 この頃からトランザクションに最適化されて設計されたDBでは性能劣化が始まり、システムはデータベースに対しスケール性能を必要とし始める。 多くの開発者は、単一の強力なサーバーでリレーショナル・データベースを実行するのではなく、リレーショナル・データベース管理システム (RDBMS) のパーティショニング (シャー

                                                                                RDBの限界とNoSQLの登場
                                                                              • ビットコイン ・ 仮想通貨で稼ぐってどうやるの総まとめ(2020年版)|ヨーロピアン|note

                                                                                はじめに 現状の仮想通貨投資は「分かっている」人にとっては非常に割が良く、他の金融商品にはない金脈がそこかしこに残されています。しかしこの場合の「分かっている」はそれなりの知識で武装していることを指しますし、その上で多少の手間暇をかけることも求められます。 とはいえ抑えるべきところを抑えていれば大怪我はしないこと、またテンプレ的な「正解」もそれなりにあることから、ほどほどの利回りを得ようと思ったらそこまで苦労する話でもない…… という絶妙なバランスの上にあります。 適度にサボるのも自由、本気出して頑張るのも自由。頑張っただけリターンは返ってくる。 はい、こう書くと非常に魅力的に見えますね。こっから先はそこそこ長いですが続きを読む気になりましたでしょうか? そんなこんなで皆さんお久しぶりです。ヨーロピアンです。皆さん、消耗してますか?(挨拶) 冒頭に書いた通りで、今の仮想通貨はめんどくさいこ

                                                                                  ビットコイン ・ 仮想通貨で稼ぐってどうやるの総まとめ(2020年版)|ヨーロピアン|note
                                                                                • オンライン講座MOOCで英語版「プログラミングしながら学ぶコンピュータサイエンス入門」を公開

                                                                                  東京工業大学は、インターネット上で誰でもいつでも無料で受講できる大規模オンライン講座MOOC(ムーク)※1を2015年10月より提供しています。すでに10コースを公開し、200を超える国と地域から10万人以上が受講しています。5月から人気コース「プログラミングしながら学ぶコンピュータサイエンス入門」の英語版として、「Introduction to Computer Science and Programming」を世界的なMOOCのプラットフォームedX(エデックス)※2で公開しました。 新型コロナウイルス感染症の影響で、2020年は世界中でMOOC受講者が急激に増加し、前年より6000万人も増えました。日本語からほかの言語への翻訳も求められています。 「プログラミングしながら学ぶコンピュータサイエンス入門」は渡辺治理事・副学長(研究担当)が担当し2019年8月に日本語で公開しました。今回

                                                                                    オンライン講座MOOCで英語版「プログラミングしながら学ぶコンピュータサイエンス入門」を公開