IT未経験からMLエンジニアになるまでの2年半でやったこと - MLaaSS - Machine Learning as a Self-Satisfaction
はじめに 自身の転職活動にあたり皆さんの転職エントリが非常に参考になったので、私も同じ境遇の方の参考になればと思い、書き残すことにしました。（ただ、本当に私と似た境遇の方にはなかなかリーチしづらい気がしていますが・・・） TLDR; 30歳でIT未経験からMLエンジニアに転職 約2年半独学で勉強（ほとんどkaggleしてただけ） 無関係に思えた現職での経験もなんだかんだ転職で役に立った 目次 自己紹介 現職について 転職の理由 勉強したこと 転職活動 終わりに 1.自己紹介 かまろという名前でTwitterなりkaggleなりをやっています。kaggleでは画像やNLPといったdeep learning系のコンペを中心に取り組んでおり、2019年の9月に金メダルを獲得しMasterになることができました。 恐らくここが他の転職エントリを書かれている方々と大きく異なる点かと思うのですが、現職
データサイエンス100本ノックを、Google ColabとAzure Notebooksで気軽に行いたい！ - Qiita
データサイエンス100本ノックを、Google ColabとAzure Notebooksで気軽に行いたい！ はじめに 2020年6月15日に、データサイエンティスト協会より発表されました「データサイエンス100本ノック（構造化データ加工編）」の素晴らしさに感動した私は早速ドリルを解き、めくるめくデータサイエンスの大冒険をエンジョイしていた。 しかし、ふと気づくとOriginalのデータサイエンス100本ノック（構造化データ加工編）はDocker形式で提供されており、実践的な演習が可能である一方でお手軽感はかった。同じ思いの人も数多く存在すると考え、より気軽に100本ノックするためにGoogle ColabとAzure Notebookで実行可能な演習スクリプトと解答編スクリプトを作成した。なお、作成者である私がPythonしか使えないのでPythonのみである。R派の方、申し訳ない。 ど
自然言語を簡単に可視化・分析できるライブラリ「nlplot」を公開しました - ギークなエンジニアを目指す男
こんにちは。たかぱい（@takapy0210）です。 本日は自然言語の可視化を手軽にできるようにしたパッケージnlplotをPyPIに公開したので、これのご紹介です。 nlplotとは？ nlplotで何ができるか 使い方 使用データ 事前準備 ストップワードの計算 N-gram bar chart N-gram tree Map Histogram of the word count wordcloud co-occurrence networks sunburst chart まとめ nlplotとは？ 自然言語の基本的な可視化を手軽にできるようにしたパッケージです。 現在は日本語と英語で動作確認済みです。 基本的な描画はplotlyを用いているため、notebook上からインタラクティブにグラフを操作することができます。 github.com （スター★お待ちしております🙇♂️）
まだExcelで消耗してるの？Pythonによる自動集計ガイド 基礎編 - Qiita
ちょっとしたデータの加工や集計に、ExcelやGoogle Spreadsheetは便利ですが、それが日常的な作業になってしまったら自動化したいですよね？ そこでお勧めなのがpandasです。 Pandasは Python 用のデータ処理パッケージであり、ExcelファイルやCSVなどの表形式データを読みこみ、加工や集計した上で、出力するといったことがプログラムで記述できます。また開発環境を用意しなくとも、Googleが提供する無料の開発環境であるColaboratory上で、すぐに試すことができます。 そしてPythonは、Office 98以降20年以降更新されていないVBAに代わる新たなスクリプト言語として、Microsoftが採用を検討しているという話もあります。 ExcelにPython搭載、マイクロソフトが検討。アンケートを実施中 まずPandasの全体像を掴んでみる Pand
これでprintデバッグから卒業！VS CodeでPythonデバッグ入門 - karaage. [からあげ]
追記：VS Codeの入門書をZennでリリースしました ブログで扱ったVS Code関連の記事をまとめて、無料の電子書籍としてZennというプラットフォームでリリースしました。よければ、こちらも参考にしてみてください。 printデバッグから卒業したい！ プログラムを書いて問題があったとき必要なのがデバッグですね。私はいつも問題が起こったとき、問題ありそうなところで print(ほにゃらら)として、気になるものを一つずつ中身を確認していました。 デバッガという言葉は知っていて、何度か試したことはあるのですが、いちいちコマンドを打つのが大変で、次にデバッグが必要なときは既にデバッガの使い方を忘れてしまい、結局また1からprintデバッグをするという体たらくでした。 しかし、いい加減もうちょっとレベルアップしないといけないと思い立ったのと、VS Codeというエディタを使いこなすと結構楽にデ
![これでprintデバッグから卒業！VS CodeでPythonデバッグ入門 - karaage. [からあげ]](https://cdn-ak-scissors.b.st-hatena.com/image/square/9774b3310e690eda1669fae9a094d513dc4713c5/height=288;version=1;width=512/https%3A%2F%2Fcdn-ak.f.st-hatena.com%2Fimages%2Ffotolife%2Fk%2Fkaraage%2F20190210%2F20190210135909.png)
【受験記録】Python 3 エンジニア認定基礎試験 | ATC構築サービス
基礎を固めたいけど重い腰があがらないので、嫌々試験を受けて無理矢理勉強させる。 Pythonは自動化のスクリプトなどに使い仕事を楽に手早く片付けたい。 今のところ機械学習とかには興味はない。 ・中小規模のサーバ、ネットワーク構築が本業のいわゆるSIer ・ルーチンワークが嫌いなのでExcel VBAだけはそこそこ使える ・開発の実務経験はない ・学生の頃にJavaをやってた（もうなにもわからない） プログラムが全くわからないわけでもないけど、経験者と呼べるほどのスキルもなくPythonはかじった程度からの試験勉強スタート。 試験対策としては、下記のブログでご紹介されてます。 参考ページの内容を参考にしました。 Python3エンジニア認定基礎試験の効率的な勉強方法! 参考ページ：（重要）「Pythonチュートリアル 第3版」の出題範囲ごとに勉強する 試験範囲が「Pythonチュートリアル
Python3 エンジニア認定基礎試験、不合格でした
どうもみなさん、ノムノムです。 3/17(土)にPython3の試験を受けてきました。 結果はタイトルの通り...不合格でした。 ネットで調べると合格した方の記事しかないので、 不合格になった私の勉強方法とその問題点を書いていきます。 そもそもPython3 エンジニア認定基礎試験とは この試験は「一般社団法人 Pythonエンジニア育成推進協会」が実施している民間試験です。 試験については以下の通りです。 試験時間は60分、全40問で700/1000点(1問25点)で合格 受験料は10,800円(税込) ※学生は半額で受験できます CBTによるPCを使った選択式テストなのですぐに結果が確認できる 受験は公式で指定されている施設で実施(受験可能な施設はここで確認) 教材はオライリーの「Pythonチュートリアル 第3版」(公式にて出題傾向を掲載) どう勉強したか 私の勉強方法は次の通りです
Python3エンジニア認定基礎試験の効率的な勉強方法!
とりあえず、初日に合格しましたPython3エンジニア認定基礎試験（以下、Python試験）は2017年6月9日に開始された試験です。 私は（とりあえず）開始日に合格しました。その辺の体験記については以下の記事を読んでください。 今回の記事は、私が実際に試験を受験した経験を踏まえて、効率的だろうと思われる勉強方法を紹介するものです。 満点を取るための勉強方法ではありません。とりあえず試験に早く合格したい人向けです。 Disclaimerこの記事（ブログを通して）には、試験の具体的な問題は一切記載していません。 あくまでも公式ページが公開している内容を元に、効率が良いと思われる勉強方法を、実際に合格した筆者が紹介しているものです。 まず、試験範囲を理解する最も重要な作業です。所要時間は1時間くらいが目安です。 これはPython試験に限った話ではなく、CCIEやVCPなどのIT資格の勉強全般
Python の基礎知識を証明できる「Python 3 エンジニア認定基礎試験」に合格した - kakakakakku blog
先週末に「Python 3 エンジニア認定基礎試験」を受験し，問題なく合格した．試験問題に関係する内容は NDA を厳守するため書かず，今回は「試験紹介（普及のため！）」と「勉強方法」にフォーカスする． Python 試験とは？ 「一般社団法人 Python エンジニア育成推進協会」が提供する Python 試験は2種類ある．現在受験できるのは「認定基礎試験」で，「認定データ分析試験」は今年開始予定とアナウンスされている． Python 3 エンジニア認定基礎試験 概要 : 文法基礎を問う試験 2017年6月開始 Python 3 エンジニア認定データ分析試験 概要 : Pythonを使ったデータ分析の基礎や方法を問う試験 2019年夏開始予定 🚧 もともと「認定データ分析試験」を受験しようと考えていたけど，調べてみるとまだ開始されていないことに気付き，その前に Python の理解度確
ExcelにPythonが搭載？その後 - xlwings を使おう - Qiita
マイクロソフトが Excel に Python を搭載することを検討しているというニュースが流れたのは１年前のことで、結構話題になりました。昨年の Python Advent Calendar 2017 では、ExcelにPythonが搭載されることを期待して「ExcelにPythonが搭載？」という記事を書きましたが、今回は、その続編を書きます。 そのニュースというのは、マイクロソフトが Excel に Python を搭載するかどうかを検討するためアンケートを実施したということなのですが、詳しく知りたい方は、Publickeyの「ExcelにPython搭載、マイクロソフトが検討。アンケートを実施中」という記事がわかりやすいので、そちらをみてください。 その後どうなったかというと、マイクロソフトが運営しているコミュニティサイト「Excel’s Suggestion Box」に投稿されて
Python本まとめ・2019年版 - Webとデータ分析を初心者が仕事にするまで - Lean Baseball
毎年恒例、Pythonの本と学び方のまとめ・2019年バージョンとなります. ※2021/1/11更新：2021年版あります ※2020/1/9更新：2020年版もあります, こちらもよろしくおねがいします！ ※ちなみに昨年版はこちら 改めましてこんにちは、Pythonと野球を仕事にしています、@shinyorke（Python歴おおよそ8年）ともうします. なお、Python その2 Advent Calendar 2018 12/24記事でもあります. このエントリーはそこそこ長いので、「最初の方をサクッと読んで、残りはつまみ読み」してもらえると良いかもです！*1 ※もちろん全部読んでも構いません！（それはそれで嬉しい） サクッとまとめると 入り口としての「独学プログラマー」は万人が読んだほうが良い名著 データ分析・解析やりたい人も、Webからやっておくと良いかも（特に前処理） Web
Jupyter Notebook と VS Code でバッハの平均律第1番を分析する - miso_soup3 Blog
Jupyter Notebook で、楽譜を表示したり、その楽譜を再生してみたり、曲を分析したりしてみました。そのことについて書きます。分析といっても簡単なものです。 目次 Code, .ipynb 環境 VS Code で Jupyter Notebook music21 とは 曲の作成と表示 バッハの平均律を分析 分析 後半 参考 追記 Code, .ipynb Jupyter Notebook: https://mybinder.org/v2/gh/hhyyg/miso.py.music21bach/master ここにある2つの .ipynb ファイルから確認できます ただし、画像・音声生成部分などは再実行ができません GitHub: https://github.com/hhyyg/miso.py.music21bach 環境 Mac Visual Studio Code Pyt
Python: 機械学習における不均衡データの問題点と対処法について - CUBE SUGAR CONTAINER
機械学習における分類問題では、扱うデータセットに含まれるラベルに偏りのあるケースがある。 これは、例えば異常検知の分野では特に顕著で、異常なデータというのは正常なデータに比べると極端に数が少ない。 正常なデータが 99.99% なのに対し異常なデータは 0.01% なんてこともある。 このようなデータセットは不均衡データ (Imbalanced data) といって機械学習で扱う上で注意を要する。 今回は、不均衡データを扱う上での問題点と、その対処法について見てみる。 なお、登場する分類問題の評価指標については、以前このブログで扱ったことがあるのでそちらを参照のこと。 blog.amedama.jp 使った環境は次の通り。 $ sw_vers ProductName: Mac OS X ProductVersion: 10.14.2 BuildVersion: 18C54 $ python
Pythonでこんなことできちゃうんです＊随時更新＊
はじめに 日々、StackOverflow や Qiita や Medium らで pythonについてググっている私がこれ使えるな、面白いなと思った tips や tricks, ハックを載せていくよ。 簡単な例文だけ載せてくスタイル。新しいの発見次第、じゃんじゃん頻繁に追加していくよ。 これも知っとけ！これ間違ってる！ってのがあったら、コメント下さい。 このモジュルやライブラリーの関数とか基本/応用的な使い方を知りたいけど、自分で探すの面倒、英語意味不ってのがありましたらそれもコメントにどうぞ。私が代わりに調査 • 解析を努力致します。 簡単な例文を心がけてはいますが、なにせ読むな！見て感じろ！なくらい説明不十分なので、初歩的な関数の使い方などのpython知識を所有しているとすんなり理解しやすいかと思います。多分。 注:リンク先は全て英語です。PEP8をいつかは読みましょう。良いスタ
Python + Selenium で Chrome の自動操作を一通り（ログイン、ダウンロード、他）
はじめに Python + Selenium + Chrome で、要素の取得、クリックなどの UI系の操作、待機、ページ全体のスクリーンショットなど、一通り試してみます。 PhantomJS はもう更新されないということなので、ブラウザは Chrome にします。 この記事には、Selenium の API に関する情報と Chrome に特化した情報がありますが、前者の Selenium の使い方に関する情報は Firefox など別のブラウザでも使えます。 注意事項 ウェブの自動テストやスクレイピングで使われる技術です。特にスクレイピングでは、著作権の問題や、サーバー側の負荷、各種規約（会員としてログインする場合の会員規約等）やマナーなどを考慮する必要があります。 たとえば、Twitter など利用規約で明示的にスクレイピングが禁止されていることや、robot.txt などでクローリ
Pythonの学び方と,読むべき本を体系化しました2018〜初心者から上級者まで - Lean Baseball
【2021/1/11】2021年版を公開しました 【2020/1/9】2020年版もあります, こちらもよろしくおねがいします！ 【2019/8/12】一部書籍のリンクを最新版に更新しました 【2018/12/24追記】最新版を公開しました！「Python本まとめ・2019年版 - Webとデータ分析を初心者が仕事にするまで - Lean Baseball」 機械学習にWebアプリ,そしてFintechと,今年（2017年）は昨年（2016年）以上にPython界隈が賑やかな一年でした. Pythonでお仕事と野球データ分析を生業としている@shinyorke（野球の人）ですこんにちは. このエントリーでは,そんなPythonの学び方・本が充実した今年から来年（2018年）に移るにあたり, 最短距離でPythonレベルを上げるための学び方・読むべき本の選び方〜2018 をまとめてみました.
スクレイピング初心者がpythonでかわいい猫ちゃん画像をコマンド一発でネットから収集してみた - karaage. [からあげ]
注：この猫ちゃん画像は昔私が撮影した猫ちゃんで、ネットから落とした画像ではありません 追記：現在このスクリプトは使用できないようです Yahoo画像検索の仕様が変わったらしく、2018/08/12 の時点でこのスクリプトは使用できないようです。仕様が変わると適用できなくなるのは、スクレイピングのスクリプトの宿命ですね。今のところ対応の予定はありません。申し訳ございません。 ネットから画像収集しようとしたら意外に大変だった 最近、以下で書いているように機械学習に興味津々だったりします。 機械学習やディープラーニングを試していると、やっぱり試したくなるのが、チュートリアルで使用しているデータセット以外のデータにも同じ手法が適用できるかどうかですね。 とりあえず画像をネットから収集しようかなと思い、googleの画像検索の結果を一つ一つ右クリックで落とし始めたのですが、どう考えても非人間的過ぎま
![スクレイピング初心者がpythonでかわいい猫ちゃん画像をコマンド一発でネットから収集してみた - karaage. [からあげ]](https://cdn-ak-scissors.b.st-hatena.com/image/square/46a7c2d0d0c97b98734e444364d9acf68ad37122/height=288;version=1;width=512/https%3A%2F%2Fcdn-ak.f.st-hatena.com%2Fimages%2Ffotolife%2Fk%2Fkaraage%2F20170814%2F20170814144955.jpg)
pythonによる画像処理入門 - webエンジニアの日常
はじめに 今回はpythonによる画像処理のお話です。 普段仕事ではRubyメインなのですが、最近趣味でpythonを勉強しはじめ、画像を加工するのが意外と簡単だと分かったので、簡単な画像処理について書いてみました。 pythonについてはまだまだ勉強中なので、python的にはこうは書かない、これだと処理が遅い、コードが汚いなどなどありましたら、コメントで教えていただけると幸いです。 また、以下のコードではpythonのライブラリ、numpy, pillowを使用しています。 著者の環境ではwindows10上でAnaconda3を使用しているため別途インストールは不要でしたが、実行する際は必要に応じてインストールをお願いします。 画像処理の概要 画像の加工は単純に各ピクセルの色を画像の端から端まで順番に変更することで実現しています。 そこで、まずは画像ファイルを読み込み、操作しやすいよ
機械学習素人が2か月半で機械学習を入門したことまとめ - あさのひとりごと
ちまたでは、機械学習がブームのようです。 が、、まったく時代についていけていません。 しかし、機械学習、特に自然言語処理に精通した人の採用にかかわる仕事をしている、、、 にもかかわらず、自然言語処理どころか機械学習が全く分からない。 これでは、いけない。ということで 「機械学習をたしなむ学生の皆さんと、ふわっと雑談ができるレベル」 を目指して、2017年正月明けから勉強を始めました。 ちなみに、どんなにキリが悪くても1日3時間まで！と決めています。 そもそも機械学習に興味関心があるわけではない やらなければならない他の仕事がある 家事育児が優先 なので、すこしでも無理すると続かないためです。 「AIで世界を変えられる！」 「人工知能で想像もできない未来が、、、」 みたいなご時世の中、ありえないほどの低テンションで淡々と勉強しているわけで 逆に、そういう意識低い系人間はそんなに多くないでしょ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
1日で基本が身につく! Python超入門
