データ分析ガチ勉強アドベントカレンダー 24日目。 当サイトでも、Pythonを使ったデータ分析や機械学習について、勉強しながらそれをアウトプットとして出すと言うかたちで、何個も記事を書いてきました。 記事数で言えば50とかそのくらいあるような気がします。 カレンダーも完成しつつあるので、個々では当サイトの総まとめとして、機械学習やデータ分析に触れたいという人がゼロから始めて触れられるように、記事をまとめていきたいと思います。 何か面白いことを勉強したい学生、就職までの勉強に、急に機械学習を使わなければならない社会人方々は、読んで見てください。 0. 環境構築 0.1. Pythonの導入 (Anaconda) 0.2. エディタ (Pycharm/VSCode) 0.3. バージョン管理 (Git) 1. Pythonの使い方(基本ライブラリ) 1.1. 数値計算 : numpy 1.2

まだLinuxが生まれてから2年ほどだった、1993年に登場した最古参のLinuxディストリビューションが「Slackware」です。シンプルさが信条のOSで、600円台からの小型PC「Raspberry Pi（ラズパイ）」にピッタリなOSです。 Slackwareをラズパイで動かそうとするプロジェクトはいくつかありますが、ここではRaspberry Pi 1/2/3をサポートする「Slackware ARM on a Raspberry Pi（SARPi）」を紹介します。SARPiプロジェクトが手がけており、ラズパイにSlackwareを導入するインストーラーを提供しています。

今日からはじめるGitHub ～ 初心者がGitをインストールして、プルリクできるようになるまでを解説 エンジニアであれば、チーム開発ではもちろんのこと、個人開発でもGitを用いてバージョン管理していきたいもの。今回は、GitやGitHubをはじめて使う人に向けて、導入から初歩的な使い方までを解説します。 ソースコードの管理はできていますか？ ファイルを修正するときに、修正前のソースコードをhoge.php.bakのようなバックアップファイルとして残し、開発環境をゴミだらけにしていませんか？ エンジニアであれば、チーム開発ではもちろんのこと、個人開発でもGitを用いてバージョン管理していきたいもの。今回は、GitやGitHubをはじめて使う人に向けて、導入から初歩的な使い方までを解説します。 ここではGitの詳細な仕組みには触れません。GitやGitHubを利用したことのない人が、Gitを

【2021/1/11】2021年版を公開しました 【2020/1/9】2020年版もあります, こちらもよろしくおねがいします！ 【2019/8/12】一部書籍のリンクを最新版に更新しました 【2018/12/24追記】最新版を公開しました！「Python本まとめ・2019年版 - Webとデータ分析を初心者が仕事にするまで - Lean Baseball」 機械学習にWebアプリ,そしてFintechと,今年（2017年）は昨年（2016年）以上にPython界隈が賑やかな一年でした. Pythonでお仕事と野球データ分析を生業としている@shinyorke（野球の人）ですこんにちは. このエントリーでは,そんなPythonの学び方・本が充実した今年から来年（2018年）に移るにあたり, 最短距離でPythonレベルを上げるための学び方・読むべき本の選び方〜2018 をまとめてみました.

Kerasで開発すると、複雑な数式によるモデル構築をせずとも、ディープラーニングによる時系列学習モデルが開発でき、　データ予測が実現できる、ということを、実際に動くコードで実感していただくセッションです。

Fringe81 Advent Calendar 19日目です。 本記事は、Wide & Deep Learningの基本的な概念の理解をゴールにしており、実装の細かい話については触れません。 Wide & Deep Learningの詳細を知りたい方は以下のページを参照下さい。 TensorFlow Wide & Deep Learning Tutorial Research Blog: Wide & Deep Learning: Better Together with TensorFlow 対象読者 Python/TensorFlowで機械学習のモデリングをしている 高次元スパースなデータを扱っている 線形モデルとDeepLearningの良いところ取りをしたい TensorFlowとは 以下の記事を参照下さい。 DeepAge: ビッグデータを分散学習するDeep Learning

最近のワープロや表計算ソフト、データベース、（そしてもちろん）検索エンジンなどには、テキスト検索が必要不可欠な機能として組み込まれている。 基本的な画像検索も実現しており、「cat」で画像を検索すれば、ページが猫の写真で埋め尽くされる。この検索が機能する理由の一部は、ウェブ上の多数の画像に「猫」というラベルが付いているためだ。 しかし現在でも、画像認識は難しい問題として残されている。画像認識システムは、ある写真が示されたときに、「この写真に猫は写っているか？」という質問に答えることができる。この種の単純な画像認識は、人間にとっては難しくない。しかし、この種のシステムをコーディングするのは難しいことだ。 Googleは2015年の終わり頃に、開発者が画像を認識し、パターンを学習するアプリケーションを作成するのに役立つ、2つのシステムをリリースした。 画像認識：Cloud Vision API

はじめに タイトルの通り、Pythonの機械学習プロジェクトにおけるプログラミング設計について、 最近私が意識していることを書いてみたいと思います。 この内容が役に立つかもしれない人は、機械学習のプログラミングをする人で、 あまりPythonを書いたことが無い 仕事でプログラミングしたことがあまりない いつもプログラムの構成で悩んで、スッキリ書けないことが多い という人です。 設計方針 設計は「何に備えるか」を考える事に近いと思います。 通常私が機械学習プロジェクトで意識しているのは以下のような点です。 設定により振る舞いを簡単に変えることができる 例えば、「前処理の方法」「Modelのレイヤー数」「学習するEpoch数」のような局所的な振る舞いから、 開発環境 or Staging環境 or Production環境毎に異なる「データソースの場所」や「認証情報などの機密データ」の指定、

DeepLearningは最近ブームであり,その有名なライブラリとしてTensorflowがあります． この記事ではDeepLearningの基本的な部分を数式を使って書き下すこととTensorflowの使い方を紹介します. 今更っていう気もしますが…，そこは気にしないでおくことにします 主な対象はベクトル空間やテンソル積等をある程度知っているけれど，DeepLearningは知らない人です. なので表記も大学の数学でよく出てくるものしています. なおニューラルネットワークの積分表現には触れません. 三層パーセプトロン ニューラルネットワークの基本的な形の一つである三層パーセプトロンを定義します. 定義 (三層パーセプトロン) 行列$W_1 \in M_{n_0 n_1}(\mathbb{R}),W_2 \in M_{n_1 n_2}(\mathbb{R})$とベクトル$b_1 \in \

デフォルトのJupyter notebookにスニペット(ショートカット)呼び出しの拡張機能を追加し、生産性をあげた話です。 以下の順に沿って記していきます。 前提となる環境 拡張ツールの導入(jupyter_contrib_nbextensions) デフォルトスニペットの使用 オリジナルスニペットの登録 前提となる環境 自宅で使っているMacBooK Airを用います。 2011 MacBook Air 3,1 1.4 GHz Intel Core 2 Duo 2 GB 1067 MHz DDR3 128 GB SSD High Sierra 10.13.2 また、pyenv 1.1.5 + anaconda3-4.0.0でJupiter notebookの環境を実現しています。 拡張ツールの導入(jupyter_contrib_nbextensions) データベースへの接続や、ma

これはGalapagos Advent Calendar 20日目の記事です。 二度目まして。iOSチームの高橋です。好きな金額は二兆円です。 今回はiOS上で簡単にニューラルネットのモデルを実行させられるCoreMLを利用して、リアルタイムなスタイル変換を実装する話をします。 準備 Kerasモデルファイルの入手 さて、リアルタイムなスタイル変換を行う手法としてはarXiv:1603.08155が存在しますが、なんと！昨日の記事でまんださんがこれをKerasで実装してくれています！（しらじら） なので、できあがったh5モデルファイルをもらうことにしました。これさえあればモネ風のスタイル変換ができる、はずです。 mlmodelへの変換 Kerasのモデルファイルをもらったので、coremltoolsを使ってmlmodelファイルに変換します。 coremltoolsは現時点ではPython

前回の続き ちょうど良かったのでKerasのアドベントカレンダーに参加しました。 前置き この話は2017年12月3日現在のお話です。各種オープンソースのバージョンアップによってどんどん解決されているかもしれません。 Lambdaの便利さに取り憑かれたが故の悲劇 前回はLambdaの便利さについて書きましたが、実はある特定の目的でモデルを設計していると（現時点では）悲しみを背負うことになります。そうです、私は背負いました。 機械学習が色んな所で気軽に使えるようになってきた昨今、浮足立っているエンジニアの中で私も例に漏れず 「iOSアプリで学習したモデルを気軽に使えたら楽しそうだなぁ」 って思ってた所に発表されたのが coreML です。しかもなんと、公式でkerasのモデルをcoreMLで利用できるようにするためのコンバーター（coremltools）がオープンソースで公開されていると。

Jupyter Notebookに統合されたTensorboardの紹介です。 https://github.com/lspvic/jupyter_tensorboard ディープラーニングのモデル開発をする際、ひろく使われる開発インターフェイスがJupyter Notebookです。 加えてディープラーニングのフレームワークとして頻繁に使われる2強がTensorflowとKerasだと思います。 Keras自体がTheanoやTensorflowをカバーするハイレベル・ライブラリのため、実質Tensorflowが使われているのですが、TensorflowにはTensorboardという便利なウェブアプリケーションがあります。 Jupyter-tensorboardはJupyter上でTensorboardを起動することができるプラグインです。 インストール方法は簡単で、pip insta

インターネット上のサーバーを無差別にスキャンし、脆弱性を突こうとする攻撃者。その手口を解析する罠として機能する疑似サーバー、いわゆるハニーポットにラズパイを仕立てるのが「DShield Raspberry Pi Sensor」です。 DShield Raspberry Pi Sensorは、SSHのポート22番、Webサーバーの80番といったポートへの攻撃を擬似的なサーバーで待ち受け、攻撃者の傾向を分析するサーバーソフトです。世界各地にあるセキュリティセンサーの一つとしてコミュニティーに貢献できるほか、無料のアカウントを取得することで収集したログを閲覧できるようになります。 DShield Raspberry Pi Sensorをインストール DShield Raspberry Pi Sensorを利用するには、まず動作環境として公式OSの「Raspbian（ラズビアン）」を用意し、DSh

現代の汎用OSの礎となったUNIX。その開発者がUNIX後継として開発しながら、一般には普及しなかった不遇のOS「Plan 9」。そのPlan 9が、600円台からのボードPC「Raspberry Pi（ラズパイ）」シリーズで簡単に試せます。 Plan 9は、C言語やUNIXを生み出したベル研究所が開発したOSです。OSの機能をネットワーク上に分散させられる、いわゆる分散OSとして、ケン・トンプソン、デニス・リッチー、ロブ・パイクといったスター開発者が携わりました。データを階層構造のディレクトリーで表現するUNIXの設計思想を一歩進め、ネットワークプロトコルも「/net/dns」のようにファイルとして表現するのが特徴です。しかし実利用上のメリットを訴求できず、UNIX風のオープンソースOSであるLinuxの普及を横目に2002年を最後に開発がストップ。以降はオープンソースとして公開されてい

600円台でスティック型の「Raspberry Pi Zero」が人気のPCボード「Raspberry Pi（ラズパイ）」シリーズ。4000円台で4コアの「Raspberry Pi 3 Model B」はともかく、ラズパイZeroではGUIを快適に動かすには非力です。そのラズパイZeroでも軽快に動く工夫をこらしているOSが「pipaOS」です。 pipaOSは、ラズパイの公式OS「Raspbian」を軽量化したLinuxディストリビューションです。単純に機能を削ぎ落とすだけでなく、ラズパイのコマンド実行環境で便利な独自ツールや軽量なGUIを独自に用意しているのが特徴です。どこか懐かしさを感じるUIです。 pipaOSをインストール pipaOSをインストールするには、まず公式サイトにアクセスし、「Installation」の項目にある「daily build image」（デイリービルド

シングルボードコンピューターと言えば、IoT製品を開発するときのコントローラーや、頭脳として利用されることが多いです。その筆頭として名前が挙がるのが「Raspberry Pi(ラズベリーパイ)」ですが、中でもハイスペックなRaspberry Pi 3 model Bよりも高性能で、低価格かつ同サイズのシングルボードコンピューターが「Tritium」です。Raspberry Piとそっくりそのまま入れ替えて使うこともできるという優れものとなっています。 Libre Computer – Open Computing Realized https://libre.computer/ Libre Computer Board Tritium Single Board Computer for $9+ by Libre Computer Project — Kickstarter https://

小型・激安で人気のPCボード「Raspberry Pi（ラズパイ）」。手のひらサイズでクアッドコアCPU搭載のRaspberry Pi 3でさえ4000円台で入手できるという割安感から、ユーザーはもちろん、著名なLinuxディストリビューションの開発コミュニティーがこぞってラズパイ対応版を提供しています。オンメモリーで動作する軽量Linux「Quirky Xerus for the Raspberry Pi」もその一つです。

データ分析ガチ勉強アドベントカレンダー 16日目。 今日からは少しディープラーニングの勉強。 ここ数年間、深層学習用ライブラリも猛烈に整備され、誰でも簡単にディープラーニングを使えるようになりました。 その一方で、整備されすぎて、魔法の箱だという認識も多いですよね。 けれど、深層学習と言えど、しているのはほとんど線形代数と微積分を組み合わせた数値計算です。 だったら自分で作れるのでは？ というわけで、仕組みを理解するために、0からスクラッチで作ることにしました。 尚、勉強にはプロフェッショナルシリーズの深層学習を利用しています。 爆速で技術が進む深層学習界隈では少々obsoleteかもしれませんが*1、きちんと基礎の基礎を知るにはいい本だと思います。詳しい計算方法を学びたい人は、どうぞ。(線形代数と偏微分の知識が必要です。) 深層学習 (機械学習プロフェッショナルシリーズ) 作者: 岡谷貴