「未経験文系から3ヶ月でデータサイエンティストになって一発逆転」はここで終わり (2020/7/31 更新) - todo-mentor’s diary
データサイエンティストを生業にする手段と実態について述べる。 途中、具体例・境界値の例として私個人の話もするが、なるべく一般性のある話をする。 この記事で言いたいことは具体的には4つだ。 プログラミングスクールをディスるなら代わりの入門方法を提供しようよ。 もう「未経験文系から3ヶ月でデータサイエンティストで一発逆転物語」を止めろ。*1 おじさんは人生逆転したいなら真面目にやれ。 若者はワンチャンじゃなくて、ちゃんと化け物になれよ。 この記事についてはパブリック・ドメインとして転載・改変・リンク記載を自由にしてよいです。 (続き書いた) a. 入門は辛いが… b. 思考停止でプログラミングスクールに通うな。 なろう系・始めてみよう系資料一覧 （最速・最短ルート用） まずは動かしてみよう。強くてニューゲームが体験出来るぞ！ 入門以前の本 一般向け業界本 (AI業界と展望がわかる本) 技術者入
データサイエンティストもしくは機械学習エンジニアになるためのスキル要件とは（2017年夏版） - 渋谷駅前で働くデータサイエンティストのブログ
この記事は2年前の以下の記事のアップデートです。 前回はとりあえずデータサイエンティストというかデータ分析職一般としてのスキル要件として、「みどりぼん程度の統計学の知識」「はじパタ程度の機械学習の知識」「RかPythonでコードが組める」「SQLが書ける」という4点を挙げたのでした。 で、2年経ったらいよいよ統計分析メインのデータサイエンティスト（本物：及びその他の統計分析職）vs. 機械学習システム実装メインの機械学習エンジニアというキャリアの分岐が如実になってきた上に、各方面で技術革新・普及が進んで来たので、上記の過去記事のスキル要件のままでは対応できない状況になってきたように見受けられます。 そこで、今回の記事では「データサイエンティスト」*1「機械学習エンジニア」のそれぞれについて、現段階で僕が個人的に考える「最低限のスキル要件」をさっくり書いてみようかと思います。最初にそれらを書
時代をリードするエンジニア19人が推薦！ 若手エンジニアに薦めたい「座右の書」｜ハイクラス転職・求人情報サイト AMBI（アンビ）
エンジニアがスキルを磨きたいとき。キャリアプランに迷ったとき。モチベーションを高めたいとき。いつも助けになってくれるもの。それは、本。 優秀なエンジニアを目指すのであれば、良質な多くのインプットが不可欠です。それでは、各領域の著名なエンジニアにとって、良質なインプットとは？ 本稿では、19名の著名エンジニアに、自身のキャリアを支えてくれた“この一冊”というべき名著を伺いました。 各領域で活躍するエンジニアたちは、数多ある書籍からどんな一冊を選び、そこから何を学んできたのでしょうか？ 自身のスキルやマインドを磨くために、絶対に読んでおくべき珠玉の書籍を、ご本人と書籍の関わりエピソードとともに紹介してもらいました。 ※人名の50音順に掲載。回答者は敬称略とする。 池澤あやかが推薦！『Prototyping Lab』 サイバーエージェント 板敷康洋が推薦！『リファクタリング』 リーバンス 今井彩
WELQなどのキュレーションメディアを著作権法の観点から分析してみた｜知的財産・IT・人工知能・ベンチャービジネスの法律相談なら【STORIA法律事務所】
医学部卒のライター兼編集者・朽木誠一郎氏の記事に端を発し、医療系サイト「WELQ（ウェルク）」をはじめDeNA（ディー・エヌ・エー）が運営するまとめサイトが次々に休止に追い込まれました。 また、DeNA以外が運営しているキュレーションサイトも次々と閉鎖されるなど、その影響はとどまるところを知りません。 この問題については、企業としての倫理の問題、著作権法上の問題、薬機法上の問題、記事内容を信じた人が損害を被った場合の法的責任の問題など法律的/社会的な問題が複雑に絡まり合っています。 私は個人的には「顧客に価値を提供できないサービスが存在する意味はない」と考えていますので、今回のWELQ閉鎖は当然だと思います。 ただ、今回の問題の複合的な側面のうち、著作権法上の問題、つまり著作権的にどこからがアウトで、どこがグレーなのかについて正確な知識や情報をなるべく沢山の人に持って頂きたいと思っています
データサイエンティストもしくは機械学習エンジニアを目指すならお薦めの初級者向け6冊＆中級者向け15冊（2017年春版） - 渋谷駅前で働くデータサイエンティストのブログ
(Photo credit: https://pixabay.com/en/books-door-entrance-italy-colors-1655783/) この記事は一昨年のこの書籍紹介記事のアップデート版です。 相変わらず毎月のように新刊書が出続けるデータ分析業界ですが、良い本が増え続けてきたせいでついに初級者向けは6冊、中級者向けは何と15冊にまで膨れ上がってしまいました（汗）。ともあれ、自分のところにアフィリエイトの類は一銭も入らないにもかかわらず*1懲りずに書籍紹介をやろうと思います。 あ、最初に断っておきますが僕の知識レベルは極めて適当なので、極めていい加減なことを書いている可能性があります。また最初に読んでから時間が経っていて記憶があやふやなせいで、内容に関する記述が不正確な書評が混じっている可能性もあります。誤っているところやおかしいところがあったらバンバン突っ込んでく
今年もラスベガスで、AWSの最大のイベントre:Invent開催中です。初回のキーノートが終わった所ですが、怒涛のサービス発表で頭が混乱中です。整理のために、サービスに対する感想をつけてみます。間違っているかもしれないので、悪しからず。 AWS AppSync モバイル等での複数端末のデータ同期を見据えたソリューション。必要性はすごく解るが、それってCognito Syncでやりたかったことじゃないのかな？認証認可のサービスにデータ同期を加えた筋の悪さを解消に来たのか？ 2017/12/3 追記 中の人曰く、次のような役割分担とのこと AWSの新サービス群に対する一行所感 - プログラマでありたい ありがたし / Cognito Syncは「一つのIdentityに（≒一人の人間）が持つ」複数端末間での設定値等の同期のためのものだったので、前提と志向が違うのです > AppSync “それ
このエントリは、2018年、2019年に公開したAWS全サービスまとめの2020年版です。これまではいくつかに分割して公開していましたが、1エントリにまとめてほしいという要望をもらっていたため、今年は1エントリに集約してみました。 こんにちは。サービスグループの武田です。 このエントリは、2018年、2019年に公開した AWS全サービスまとめの2020年版 です。これまではいくつかに分割して公開していましたが、1エントリにまとめてほしいという要望をもらっていたため、今年は1エントリに集約してみました。どちらがいいのか正直わからないので、フィードバックなどあれば参考にさせていただきます。 2020-01-08 リクエストがあったためAmazon Mechanical Turkを追加。 2018年まとめ 【2018年】AWS全サービスまとめ その1（コンピューティング、ストレージ、データベー
NetflixのgithubリポジトリはWeb技術の百貨店だった - DiaryException
検索しているとなにかとNetflixのgithubリポジトリがヒットするので、全部（2015/07/18現在分）調査してみた。 github APIで https://github.com/Netflix のリストを全部取得して、名前・概要・URL・最終更新日時 (なんの更新だ?) を抽出。 AWS用のプロダクトが多かったのでまずそれらと、その他という分類にした。その他はほとんどがJavaライブラリ・システムだが、一部WebアプリケーションやPythonライブラリがある。 日本語での説明はReadmeやWikiを見て書いているが、理解が正しくないかもしれない。 AWS用 aws-autoscaling Tools and Documentation about using Auto Scaling URL: https://github.com/Netflix/aws-autoscalin
はじめに 本記事では、データサイエンスについて学んだこと、データ分析業務に携わって、経験したこと、気付いたことをまとめています。特に、後半を中心にまとめています。前半についてはこちらの「データサイエンティストを目指して半年で学んだことまとめ」に書いています。ご興味があれば、読んでいただければと思います。 全てはビジョン（あるべき/ありたい姿）を明確にしてから始まる データ分析で最も重要になるのが、ビジョン（あるべき/ありたい姿）の明確度にあると感じています。ビジョンが明確であるほど、課題・目的も明確に設定でき、課題解決のための仮説検証、必要なデータの準備と、ビジョンの実現に向けたデータ分析ができるようになります。勿論、ビジョンが明確であれば良いというものではないかもしれません（必要なデータが集められない等）が、少なくとも、意味のない作業を減らすことは可能だと考えられます。 逆にビジョンが明
3Dプリンターが家にあると生活は大きく変わります。ものの考え方も変わります。ちょっとした不便があると、『これを解決する物をデザインして出力しよう』となります。 私はスマホのアプリ開発者で、自分で使うアプリの多くは自分で作って使っています。それが生活すべてに広がった感じです。便利＆楽しい。 今回は、3Dプリンターを買ってCADを学んで立体を思うさま作る方法を解説します。立体は誰でも作れますよ。だいたい1週間くらいいじってれば思った形のものを作れるようになります。 2018年の5月に、CADも3Dプリンターもまったく分からない状態から始めて3日程度で大体理解できました。だれでもそれくらいで習得できると思います。 今のCADは本当に驚くくらい簡単に使えます。小学生でも使えるレベルです。『難しそう』なんて言ってないで触ってみればいい。 決して難しいものではありません。『やるかやらないか』だけです。
データを眺めるのが好き 収集している情報 実現方法 データから分かった知見(?) 今後 年末なので、今年買ってよかったものに引き続き、今年やってみてよかった習慣について書いてみたいと思います。 データを眺めるのが好き 昔からデータを眺めるのは好きだったんですが、今年の5月くらいから自分に関するデータをとにかく収集してみました。可視化することで何か有益な視点だったり、生活の改善点が見つかるのではないか、という目的です。色んなデータを集めまくった結果、以下のようなグラフができあがります。ちょっと画像が小さいですが、毎日の歩いた歩数や体重、気温、録画した番組名、自宅マシンの負荷状況などが載っています。 収集している情報 上の画像ではとりあえずBlogに上げれるようなデータしか見せていないですが、収集している情報としては以下のようなものがあります。使用しているスクリプトで公開できるものはgithu
ブラックフライデー＆サイバーセール開催！ Udemyでは何を買う？ 編集部の2021年イチ押しトピック10選 - はてなニュース
新型コロナウイルスの影響で、リモートワーク（テレワーク）やオンラインでの学習といった働き方・学び方の大きな変化は2021年も続いています。そんな2021年もあとわずか。やり残したことや学び残したことはありませんか？ オンライン学習プラットフォーム「Udemy」では、2021年11月19日（金）～2021年12月1日（水） の間、年間最大のセール「ブラックフライデー＆サイバーセール」 を開催します！ 対象の講座がなんと1,200円から購入可能になります。 ブラックフライデーセールは11月19日（金）～11月26日（金）、サイバーセールは11月29日（月）〜12月1日（水）の開催です。11月27日（土）〜11月28日（日）はセール対象外なので、ご注意ください。 講座は買い切りなので、おトクなこの期間に気になる講座を購入しておいて、時間ができたときに自分のペースで学んでみるのもいいかもしれません
（年収270万で）プログラマーを引退して、医学部にきた俺が真面目に考えてやろう。 ① 言葉は正しく使おう真面目に読んでいて、ちょっと気になる箇所がある。たとえば PostgreSQL を postgre とか書くヤツは現場では嫌われるぞ。少なくとも postgres と書いてくれ。お里が知れるぞ。 ② プライドが高い消えていくエンジニアの特徴だけど、叱責されたり馬鹿にされるのが嫌で VCS にコミットしないヤツ、または貪欲にコードレビューをされるのが嫌がるやつは、成長しない。 ③ エリート意識この業界は数年前には『デジタル土方』と揶揄される業界でした。ちなみに、アメリカでも「テック系はハードだから避ける」という雰囲気でした。つまり何をいいたいのかというと、ソフトウェアの開発者っていうのは「泥臭い領域」なんだよ。エリートとは程遠い場所にあるというね。 ④ 「某天市場の先輩には，ここ仕事量少な
サーバ監視サービスMackerelにおいて開発中の、高解像度・長期間のサーバメトリック収集を実現するための新しい時系列データベースDiamondを紹介します。具体的には、Amazon ElastiCache、Amazon DynamoDB、Amazon S3を組み合わせ、Amazon Kinesis StreamsとAWS Lambdaによりコンポーネント間を接続した、階層構造のデータストアアーキテクチャの設計と実装を解説します。 2018/06/05 追記: この記事の内容をWSA研#2でより一般的なアーキテクチャレベルでの貢献として書き直しました。 サーバレス時代におけるヘテロジニアス時系列データベースアーキテクチャ - ゆううきブログ はじめに 先日開催されたAWS Summit Tokyo 2017にて、「時系列データベースという概念をクラウドの技で再構築する」というタイトルで登壇
機械学習のスタックしていた案件をFacebook Prophetで３日で返済した話 - にほんごのれんしゅう
機械学習のスタックしていた案件をFacebook Prophetで３日で返済した話 背景 広告代理店業を行なっており、クライアント企業から予算を預かって、インターネット広告やマーケティング業をしているのだが、クライアントの予算消化の異常値を監視したい 2016年半ばに外部のデータ分析専門の会社に、その日の予算消化が異常の場合、アラートを鳴らすシステムを外注開始、2016年10月に納品 2017年9月半ばに進捗率が芳しくないことが判明した。終わる見込みが立たなかったので、私が解決に当たる （ついでに"Machine Learning: The High-Interest Credit Card of Technical Debt[2]"と呼ばれる負債化してしまう機械学習のシステムとはという評価軸があったので、これらから今回使えそうなプラクティスを取り出して適応してみたいというモチベーションが
データ分析部でグノシーというニュースアプリのプロダクト改善を担当している @ij_spitz です。 今回はプロダクト改善のためにウォッチしておくべき7つの指標をSQLで算出してみます。 Gunosyではこれらの指標を、プロダクトに異常があった時に検知するため、また施策の効果検証といった主に2つの目的で使用しています。 簡潔にするため、ユーザーとログインの2つのテーブルを使った算出できる指標のみを対象としています。 また、これらの指標をどうやってプロダクト改善に役立てているのかということも少しではありますが、合わせて書いていきたいと思います。 DAU WAU(MAU) HAU 積み上げHAU 1ユーザーあたりのログイン回数 登録N日後継続率 登録日別N日後継続率 前提 今回のブログで紹介するSQLはAmazon Redshift上で動くSQLなので、MySQLやGoogle BigQuer
これから異常検知を勉強される初心者、中級者の方のために一問一答集を作ってみました。 実際にあった質問も含まれますが、ほとんどの質問は、私が勉強しながら疑問に思ったことです。 なお、各質問には私の失敗談を添えております。皆さんは私のような失敗をしないよう 祈っております(^^)。異常検知に特化した内容となっておりますので、ご了承ください。 初心者の方向け 勉強の仕方編 Q：異常検知を勉強したいのですが、何から手をつけて良いのか分かりません。 A：書籍を買って読むのがおススメです。 最初、私はネット情報で勉強していました。しかし、それにも限界があります。 ところが、書籍（入門 機械学習による異常検知）を買って読んだところ、かなり知識を 得ることができました。最初から、書籍を買っていれば、一年くらい得することができたのに... と思うこともあります（^^； ただ、こちらの本はディープラーニング系
異常検知入門と手法まとめ - Qiita
異常検知について勉強したのでまとめておきます。 参考文献 下記文献を大いに参考にさせていただきました： [1] Ruff, Lukas, et al. "A Unifying Review of Deep and Shallow Anomaly Detection." arXiv preprint arXiv:2009.11732 (2020). [2] 井手. "入門 機械学習による異常検知―Rによる実践ガイド" コロナ社(2015) [3] 井手,杉山. "異常検知と変化検知 (機械学習プロフェッショナルシリーズ)" 講談社サイエンティフィク(2015) [4] 比戸. "異常検知入門" Jubatus Casual Talks #2(2013) [5] Pang, Guansong, et al. "Deep learning for anomaly detection: A rev
はじめに 目標の設定と指標の決定 目標の設定 指標の決定 評価指標に対する最低限の知識 機械学習における知識（補足） ニューラルネットワークの学習 最初に使うニューラルネットワーク 時間的にも空間的にも独立である複数の特徴量を持つデータ 空間の局所的な構造に意味のある多次元配列データ（例えば画像） 時間的な変動に意味のあるデータ（例えば音声、自然言語） ニューラルネットワークの細かい設定 ユニットの数と層の数 正則化 活性化関数 ドロップアウト バッチ正規化 学習の早期終了 性能が出ない場合 データの追加収集 ニューラルネットの設定をいじる 用いるニューラルネット自体を変更する 新たなニューラルネットワークの考案 コードを書くにあたって データ成形 結果を記録するコード フレームワークの利用 フレームワークの選択 ChainerとPyTorch TensorFlow Keras 最後に は
人工知能技術の健全な発展のために - Preferred Networks Research & Development
4月10日の日経ITproの記事「 AIベンチャーの雄が総務省の開発指針に反対する理由」で、総務省主導で推進されているAIネットワーク社会推進会議とその開発原則分科会からPFNが離脱したことを、取り上げていただきました。私とのとりとめのないインタビューを適切にまとめてくださった日経ITpro浅川記者に深く感謝いたします。また、その記事に対して、はてなブックマーク、NewsPicks、FacebookなどのSNSを通して多くのコメントを下さった方にも感謝の意を表します。ありがとうございます。離脱の理由は記事にある通りですが、総務省の方々も私達の立場を真摯に受け止めてくださっていて、実りのある議論を続けてくださっています。その上で、今後の議論を深めるために、いくつかの点について補足したいと思います。 汎用人工知能と特化型人工知能 現在、人工知能という言葉は大雑把には、 汎用人工知能（「強い」人
Microsoft SQL ServerMySQLOracle DatabasePostgreSQLSolarWinds DPAデータベース運用主要RDBMS製品の比較 2022.09.01 渡部 亮太 主要RDBMS製品の比較 – アーキテクチャ, スキーマ, データベース, メモリ Oracle ACE Proの渡部です。 主要なRDBMS製品についてアーキテクチャを比較します。 大枠を整理することが最大の目的です。細かい例外事項や拡張機能は適宜記載を割愛しています。 2022年9月時点の最新バージョンをベースに記載していますが、記載内容にバージョン依存は少ないはずです。 時間ができた時に随時追記予定です。 もし誤りを見つけた場合は、優しく教えていただけると嬉しいです。→ https://twitter.com/wrcsus4 or ryota.watabe at cosol dot
はじめに 皆さまがシステムを運用にするあたり、様々な不安を抱えていらっしゃると思います。 そういったよくある「不安」を書き出し、解消するための対策や参考ページなども記載しましたので、本記事をご覧いただいている皆さまには抱えている不安を淡々と潰していただければと思います。 【ケース1】大量のアクセスによる高負荷への不安 近日中に Web サイトの広告を出す予定だが、現状のままで増加するアクセスに対応できるのか不安がある 以下のような対策が考えられます ELB（Elastic Load Balancing）を使用し、Webサーバー（Amazon EC2）の複数台構成にする アクセス数や負荷に応じて自動で Webサーバー（Amazon EC2）の台数を増やす（スケールアウト）、減らす（スケールイン）ために AWS Auto Scaling を使用する ELB の暖機申請（予め AWS へ連絡して
※ 一部ガイドラインに反する内容がありましたので、該当箇所を修正のうえ再投稿しております。 はじめに Axross は、エンジニアの"教育"と"実務"のギャップに着目し、「学んだが活用できない人を減らしたい」という想いで、ソフトバンク社内起業制度にて立ち上げたサービスです。 現役エンジニアによる実践ノウハウが"レシピ"として教材化されており、実際に動くものを作りながら、具体的な目的・テーマをもってプログラミングを学ぶことができます。 今回は、Axross運営が厳選した『AI・Python活用レシピを100選』をご紹介します。是非、みなさまのAIやPython学習の参考にしてみてください。 Axross：https://axross-recipe.com 公式Twitter：https://twitter.com/Axross_SBiv 基礎 スクレイピング 01 . JUMPの掲載順をスク
【深層学習入門】画像処理の基礎(画素操作)からCNN設計まで画像処理の基礎（画素操作）から深層学習のCNN設計までカバーした記事です。画像処理にはOpenCVとPythonを使用しました。画像処理入門、深層学習入門、どちらも取り組みたい人におすすめの記事です。... 【データ分析入門】機械学習未使用！Pythonでゼロから始める振動解析機械学習(深層学習含む)によるデータサイエンスが流行っていますが、フーリエ解析などの振動解析により、異常検知を行うこともできます。本記事はデータ分析/振動解析学ぶための実践的なチュートリアル記事です。...
こんにちは。サービスグループの武田です。このエントリは、2018年から公開しているAWS全サービスまとめの2021年版です。 こんにちは。サービスグループの武田です。 このエントリは、2018年から毎年公開している AWS全サービスまとめの2021年版 です。昨年までのものは次のリンクからたどってください。 AWSにはたくさんのサービスがありますが、「結局このサービスってなんなの？」という疑問を自分なりに理解するためにまとめました。 今回もマネジメントコンソールを開き、「サービス」の一覧をもとに一覧化しました。そのため、プレビュー版など一覧に載っていないサービスは含まれていません。また2020年にまとめたもののアップデート版ということで、新しくカテゴリに追加されたサービスには[New]、文章を更新したものには[Update]を付けました。ちなみにサービス数は 205個 です。 まとめるにあ
Fluentdで始めるリアルタイムでのログ有効活用
はじめに Fluentdは、ログを収集し格納するためのログ収集基盤ソフトウェアです。Fluentdにインプットされた、すべてのログをJSONに変換し、アウトプットします。インプットとアウトプットはモジュール化されており、モジュールを追加することでインプット元とアウトプット先を追加できるようになっています。 Fluentdは急速に知名度を高め、多くのWebサービス会社で実際に使用されるようになりました。従来のログが抱えていた問題も、Fluentdが適切な解決策となっていると認知され、かつ簡単に導入・スモールスタートできるミドルウェアであったことが大きかったと思います。 本稿では、Fluentdの簡単な仕組みと導入方法、シンプルな動作事例について紹介します。 対象読者 システム管理者 データサイエンティスト 必要な環境 UNIX系OS Ruby 1.9 ログを出力する理由 システム運用を始める
新春座談会 このコンピュータ書がすごい! 2016年版 の勝手なまとめ - sugilogのブログ
個人的なメモ。去年とは書き方を変えて、時系列で徒然にしないで、勝手に括ったりしてます。 sugilog.hatenablog.com トークイベントのハッシュタグは #compbook 。 高橋さん、お疲れ様でした。（『楽しいRuby』の第5版がでる？ということで、おめでとうございます。） 読みたい本 『Python言語によるプログラミングイントロダクション』 Python言語によるプログラミングイントロダクション: 世界標準MIT教科書 作者: ジョン・V.グッターグ,John V. Guttag,久保幹雄出版社/メーカー: 近代科学社発売日: 2014/12/29メディア: 単行本この商品を含むブログ (2件) を見る MITのテキストで、プログラミングの解説をしている本。Pythonのコードが使われているということ。 『Serverspec』 Serverspec 作者: 宮下剛輔出
オープンソースで開発されており、全ての設定・管理をブラウザからできるようになっている。グラフ作成機能も標準で搭載。各ノードの情報収集、異常検知、障害/復旧通知、詳細なアラート通知機能あり。SNMPv1、v2、v3をサポートし、Unix、Linux、BSD、Windows、MacOS X、NetWareなどで動作。CPU、メモリ、ディスク、ネットワーク、プロセスの状態などの監視が可能で、Apache、Tomcat、Oracleなどのアプリケーションの監視も可能。なかなか強力。 詳細は以下の通り。 ZABBIX-JP - Un-Official Support Page http://www.zabbix.jp/ ZABBIX-JP - ZABBIXとは http://www.zabbix.jp/modules/main0/index.php?id=1 ZABBIX-JP - 特徴 http:
はじめに ドワンゴではniconicoの配信系サービスのバックエンドで利用するために、Frugalosという名前の分散オブジェクトストレージを開発しているのですが、この度OSSとして公開することとなりましたので、この場を借りて軽く紹介させて貰います。 FrugalosはRustで実装されており、現時点では以下のリポジトリが公開されています: raftlog_protobuf: raftlogへのProtocol Buffersサポートの追加 “Frugalos"って何？ “Frugal object storage"の略です。 “frugal"は日本語では「倹約な」や「節約する」といった意味となり、「読み書き性能を犠牲にせずに、膨大な数のBLOB（Binary Large OBject）を、容量効率良く保持する」ことを目指して開発されているオブジェクトストレージです。 提供されている機能は
オーソドックス な アプローチ（一般的手法） まず は、以下 が よくまとまっている。 株式会社クロスコンパス・インテリジェンス（2016.10.5）「NVIDIA GPU TECHNOLOGY CONFERENCE JAPAN 2016 Industry Deep Learning」 異常値予測 を 行う アプローチ としては、以下 が 一般的な考え方 の ようだ。 （データ量の多い）正常時のデータ挙動の特徴パターンを学ばせて、 新規データが上記の特徴パターンから乖離している場合を、異常とみなす 上記のアプローチをとる理由 は、「異常発生時のデータ」の取得可能件数 は、「正常時のデータ」 に 比べて、取得できるデータの件数 が 圧倒的に少ない から である。 上記のスライド で 挙げられている AutoEncoderモデル や LSTMモデル を 採用し、 AutoEncoderモデル
サーバ監視/ネットワーク監視サービス
インターネットで公開されているサーバーやネットワーク機器を24時間無料監視するサービスです。 より安定した監視を行うため、監視回線二重化＆監視サーバー二重化を行っています。 2021/08/31 NEW 弊社を偽装したメールが確認されております。メールの送信元やメールに記載されているURLを十分にご確認ください。 弊社からログインを促すメールを送信することはございません。 無料サーバー監視/ネットワーク監視サービス ご案内 インターネット経由でご登録のサーバやネットワーク機器を死活監視するサービスです。 監視間隔は5分毎となり、監視品質を高めるため2つのキャリア回線で交互に監視しています。 サービス概要 インターネットに接続されているサーバやネットワーク機器の死活チェックを無料(Free)で行うサービスです。 当サイトでご登録いただく必要はございますが、ソフトウエアのインストールを行う必要
三菱電機と産業技術総合研究所は2月5日、工場の生産ラインの準備作業を効率化するAI（人工知能）技術を共同開発したと発表した。産総研が提供するAI技術を、三菱電機が自社のFA（ファクトリーオートメーション）機器やシステムに実装する。熟練工が時間をかけて行っていたFA機器の調整作業などをAIに代替させ、作業時間の短縮を図る。 生産現場では、FA機器やシステムの調整、機器を動かすプログラミングなどにかかる工数の増加や熟練工の減少が問題になっている。こうした課題を解決するため、FA機器やシステムの調整作業をAIで自動化しようと考えたという。 「パラメーター調整」「画像判定」「異常検知」を自動化 小さな電子部品をプリント基板の決められた場所に載せる実装機では、機械の振動を抑えながら素早く目標位置に停止するようAIがモーターを制御。これまでは、あらかじめ熟練工が1週間以上かけて2種18個のパラメーター
O'Reilly Japan - 入門 監視
あなたのシステムはきちんと動いていると言えますか？ 本書は、システムのどの部分をどのように監視すべきか、また監視をどのように改善していくべきかについて解説する書籍です。 前半で監視のベストプラクティス、デザインパターン／アンチパターンを示して、監視の基本原則を詳しく説明し、後半でフロントエンド、アプリケーション、サーバ、ネットワーク、セキュリティの各テーマで強力な監視の基盤を設計して実装するための方法を示します。 監視対象が変化し、システムアーキテクチャが進化する中で、従来から変わらない監視の基本を示しながら、時代に合った監視の実践を解説する本書は、監視についての理解を深めたいエンジニア必携の一冊です。日本語版では、松木雅幸（@songmu）氏による監視SaaSの導入や活用方法を付録として収録しています。 正誤表 ここで紹介する正誤表には、書籍発行後に気づいた誤植や更新された情報を掲載して
前から思ってたことをちょっと書かずにいられなくなったのでポエムを書きました。 背景 問題 検知している方が正しいように見えがち 条件を揃えるのが難しい 環境の再現が難しい 検知数が多い方が良さそうに見える 正解かどうかの判断が難しい カバー範囲の正確な見極めが難しい 検知されないほうが嬉しい まとめ 背景 お前誰だよってなるかもしれないので書いておくと、Trivyという脆弱性スキャナーのメンテナをやっています。 github.com とある有名な方による以下のツイートがありました。 I just discovered, during @cloudflare #SecurityWeek no less, that Trivy (the vuln scanner) doesn't detect known issues in Alpine images. Including a critica
Fluentd + Kinesis + Elasticsearch + Kibana / Grafanaでのリアルタイムログ解析基盤 | Tech Blog - リクルート住まいカンパニー
こんにちは、SUUMOスマホサイトの開発チームに所属しているエンジニアの上野です。 今回は、リアルタイムログ解析基盤を紹介します。 背景 皆様はwebサーバログ監視（アクセスログ・エラーログなど）をどのように行われているでしょうか？ スーモスマホサイトでは、アクセス数増加に伴いサーバ台数が増え、csshX地こんにちは、SUUMOスマホサイトの開発チームに所属しているエンジニアの上野です。 今回は、リアルタイムログ解析基盤を紹介します。 背景 皆様はwebサーバログ監視（アクセスログ・エラーログなど）をどのように行われているでしょうか？ スーモスマホサイトでは、アクセス数増加に伴いサーバ台数が増え、 csshX 地獄に陥りました。（以下の図のような状態のことです。） ログの確認が必要になった際に、この csshX を使用して秘伝のワンライナーで確認したい部分をtailして抽出していましたが
2021年7月28日、エストニア国家情報システム庁（RIA）、警察・国境警備局は国が運営するシステムから顔写真データの違法なダウンロードが行われたことを公表しました。警察は既に容疑者を摘発しており既に刑事手続きに入っていることも併せて公表されています。ここでは関連する情報をまとめます。 顔写真流出による発行済みIDへの影響無し 容疑者によってダウンロードされた顔写真は286,438枚で、エストニア全国民の約21%（2021年時点で約133万人）にあたる。但し、今回の顔写真流出を受けてIDカード、モバイルID、スマートIDへの影響はないとされており、発行済みの身分証明書、顔写真は引き続き有効とされた。これは顔写真や個人識別コードだけでeサービスへのアクセスやデジタル署名の付与、銀行口座などの金融取引を実行することはできないためとされる。 影響を受けた約29万人へは国が運営するポータルサイト（
2013/03/28 PFIセミナー「（道具としての）データサイエンティストのつかい方」資料 Ustreamの録画はこちらです→http://www.ustream.tv/recorded/37645309
最近、販売された仕事で始める機械学習を買ったので、購入を考えられている方や機械学習を始めたいと思っている方に読んで、参考になればと思います。 この記事の目的と全体の流れただ読むのと、アウトプット（ブログに書く）前提で読むのとはインプットの質が違うということがわかったので、ブログに書きながら理解していく形を取ります。 全体の流れとしては、章の要約。あぁこの内容知ってるなって人は買わずに済むし、わからないこと多いという人は購入を検討して頂ければ。（出版関係者でもなければ、アフィリエイトなどの営利目的でもなく、いち消費者としての個人的意見になります。 ご了承ください。） 結論から言うと（書評）いままでのオライリーのデータサイエンス本だと英語から翻訳したのでわかりにくい日本語が非常にうっとうしいのですが、 この本は、日本の方が書かれており、日本語スムーズに理解できます。 また、非常に論理立てられて
AWSの開発環境の利用時間をGoogleカレンダー連動させたら開発チームが自由に使えてコスト70%削減！！ - Uzabase for Engineers
こんにちはNewsPicks SREチームの美濃部です。 NewsPicksのSREのミッションの1つに「コストを適正化する」というものがあります。サービスの規模拡大に比例してインフラコストが増えないようにし、売上に対するコストの割合を低く維持していくのがミッションになります。 今回はこのミッションに対するアクションとして開発環境のインフラコストを適正化した話をします。 NewsPicksの開発環境について 開発環境のコストをどうやって適正化したか 稼働時間対応を実現する仕組みについて 実際どれくらい削減できたのか まとめ NewsPicksの開発環境について まず、NewsPicksの開発環境について概要を説明します。 インフラ基盤は本番環境と同様にAWSを利用しており開発チームは現在10以上のチームが存在し、それぞれのチーム専用に用意された開発環境を利用しています。 2年程前までは開発
5年後には標準になっている可観測性のこと - Learning Opentelemetry の読書感想文 - じゃあ、おうちで学べる
はじめに 本稿は、オープンソースの可観測性(Observability)プロジェクトである OpenTelemetry を取り上げた書籍「Learning Opentelemetry」の読書感想文です。従来の可観測性の課題であったデータの分断を解消し、トレース、メトリクス、ログなどの様々なテレメトリデータを統合的に扱うことができる OpenTelemetry は、可観測性の分野における革命的な存在と言えます。 過去10年間で、可観測性はニッチな分野から、クラウドネイティブの世界のあらゆる部分に影響を与える数十億ドル規模の産業へと発展しました。しかし、効果的な可観測性の鍵は、高品質のテレメトリデータにあります。OpenTelemetryは、このデータを提供し、次世代の可観測性ツールと実践を開始することを目的としたプロジェクトです。 learning.oreilly.com 本書の想定読者は、
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
AWSの新サービス群に対する一行所感 - プログラマでありたい
【2020年】AWS全サービスまとめ | DevelopersIO
データサイエンティストを目指して勉強した1年間まとめ - Qiita
初めての方向け、3Dプリンター生活のはじめ方｜松本圭司@ジオグラフィカ開発者
今年よかった習慣: ライフログ収集および可視化 - yasuhisa's blog
（年収270万で）プログラマーを引退して、医学部にきた俺が真面目に考えて..
時系列データベースという概念をクラウドの技で再構築する - ゆううきブログ
プロダクト改善のためにウォッチしておくべき7つの指標 - Gunosyデータ分析ブログ
【一問一答】マヅコの知らない「異常検知」の世界 - Qiita
ディープラーニングの応用のための具体的方針まとめ - HELLO CYBERNETICS
主要RDBMS製品の比較 – アーキテクチャ, スキーマ, データベース, メモリ | コーソルDatabaseエンジニアのBlog
AWS運用でよく聞く不安とその対策を書き出してみた | DevelopersIO
AI・Python活用レシピ100選 - Qiita
【Python】ゲームソフト開発を題材にしたオブジェクト指向入門｜はやぶさの技術ノート
【2021年】AWS全サービスまとめ | DevelopersIO
フリーのサーバ、ネットワークなどの総合監視ソフト「ZABBIX」日本語版 - GIGAZINE
Rust製の分散オブジェクトストレージをOSSとして公開しました - dwango on GitHub
深層学習 を 用いた 異常値検知 手法まとめ 〜 (Denosing) AutoEncoder, LSTM, TDA（Topological Data Analysis) + CNN - Qiita
熟練工が1週間かかる調整作業→AIは1日で完了 三菱電機と産総研がFA分野でAI活用
セキュリティツールの評価は難しい - knqyf263's blog
エストニアで発生した顔写真データの違法ダウンロードについてまとめてみた - piyolog
さらば！データサイエンティスト
”仕事で始める機械学習”の要点をまとめてみたらとても良い入門書だった