Microsoft、.NET開発者向け機械学習フレームワークの新版「ML.NET 1.2」を発表：ML.NETアプリとWebアプリを統合可能に Microsoftは、.NET開発者向けの機械学習（ML）フレームワークの最新版「ML.NET 1.2」を発表した。下位互換性を維持しながら、さまざまな改良を施した。予測と異常検知を担うパッケージや「TensorFlow」を使うためのパッケージが正式版になった。 Microsoftは2019年7月17日（米国時間）、.NET開発者向けのオープンソースのクロスプラットフォーム機械学習（ML）フレームワークの最新版「ML.NET 1.2」を発表した。 ML.NETはWindowsやLinux、macOSに対応する。AutoML（Automated Machine Learning）を利用して、カスタムMLモデルを簡単に作成するための「Model Bui
LINE株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。 LINEヤフー Tech Blog 2021年11月10日・11日の2日間にわたり、LINEのオンライン技術カンファレンス「LINE DEVELOPER DAY 2021」が開催されました。特別連載企画「DEVDAY2021 アフターインタビュー」では、発表内容をさらに深堀りし、発表では触れられなかった内容や裏話について登壇者たちにインタビューします。今回の対象セッションは「Lupus - MLOpsを加速させるためのモニタリングシステム」です。 LINEのMachine Learning室ではこれまで、スピーディーに高品質なML(機械学習)プロダクトをリリースするため、データ基盤の整備や学習パイプラインの開発を行ってきました。その結果として、Machine L
『クラウド破産を回避するAWS実践ガイド』 を技術書典8で頒布します #技術書典 - 憂鬱な世界にネコパンチ！
『クラウド破産を回避するAWS実践ガイド』という本を、技術書典8「2日目の3/1」に頒布します。 AWSではアカウントを作成すると、あらゆることができるようになります。 しかし、いきなりクラウドの世界に放り出され、たいしたガイドはありません。 そこで本書ではAWSアカウント作成後に、すべての人が実践すべきプラクティスを体系的に解説し、ハンズオン形式で学びます。 techbookfest.org 概要 「クラウド破産」はAWSなどのクラウドサービス利用者が、意図せず高額請求されることを指す俗語です。 AWSから数十万〜数百万円の請求がきた、みたいな記事を見かけたことがある人も多いでしょう。 この手の記事は、我々AWS利用者を震え上がらせるには十分です。 そこで本書ではAWS初級者・中級者向けに、クラウド破産を回避する方法を学びます。 ルートユーザーのパスワード管理からはじまり、CloudTr
はじめに AdventCalender論文24日目担当のぱしふぃんです。 突然ですが,最近このような論文1が出ました。 テスト https://t.co/QoXamqHB9w — ぱしふぃん (@pacifinapacific) December 21, 2019 なんとただの１枚絵をVtuberのモデルにできちゃうのです。ニコニコに上がっている解説動画では賞賛のコメントが多数寄せられていました。 これはすごい！ということで私も読んだのですが、データセットを作る段階ですごい労力を費やしているようでした。３ｄモデル1つ1つを目を閉じたり、開けたり、顔を傾けたりと差分をとり、ラベル付けしていくのはとても大変です。 「そんなラベル付けの手間を失くして似たようなことがやりたい！！」 その一つの可能性として今回StyleGANに着目してみます。StyleGANは滅茶苦茶綺麗な画像を生成できるモデルで
宇宙航空研究開発機構(JAXA)は4月27日、H3ロケット初号機の打ち上げ失敗原因について、調査状況を文部科学省の有識者会合にて報告した。まだ原因の特定には至っていないものの、第2段エンジンで短絡/地絡が発生した可能性が高いことを突き止めており、計17の故障シナリオを抽出、検証を進めていることが明らかにされた。 種子島宇宙センターより打ち上げられたH3ロケット初号機 短絡/地絡が発生したという推定の根拠は？ H3ロケット初号機は、3月7日に打ち上げを実施。第1段の飛行に問題は無かったものの、第2段エンジンの着火が行われず、衛星の軌道投入に失敗していた。前回の報告では、着火やバルブ制御を行う「ニューマティックパッケージ」(PNP)で電流異常を検出、その結果として電源が遮断され、着火が行われなかったことまで分かっていた。 この異常を引き起こした要因として、前回は、以下の3つを推定。今回、3種類
こんにちは。R&Dチームの河野です。主な担当業務は機械学習モデルの開発です。 タイから日本に留学し、卒業後日本企業に就職していました。データ分析・機械学習の業務経験が3年程度で、R&Dチーム唯一の女性かつ外国人のメンバーです。 直近の仕事はディープラーニングによるクラス分類モデルの開発を担当しており、今回はモデル精度評価によく使われる評価指標について初心者向け説明させて頂きたいと思います。機械学習モデルの精度改善には課題に適切な評価指標の選択がすごく重要のため、各評価指標の理解が必要になります。分類モデル開発に興味を持っている方・挑戦してみたい方にご参考になれば幸いです。 基本的な用語 ポジティブとネガティブクラス 混合行列 評価指標 正解率（Accuracy） 適合率（Precision） 再現率（Recall） F値（F1-score） しきい値とprecision-recallのトレ
オンラインでのプログラミング系の演習をGoogle Colab & Google Driveで行なう - yasuhisa's blog
去年に引き続き、東京都立大学の非常勤講師の依頼をid:mamorukさん(小町先生)からして頂いたので、今年も講義を担当してきました。講義の内容としては Mackerelでのロール内異常検知を題材に、機械学習をプロダクトに取り込んでいく際、どういった視点が必要になるのか 実際の開発はどういった形式やツールで行なわれているのか、擬似的に体験してもらう といった内容(講義 & 演習)で行ないました。内容としては昨年とほぼ一緒ですが、新型コロナウイルスの影響で演習パートがオフラインの対面ではなく、オンラインで行なう点が一番違いました。演習系のサポートは学生さんの手元の環境がそれぞれ違う、などあって去年も苦戦しました。今年は同じ感じでいくとさらに大変そう(というか見切れない...)だろうなと思って、やり方を考えてみました。 他にいいやり方があったら誰か教えて & 自分用の今後*1のメモという感じの
今や情報セキュリティはあらゆる分野で重要視されるようになっていますが、自分がしばらく働いているWebサービス関連の業界では「どの段階から情報セキュリティに取り組めばよいか？」という疑問がしばしば話題になります。昨今のWebサービスの多くは昔からのソフトウェアプロダクト開発における設計→開発→納品というフローで完結するものではなく、高速にプロトタイプを作成して価値検証を繰り返しながら、徐々にサービスとして成熟していくというモデルが多いと思います。その場合、最初から制約を厳しくしてしまうことでプロダクト開発のスピードが鈍化しProduct Market Fit（PMF）に至らない、というリスクが起こりえます。さらに厳しい制約を設けすぎることで逆に対策を無視する、という悪い文化が根付いてしまう恐れもあります。 この記事では自分がもし今から「自分でスタートアップを立ち上げ、あるいは立ち上げ直後のス
昨年12月にラスベガスで開催された re:Invent 2019 で 多くの機械学習関連のサービスのアップデートがアナウンスされました。 今回の受験モチベーションは、機械学習の知識は、エンジニアの教養としてもはや特別なものではなくなってきていると感じ、これらの知識ついて一度体系立てた学習をしてみたくなったのがきっかけです。 今回のスコア(2020-02-23受験) 総合スコア: 755/1000 (ボーダー750) スコアと評価 分野 1: データエンジニアリング -> 十分な知識を有する 分野 2: 探索的データ解析 -> 十分な知識を有する 分野 3: モデリング -> 再学習の必要あり 分野 4: 機械学習の実装と運用 -> 十分な知識を有する AWS認定機械学習専門知識(MLS)について ここからが本題となります。 まずは、以下の公式ページから試験概要の把握を行いました
こんにちは、SRE部の谷口（case-k）です。 本記事では、EC2 Image Builderを使いRedashの運用改善を行った事例をご紹介します。運用しているRedashについてご紹介し、その後、Redashの運用課題に対してEC2 Image Builderでどのように解決したかTipsも踏まえご紹介します。 余談ですが全国どこでも働けるようになったので沖縄に住めています(感謝！) https://press-tech.zozo.com/entry/20210118_zozotechpress-tech.zozo.com 目次 目次 運用しているRedashの紹介 役割 インフラ構成 クエリ実行の流れ EC2インスタンス起動時の処理 Redashの運用課題 EC2 Image Builderによる課題解決 EC2 Image Builderの紹介 各リソースのTips 事前準備 コ
打突棒 打突棒は、Amazonで適当なものを購入しました。 https://www.amazon.co.jp/gp/product/B00QQ2J70K/ref=ppx_yo_dt_b_asin_title_o09_s00?ie=UTF8&psc=1 手順 2. USB接続されたマイクで録音 木板の端を打突棒で叩いた音をUSBマイクで録音します。 板によっては、左右の差があるかどうかを見るために、左右それぞれを打突して録音します。 USBマイクもは、Amazonで適当なものを購入しました。 https://www.amazon.co.jp/gp/product/B075PJ7V3V/ref=ppx_yo_dt_b_asin_title_o09_s00?ie=UTF8&psc=1 特に性能で選んだわけでもなく、自立するマイクで、高価でなく、ユーザー評価の高いもの適当に選びました。 録音は、３
こんにちは、プレックスの種井です。 今回は、PlexJob開発チームにおいて、技術的負債に対して、どのように向き合っているかを紹介したいと思います。 「PlexJob」は物流特化型のダイレクト・リクルーティングサービスです。 求職者様が求人を検索するサイト 企業の採用担当者様が採用活動を行うための管理システム を提供しています。 背景 技術的負債との向き合い方 スプリントのタスクの10~20%を負債の返済に当てる 負債の蓄積と共有を行う 振り返りと棚卸しを定期的に実施する 負債の返済に対しての敷居を下げる 負債に対して、個々人の目線を合わせる 現在抱えている開発上の課題 おわりに 参考 背景 PlexJobはリリースから1年を迎えています。 嬉しいことに1年間ですでに13万ユーザーを突破するなど、急成長のサービスではありますが、まだまだプロダクトとしては、業界特有の課題に対して、仮設検証を
新年あけましてメリークリスマス！！！！！！！！！ 今日は2023年1月3日。これはKLab Engineer Advent Calendar 2022の21+13日目の記事です。年末年始は寝てばかりでクリスマスらしいことができなかったので、体感ではまだクリスマス前です。 21日からコロナでダウンしてたんですが、やっと回復してきたと思ったら今度は家族にうつしてしまった…（みんなごめん Advent Calendarはもう少しお待ちください — はま (@hmkz_) December 26, 2022 2020年7月にKLabに転職してから、機械学習グループの立ち上げメンバーの一人として色々なことをしてきました。この記事ではそれを振り返ってみます。 KLab機械学習グループとは 機械学習を使ってゲーム開発を支援したり、運用を効率化したり、アナリティクスチーム単独では難しいような分析をしたり、
UbieでのBI民主化の振り返り
こんにちは。Ubie Discoveryのおきゆきです。アナリティクスエンジニア/データアナリストとして働いています。自己紹介ページはこちらです。 Ubieでは、各チームが適切にデータを利活用できるようにするためのBI民主化活動を行っています。この記事では、昨年行ったBI民主化の取り組みの一部を紹介します。 BI民主化が必要なわけ データチームが依頼の窓口となり、各チームの依頼に対応するというやり方は、ナレッジが独人化しがちで、チケット管理などの運用コストが増し、中長期的にみてもデータチームの生産性が低下しがちです。結果、本質的なデータ基盤改善や攻めの分析活動が後手になりやすいです。また、ドメインに詳しい依頼元が分析実施できたほうが良い示唆を得られることが多々あります。 一方、データチームを介さずに各チームで分析の実施までできている以下のケースではどうでしょうか。 「あるデータが欲しいプロ
2024年11月、Mackerelのメトリックがオブザーバビリティ標準であるOpenTelemetryに正式対応し、あわせて価格体系を全面的に改定します - Mackerel お知らせ #mackerelio
現在パブリックベータとして提供しているOpenTelemetry対応を2024年11月1日に正式リリースいたします。また、機能に合わせた価格体系の見直し（価格引き上げも含む）を行います。 OpenTelemetry対応と今後のMackerelの開発方針について クラウドネイティブな開発を進めていくと、システム内で何が起きるのかあらかじめ予測して監視・対応しておく、ということが困難になってきます。こういった環境ではシステム内部の状態を把握できるように多角的に観測可能にしておく、可観測性を上げておくことが重要となります。このような環境に対応していくため、Mackerelはメトリックを多次元的に扱うことができる「OpenTelemetry対応」を2024年11月1日に正式リリースします。 OpenTelemetry対応機能は、以下の特徴を持っています。 メタデータを付与した多次元的なメトリックの
マイクロアドでデータを分析している高橋と申します。 大学院までは物理学を専攻していましたが、縁あってデータ分析の分野に飛び込むこととなりました。 入札額の最適化アルゴリズムに取り組んでいた時期もありましたが、現在は広告表示の異常検知・不正検知周りが主テーマです。 今回は、不正検知等で役に立ちそうなRIDITスコアについての話をさせていただきます。 広告表示の不正検知 不正検知で困ること RIDITスコア 計算方法 具体例 PRIDITメソッド 計算方法 実際にやってみた まとめ 広告表示の不正検知 私が取り組んでいるテーマについて、もう少しだけ深くご説明いたします。 マイクロアドではDSP（Demand Side Platform）・SSP（Supply Side Platform）市場に参入していますが、そこで問題となるのがアドフラウド（広告不正）*1です。 一口にアドフラウドと言っても
いつもMackerelをご利用いただきありがとうございます。 Mackerelディレクターのid:daiksyです。 ちょうど5年前となる2014年9月17日にMackerelは正式リリースされました。その年の5月にベータリリースされ、4ヶ月間の試験期間を経ての正式リリースでした。当時のディレクターは、はてなの現CTOであるid:motemenであり、ぼくがはてなに入社する2ヶ月前という時期でもありました。 mackerel.io 当時はまだサービスメトリックの監視やSlackへの通知機能なども開発中という状態で、サービスを小さく開始して素早く育てていく、という考え方で毎週新機能をリリースしていました。 正式リリース直後のミートアップのレポートをご覧いただくと、当時の様子が垣間見られると思います。 mackerel.io その後、Mackerelの毎週機能リリースは、200週連続まで継続す
SmallTrainサイトのトップ画面 株式会社Geek Guild（ギークギルド）は11月9日、商用AI（人工知能）サービスのための、高精度なAI学習済みモデルの開発に使えるディープラーニング（深層学習）フレームワーク「SmallTrain（スモールトレイン）ver.0.2.0」のソースコードを公開したと発表。オープンソースなので、無償で誰でも利用できる。 SmallTrainは、ライブラリ機能とラッパー機能を兼ね備えたオープンソースフレームワーク。Kerasのように使えるという。多様なデータを学習済みのAIモデルを起点に、転移学習をするだけで、工数をかけずにAIを構築できるとのこと。 SmallTrainを使うと、精度を損なわず、大量のデータを取得する労力もいらず、ディープニューラルネットワークをすぐに開発できるという。MITライセンスに準拠しており、商用利用も可能だ。 需要と供給にあ
印刷する メールで送る テキスト HTML 電子書籍 PDF ダウンロード テキスト 電子書籍 PDF クリップした記事をMyページから読むことができます 阿里巴巴集団（アリババグループ）のクラウド事業を担当するアリババクラウドは、同社のアルゴリズムプラットフォーム「Alink」の「中核コード」をGitHub上で公開したと発表した。同社によると、アップロードしたさまざまなアルゴリズムライブラリーは、バッチ処理とストリーム処理の双方をサポートするという。これらライブラリーは、オンラインでの製品レコメンデーションや、スマート顧客サービスといった機械学習（ML）のタスクに必要不可欠なものとなっている。 アリババクラウドによるとこれらのコードは、開発者やデータアナリストが統計解析やML、リアルタイム予測、パーソナライズドレコメンデーション、異常検知といったソフトウェア機能を構築する際に活用できると
仕事ではじめる機械学習 第2版
2018年の発行以来、多くの読者に支持された書籍を全面改訂！ 不確実性の高い機械学習プロジェクトについて、「仕事で使う」という観点から整理するコンセプトはそのままに、初版の発行後に登場した概念や課題を取り上げます。「機械学習でいい感じにしてくれ」と突然上司に言われたとき、本書で学んだことが読者の力になるはずです。本書で得た知識は読者が「いま」困っている問題を解決する助けとなるでしょう。 第2版では、機械学習システムの開発と運用の統合する「ML Ops」、機械学習モデルを解釈し、その妥当性や根拠を明らかにする「機械学習モデルの検証」、ユーザーの行動を学習しながら予測を進める「バンディットアルゴリズム」、意思決定における予測システムの役割や意思決定のデザインを扱う「オンライン広告での機械学習」といった新章を追加しています。 本書のサポートページ（GitHub） まえがき 第I部 1章 機械学習
はじめに こんにちは。インフラストラクチャー部のひらしーです。 今回はPagerDutyを導入し、システムに異常が発生した際のアラート管理を改善した話を紹介します。 アラート管理改善前 解決すべき人へのエスカレーションが必要な問題発生時、以前は以下のような問題がありました。 通知手段がメールのみで、インフラチームのメンバーは全サービスのアラートを受け取って自分でフィルタリング・転送をする必要があり、問題のエスカレーション漏れや監視設定自体の見直しがされずに監視精度のばらつきが発生していた過去のアラート情報が集約できておらず、問題の傾向把握や類似の障害の検索が困難だった PagerDutyについて 上記の問題を解決するため、メール運用のまま手法のみ改善する運用や内製ツールの開発を検討しましたがトライアルでチーム内での評価が高かったためSaaSのアラート管理ツールであるPagerDutyを採用
ディープラーニングを使った画像の異常検知について、研究が盛んに行われています。 工業製品を対象に、正常データのみを使って異常品を検出するアプローチとしては、 今のところ、@daisukelab さんの自己教師あり学習が一番有力です。こちらの研究では、 課題として、一部の画像で精度が伸び悩み、異常クラスのデータの作り方を試行錯誤した とのコメントがありました。 そこで、本稿では、多様な異常画像の自動生成方法について模索してみたいと思います。 ※こちらはPythonデータ分析勉強会＃16の発表資料です。 ※コード全体はこちらに置きました。 結論から 先行研究の自己教師あり学習では、「正常」、「線を描画した異常」の2クラスに対して、本稿では「歪みを加えた異常」を追加して3クラスの深層距離学習（下図参照）で学習させた。 3クラスになったことにより、深層距離学習の最新手法「AdaCos」の使用も可能
教師なし学習の性能評価は雰囲気でやるしかない
はじめに 2020年のGWはオライリーの「Pythonではじめる教師なし学習」とOutlier Analysisという2冊の本を読んでいたのですが、その過程で私が数年前から持っていた、教師なし学習についての大きな疑問に対する答えが得られました。これは個人的には「年に1度、あるかないか」というくらい大きな衝撃を伴うイベントだったので、ここでブログにまとめたいと思います。なお、もしかしたら、知っている人には当たり前の話なのかもしれません...(もしそうだったらすみません)。 また、オライリー「Pythonではじめる教師なし学習」で行われているハイパーパラメータのチューニングには致命的な間違いがあるので、それも合わせて紹介します。 セキュリティと機械学習における教師なし学習 WAFのように日々大量の通信が発生し、かつ少しずつ内容は変わっていく可能性がある場面では、大量のデータにラベルをいちいち付
不良品検出のAIサービス「Amazon Lookout for Vision」が先週25日(木)に東京リージョンでの提供開始が発表されましたが、27日(土)には早くも「AWSの基礎を学ぼう」コミュニティのハンズオンが開催され、実際に体験してみることができました。 AI、機械学習系のハンズオンということで待ち時間なんかもあるわけですが、そこにソラコムの @ma2shita さんの「Amazon Lookout for Vision 向いてるコト、使いどころと注意点」とかJAWS-UG名古屋の @nori2takanori さんの「画像ベース異常検知Amazon Lookout for Visionを使ってみよう」とかLTが入って、退屈する暇のない2時間でした。その中で出てきたスライドの一枚がこちら。 Lookout for Visionは不良品検知にしか使えないサービスじゃないぞ、と。アイデ
Amazon Web Services ブログ 単一アベイラビリティーゾーンでのアプリケーション障害からの迅速な復旧 2023 年 5 月 3 日のアップデート このアップデートにより、Amazon Route 53 Application Recovery Controller のゾーンシフトは、以下の AWS リージョンでも利用できるようになりました。 詳しくは、更新された What’s New ポストまたはゾーンシフトのドキュメントでご確認ください。 本日は、Elastic Load Balancing (ELB) に組み込まれた Amazon Route 53 Application Recovery Controller (Route 53 ARC) の新機能であるゾーンシフトをご紹介します。ゾーンシフトを実行することで、単一のアベイラビリティゾーン (AZ) 内のアプリケーショ
はじめに AI事業本部Dynalystのエンジニアの加藤です。 2019年4月にサイバーエージェントに入社し、MLエンジニア・データサイエンティスト(以降DS)として主にPythonとSQLを用いて分析業務に携わっています。今回のブログでは既存の機械学習モデルの検証からモデルの精度改善についてのアプローチを通じて、本番環境で動く機械学習モデルの性能を追試することの重要性を伝えるとともに、DSがどういう切り口で問題を分析していくのか、DSはどの程度まで開発サイドに携わるべきか等の考えをお伝えできればと思います。 背景: オンライン広告配信の仕組みとDynalystの立ち位置 まず、オンライン広告業界で日々行われている Real-Time Bidding (RTB) という仕組みと、Dynalystの立ち位置についてざっくり説明します。 webサイトを訪れた際に広告が表示された経験はほとんどの
COPERU Projectは5月31日から、コーディングを初めてする人や楽しみたい人（中学生・高校生・大学生・社会人・保護者など）向けに、無料のオンライン講座「『はじめてのプログラミング』大学生らが優しく寄り添う無料オンライン農園」を開講する。期間は7月15日までで、いつからでも始められる。 本講座では「Python 3」などを用いたコーディングを体験できる。講師はコーディングの経験があるだけではなく、情報と教育の両方に興味のあるプログラミング学習塾の講師や、情報と教育の両方を学び進めている大学生。 主催は明星大学、明星大学情報学部、早稲田大学学力向上研究所、帝京平成大学 情報教育研究会、日野市（産業振興課・子育て課）、日野市教育委員会など。 【「『はじめてのプログラミング』大学生らが優しく寄り添う無料オンライン農園」概要】 ・内容：「Python 3」などを用いた初心者向けのコーディン
3行まとめ ・分析組織のロードマップとフェーズを分析 ・分析組織の戦略と組織体制を分析 ・分析組織を運営する上での注意事項を列挙 データソリューショングループの天野です。 最近運動不足を解消するために体組成や歩数をモニタリングしており、徐々に成果が出ています。「継続は力なり、計測も力なり」ですね。 前回公開の記事から時間が空いてしまいましたが、今回は事業会社の分析部門責任者の観点から分析組織を「分析」するというテーマにて記事を書きました。 具体的には分析組織の運営に関わるロードマップやフェーズ毎の役割を始め、個社毎に策定するデータ戦略に用いられる要素や分析組織の体制パターン、そして知っておくことや避けた方が良いことなどを「分析」します。「分析」というワードがありますが持論をまとめているだけで、データがまったく出てこないので客観性に乏しくデータ分析者には物足りない内容かもしれませんが、ひとつ
2021年11月26日、パナソニックは不正アクセスにより社内のファイルサーバーから一部のデータが読み取られたことを公表しました。ここでは関連する情報をまとめます。 サーバーへのアクセス権限窃取か 不正アクセスを受けたのはパナソニック社内のネットワーク。ファイルサーバーは海外の子会社のサーバーを経由して不正アクセスを受けていた。機密情報を保存した国内のファイルサーバーのアクセス権限が窃取されたとみられている。*1 不正アクセスの影響として、社内の一部ファイルが読み取られた形跡が確認されている。国内のファイルサーバーには従業員の情報、取引先の情報、同社の技術情報など保存されている。影響が確認されているのは国内のサーバーのみで業務システムは対象外。*2 想定されていないサーバーから接続発生といった社内ネットワークでの異常検知が発端。*3*4 その後の調査でサーバーへの不正アクセスは6月22日から
BigQuery MLでスロット使用量が急増しているプロジェクトやユーザーを異常検知する - yasuhisa's blog
背景 どうやって異常を検知するか BigQuery MLでの異常検知 検知できるモデルの種類 共通設定 データの前準備 モデルの学習 モデルを元にスロット使用量が異常に増加していないか予測する 所感 背景 BigQueryはオンデマンドとフラットレート(定額料金)がある オンデマンドはスキャン量がお金に直結するため、INFORMATION_SCHEMA.JOBS_BY_*などを使ってクエリ警察をしている方も多いはず INFORMATION_SCHEMAに代表されるデータ管理に役に立つ現場のノウハウを最近会社のTech Blogに書いたので、そちらも見てね 一方で、フラットレートに関しては定額使いたい放題のプランであるため、オンデマンドよりはクエリ警察をしていない場合もある 見れるなら見たいが、どうしても支出に直結するオンデマンドを優先して見てしまいがち。工数も限られている が、あまりに自由
はじめに こんにちは。dely開発部の伊ヶ崎（@_ikki02）です。 本記事はdely Advent Calendar 2019の6日目の記事です。 qiita.com adventar.org 昨日は当社サーバサイドエンジニアの安尾が 「スピード優先の開発で溜まった技術的負債の返済計画（サーバーサイド編）」 という記事を書きました！ 新機能の開発にとどまらず 技術的負債を返済していくのはとっても素敵なことですね！ ぜひこちらも一読いただけると嬉しいです。 さて、本日は前職でデータサイエンティスト、 現職で機械学習エンジニアをしている経験から 私が感じている両職業のお話をしていきたいと思います。 まだまだ新しい職種なので、 実際はこんなことしてるんだ、と少しでもお役に立てれば幸いです。 （あらかじめお断りしておくと、 職業の優劣関係や、 どちらか片方の職業を賞賛する意図に基づくものではご
Amazon Lookout for Metrics が一般提供開始となり、東京リージョンでお使いいただけます | Amazon Web Services
Amazon Web Services ブログ Amazon Lookout for Metrics が一般提供開始となり、東京リージョンでお使いいただけます みなさん、こんにちは。アマゾン ウェブ サービス ジャパン、シニアエバンジェリストの亀田です。 2020年12月、AWS re:Invent でアナウンスされた、Amazon Lookout for Metricsが一般提供開始となり、東京リージョンでご利用いただける用になったのでお知らせいたします。 Lookout for Metrics は与えられたデータの各メトリクスの異常を自動的に検出し、その根本原因を特定することを可能とするサービスです。機械学習 (ML) を使用して、例えば、売上高や顧客獲得率の急激な低下など、ビジネスおよび運用の時系列データの異常 (標準からの外れ値など) を自動的に検出および診断します。複雑な要因が絡
製造現場で活躍広がる「画像×AI」、どういう場で生きるのか：スマートファクトリー（1/2 ページ） グルーヴノーツは、「製造×画像AI」をテーマに2020年4月14日、オンラインセミナーを開催。グルーヴノーツ アカウントエグゼクティブ 岩野敦氏が製造業向けのインフラ設備・機械の保全・安全管理業務における画像AIの活用事例などを紹介した。 グルーヴノーツは、「製造×画像AI」をテーマに2020年4月14日、オンラインセミナーを開催。グルーヴノーツ アカウントエグゼクティブ 岩野敦氏が製造業向けのインフラ設備・機械の保全・安全管理業務における画像AI（人工知能）の活用事例などを紹介した。 AIと量子コンピューティング技術を活用した「マゼランブロックス」 グルーヴノーツは福岡市に本社を置くソフトウェア会社で、社員数は約50人。AIや量子コンピュータを利用した組み合わせ最適化ソリューションなどを提
【参加メモ】AI時代のソフトウェアテストの現在と未来 #genai_autify_launchable - ソフトウェアの品質を学びまくる
本日2024年3月5日(火)の昼間に開催された、『AI時代のソフトウェアテストの現在と未来』というイベントがとてもよかったので、特に印象深かったポイントについて共有したいと思います。 イベントの詳細はこちらで。 autifyjapan.connpass.com 登壇者はタワーズ・クエストの和田卓人 @t_wada さん、Launchableの川口耕介 @kohsukekawa さん、Autifyの近澤良 @chikathreesix さんのお三方。ファシリテーターは、近澤さんと同じくAutifyの、末村拓也 @tsueeemura さんです。 宣伝タイム Launchableは、「テストの失敗をよりインテリジェントに扱う」ことを目指している。 たとえば、テストのFlakinessの判定や対処にできるだけ人を介在させないとか、過去の実行結果を見て再実行要否の判断をするといったもの。 Auti
BIサービス Amazon QuickSight のセルフハンズオンキット日本語版を公開（随時更新） | Amazon Web Services
Amazon Web Services ブログ BIサービス Amazon QuickSight のセルフハンズオンキット日本語版を公開（随時更新） Amazon QuickSight は、簡単に利用でき、サーバレスなので運用管理の負荷も少ないBIサービスです。 これまで、各種イベントなどで実施してきたQuickSightのハンズオンがオンラインで利用可能になり、お手元の環境でいつでもハンズオンを試していただけるようになりましたので、それぞれ概要とURLを紹介します。現在4種類の日本語ハンズオンが公開されています。 ※補足：本ページで記載されている各ハンズオンは更新されることがあるため、本ブログのタイトルを変更し、各ハンズオン単位で更新日時を記載するようにしました。 Amazon QuickSight 可視化BASIC編 (更新 2023/11/30) こちらはQuickSightのベーシ
工場の自動化をオープンソースのソフトウェアで実現しようとするスタートアップが京都にある。矢野貴文氏が率いるRUTILEA（ルティリア）が開発する「SDTest」はAI／ディープラーニングを活用し、工場の自動化を支援するソフトウェアで、カメラを使った外観検査やロボットアームを使ったピッキングなどの機能を提供。2019年9月の公開から半年で500社がダウンロードしている。 SDTest（Software-Defined Test）は検査機器や装置に組み込むことで、電子部品における微細な表面の傷や印字ミスなど、高精度の外観検査を実施できる。ソフトウェアがオープンソースであることに加え、検査に必要なハードウェアも自社製造することで、これまで導入に1500万円程度かかった外観検査システムが300万円程度から導入できるのが最大の武器だ。 また、2020年3月にはピッキングを自動化する機能も公開。ソリュ
「データサイエンス」とはどんな学問？ 企業300社と共同した滋賀大の問題解決例（高校生新聞オンライン） - Yahoo!ニュース
近年トレンドに挙がるデータサイエンスは、具体的にどんな場で活用されているのか。2017年に全国で初めてデータサイエンス学部を創設した滋賀大学の椎名洋学部長に聞いた。（野口涼） ビッグデータを活用して課題解決―そもそも、「データサイエンス」とは何でしょうか？ 高校生の皆さんなら「ビッグデータ」という言葉を聞いたことがあるでしょう。文字通り、圧倒的な量のデータ（実験や観察などによって得られたもので、数字・文字・音・映像など様々な形がある）のことをいいます。 近年、情報通信技術の発展によって、世界中のさまざまな場所で日々生み出されるデータを集め、保存し、分析することが容易になりました。そのことを利用して今ある課題を解決したり、新たな価値を生み出だしたりする学問が「データサイエンス」です。 ―社会ではどう活用されているのでしょうか。 身近な例を紹介しましょう。皆さんがスマホで検索したワードは、Go
Professional Machine Learning Engineer試験対策マニュアル - G-gen Tech Blog
G-gen の佐々木です。当記事では Google Cloud（旧称 GCP）の認定資格の一つである、Professional Machine Learning Engineer 試験の対策や出題傾向について解説します。 基本的な情報 Professional Machine Learning Engineer とは 難易度 試験対策 機械学習の一般的な知識 代表的な機械学習アルゴリズム 評価指標 回帰問題における評価指標 分類問題における評価指標 ヒューリスティック 機械学習モデルの開発、運用における課題の解決 データの前処理 欠損値の処理 カテゴリカル変数の扱い 不均衡データの対策 過学習の対策 正則化 早期停止 トレーニングの改善 ハイパーパラメータの調整 トレーニング時間の改善 交差検証 モデルのモニタリングと改善 スキューとドリフト モデルの軽量化手法 Google Cloud
Datadog Dashboard at Scale w/ Terraform | Mercari Engineering
こんにちは。株式会社メルペイSREチームの@kekeです。 Merpay Advent Calendar の9日目の記事です。 本記事ではスケーラブルなDatadogモニタリングシステムをTerraformによって実現した方法を紹介します。 はじめに すでに多くの発表があるのでご存知の方も多いのではないかと思いますが、メルペイではマイクロサービスアーキテクチャを採用しています。 マイクロサービスアーキテクチャの略図 各マイクロサービスのデベロッパーは責任を持ってそれぞれのサービスを開発・運用しています。 SRE(Site Reliability Engineering)チームはシステムの信頼性を失うことなく高い開発速度を実現できるような仕組みづくりに取り組み、それをデベロッパーに提供しています。メルペイという金融事業の、高い信頼性の実現のためにサービスを横断的にモニタリングをしています。可
【開催報告 & 資料公開】AWS 春の Observability 祭り 2024 | Amazon Web Services
Amazon Web Services ブログ 【開催報告 & 資料公開】AWS 春の Observability 祭り 2024 こんにちは。ソリューションアーキテクト (以下 SA) の高野です。 2024 年 4 月 25 日に「AWS 春の Observability 祭り 2024 〜Observability 獲得までの旅〜」と題したイベントを開催しました。昨年秋に実施させていただいた AWS 秋のObservability 祭り以来の Observability をテーマにしたイベントになります。ご参加いただきました皆様には、改めて御礼申し上げます。昨年の開催報告ブログはこちら。 本ブログでは、その内容を簡単にご紹介しつつ、発表資料を公開致します。今回は、Observability の獲得プロセスをテーマに様々なセッションを行いました。Observability 獲得の全体像
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Microsoft、.NET開発者向け機械学習フレームワークの新版「ML.NET 1.2」を発表
MLOpsを支えるモニタリングシステム。「Lupus」開発の裏話
StyleGANを遊び尽くせ!! ~追加学習不要の画像編集~ - Qiita
H3ロケットの失敗は短絡の可能性が強まる、具体的な故障シナリオの検討へ
【初心者向け】 機械学習におけるクラス分類の評価指標の解説 - OPTiM TECH BLOG
Web サービススタートアップにおけるプロダクトセキュリティの始め方
AWS認定機械学習専門知識(MLS)を、２ヶ月の集中期間で取得したやったことまとめ - Qiita
EC2 Image Builderを用いたRedashの運用改善 - ZOZO TECH BLOG
Deep Metric Learning（深層距離学習）を使った打突音による異常検知 - Qiita
技術的負債との向き合い方 - PLEX Product Team Blog
モバイルゲーム会社の機械学習グループを立ち上げた話 - Qiita
RIDITスコアによる不正検知 - MicroAd Developers Blog
Mackerelが正式リリースしてから5周年に突入しました！ - Mackerel お知らせ #mackerelio
AI学習済みモデルの開発に使える無償のフレームワーク「SmallTrain ver.0.2.0」商用利用可能 | Ledge.ai
アリババ、MLアルゴリズムプラットフォームをGitHubで公開
PagerDutyでアラート管理を改善した話 - Tech Inside Drecom
【異常検知】深層距離学習で画像の歪みを検出する - Qiita
Amazon Lookout for Visionで青森認証やってみた - Qiita
単一アベイラビリティーゾーンでのアプリケーション障害からの迅速な復旧 | Amazon Web Services
本番環境で動く機械学習モデルの性能を追試することの重要性
明星大学、Pythonなど学べる初心者向け講座が無料に | Ledge.ai
分析組織を「分析」する｜NEO CAREER Data Analytics Blog｜note
パナソニックへの不正アクセスについてまとめてみた - piyolog
データサイエンティストと機械学習エンジニアをやって思ったこと - dely Tech Blog
製造現場で活躍広がる「画像×AI」、どういう場で生きるのか
製造業をオープンソースで自動化——工場の変革を目指す京都発AIスタートアップ「RUTILEA」｜fabcross