前回の記事では、ディープラーニングの異常検知に関するベンチマークを 行いました。その結果、「L2-SoftmaxLoss」が一番良い性能を示しました。 本稿では、その元になった「論文の概要」と「異常検知に適用した場合の考察」を 記したいと思います。 ※なお、本稿の図は特に明記がない場合は論文（L2-constrained Softmax Loss for Discriminative Face Verification ）より引用しています。 論文の結論 結論からいうと、論文で言いたかったことは ということです。この意味が分かる方は、既に論文のほとんどを理解できています。 あとは、分類精度を向上させるために、ソフトマックス関数をどう改造するかのお話しです。 ソフトマックス関数のクロスエントロピー 分類問題で良く使われるソフトマックス関数のクロスエントロピーは 以下のとおりです。 L_S=-\
※ChatGPTと言っていますが、正確にはOpenAIの「code-davinci-003」というGPT-3のモデルを使っています。 ChatGPT、すごいですよね！ 質問すれば、ある程度のことはいい感じの返答をしてくれますね。 例えば「〜と似た文章を作って。」メッセージをChatGPTに投げることで、似たような文章を生成できます。 入力： import openai openai.api_key = key ＃keyはopenaiのページから取得してください。 model_engine = "text-davinci-003" prompt = """ 「MatrixFlowは、AIの開発に特化したノーコード開発のプラットフォームです。 画面上でブロックを動かすという視覚的な操作だけでAIを開発できます。 様々な課題や要望に応じたAIモデルのテンプレートが用意されているため、テンプレート
SBテクノロジーは3月21日、同社が提供する自治体向け情報セキュリティクラウドが、メール中継システムの設定ミスにより、迷惑メールの踏み台になったと発表した。 不正送信されたメールは91万2299件（.jpドメイン向け2467件、それ以外のドメイン向け90万9832件）。メール中継システムが受信拒否リストに登録され、自治体の一部メールが送信できない問題も発生していた。 システムを利用している秋田県などが被害を公表した。個人情報など自治体内の情報漏えいは確認していないという。 SBテクノロジーによると、3月18日午後、メール中継システムで送信障害が発生。メンテナンスで約1時間後に解消したが、メンテナンスの際のアクセスコントロールリスト（ACL）設定でミスがあり、第三者から外部にメール送信できる「オープンリレー」を許可してしまっていた。 その約2時間半後、メール中継システムの異常を検知。オープン
はてなは7月1日、日本音楽著作権協会（JASRAC）が管理する楽曲の利用について包括的利用許諾契約を締結し、はてなブログ内にJASRAC管理楽曲の歌詞を掲載できるようになったと発表した。歌詞を利用したブログ記事への削除申立が増えたため、これまでの方針を変えたとしている。 歌詞の掲載には条件があり、（1）商用目的のブログへの掲載、（2）替え歌など著作者に無断で改変する行為、（3）転載した歌詞を主体にブログを構成すること、（4）掲載した歌詞の外部サービスへの転載――などは禁止している。 同社は、2016年にブログサービス「はてなダイアリー」に掲載された楽曲の歌詞に対して大規模な削除要請を受け、JASRACとの包括契約を検討したが、いったんは契約を見送った。楽曲の歌詞に対し感想を述べたり、歌詞で自身の心情を表したりする記事は、著作権法第32条で定められる「引用」の範囲であると解釈していたからだ。
こんにちは。研究開発部 Architectグループの中村です。 本記事は Sansan Advent Calendar 2023 の16日目の記事です。 今回は、私達のチームで開発&運用している全社横断データ分析基盤のデータレイヤの再設計、及びdbtの導入を進めているという事例について紹介します。 既存のデータ基盤に対して、dbtの導入を検討されている方の参考になれば幸いです。 （本稿ではdbtとはについては触れませんので、ご了承ください） TL;DR 歴史的経緯 全社横断データ基盤が生まれる前 全社横断データ基盤 立ち上げ期 課題 立ち上げ期に作られたデータマートがカオスに・・・ 課題の解決に向けて データレイヤの再設計 Transformツールの選定 dbtへの移行戦略 その他dbt移行におけるTips チームでの開発の標準化 Cosmosの導入検証 データカタログのホスティング まと
2021年度リクルート入社の2人のKaggle Grandmasterにインタビュー。Kaggle Grandmasterを目指すために意識しておくべきポイントや戦略について解説する。これを読んで、データサイエンティストとして“最高峰”の称号を目指そう。 連載目次 この連載では、近年話題のコンペティションプラットフォーム「Kaggle」について、リクルート所属のKaggle Masterの4人が、Kaggleの仕組みや取り組み方、初心者から一歩先にいくためのノウハウについて解説してきました。 連載を振り返ると、第1回では、これからKaggleを始めようと思っている方向けに、Kaggleの仕組みやコンペティション（以下、コンペ）への取り組み方、初心者におすすめのコンテンツについて解説を行いました。 また第2回では、ランクを上げていくために筆者が「実際に何をしていたか」について、実際の事例を交
はじめに 本記事は 機械学習をどう学んだか by 日経 xTECH ビジネスAI② Advent Calendar 2019 の8日目になります。 これから市場に漕ぎ出していく初学者の方々の参考になれば幸いです。 プログラミング経験 学生時代 (ロボット工学、流体力学) : C/C++; 組み込み、数値流体計算、研究ツール Matlab; 現代制御理論の授業で少々 前職 (ADAS) : C/C++; 組み込み、社内ツール Python; アルゴリズムのプロトタイピングやデータ整理 ※AI関係ではない 現職 (建築・土木の施工管理) : C++; 組み込み Python; 機械学習・Deep Learning JavaScript (Node.js, GoogleAppsScript)・HTML・CSS; 社内ツール Julia; 興味本位で触れてみている C/C++, Matlabは
実践 AWSデータサイエンス
AWSではデータサイエンス分野で利用できるさまざまなサービスが提供されています。本書では、それらのサービスを有効に使って、データの収集、分析、モデルの訓練、テスト、デプロイまでの一連のプロセスを行う方法を紹介します。対象とする事例は、ヘルスケアデータ、時系列データ、自然言語処理、画像分類、不正検出、需要予測、レコメンデーションシステムなど非常に多岐にわたります。本書の目的は、Amazon SageMakerをはじめとしたAWSの機械学習サービスの詳細を説明するだけでなく、AWSのサービスを組み合わせることで、データサイエンスとアプリケーション開発の統合を図り、開発を効率化することであり、データサイエンティスト、データアナリスト、データエンジニア、MLエンジニアはもちろん、アプリケーション開発者や管理職にとっても役に立つ一冊です。 正誤表 ここで紹介する正誤表には、書籍発行後に気づいた誤植や
ITシステムの運用監視において、通常とは異なる状態、例えば急にトラフィックが跳ね上がる、動作速度が遅くなる、プロセッサの使用率が上がる、ネットワークのレイテンシが大きくなる、などを検知し、警告を発することはもっとも基本的かつ重要な機能です。 しかし、通常の状態にはある程度の幅があります。一体どの程度の範囲を超えたら異常であると判断するのか、閾値の設定は容易ではありません。 閾値を低くすれば、ひんぱんに異常と判断されて警報がいつのまにか軽視されてしまう心配があります。逆に閾値を高くすれば、小さな異常が見過ごされてしまう恐れがあるため、適切な設定には試行錯誤が必要です。 しかも昼と夜、平日と休日では適切な閾値は異なるでしょうし、キャンペーン期間やテレビコマーシャルの投入など特定の期間も閾値は変化するなど、閾値の設定は動的に行う必要もあります。 こうした難しい異常値の検出を機械学習により自動的に
愛してやまないAWSで展開するセキュリティ対策戦略
TL;DR セキュリティ対策には予防的統制と発見的統制の2つの観点が欠かせない AWSが提供するセキュリティサービスが予防的・発見的統制にどう寄与するかを解説 セキュリティ対策は、リスクの特定と可視化、リスク分析と優先度付け、施策費用の算出、経営層への報告とサポートの獲得で進めるべし セキュリティは、単に技術やツールを導入するだけではなく、組織全体の意識や文化、そして継続的な改善が求められる はじめに レバテック開発部レバテックプラットフォーム開発チームに所属している内藤です。 普段は、バックエンドの設計や実装、さらにインフラの構築まで幅広く担当しています。 最近、私は弊社開発部を代表して（色々な方面から怒られそう笑）、AWSセキュリティインシデント擬似体験GameDayに参加する機会に恵まれました。このイベントでは、セキュリティインシデントへの対応方法や予防策など、実際のインシデント調査
Pythonの異常検知パッケージPyODのフォーマットに従って、カーネル密度推定に基づく異常検知を実装した - 備忘録
はじめに 異常検知（外れ値検知）のための便利なPythonパッケージとしてPyODが存在する。 pyod.readthedocs.io github.com クラシックな手法から比較的最先端の手法まで実装されており、インタフェースも使いやすいのでオススメできる。 2021年8月9日現在、PyODにカーネル密度推定（Kernel Density Estimation; KDE）ベースの異常検知が実装されていなかったので、それを実装したということである。 PyODのインストール pipでインストール可能である。 pip3 install pyod 異常検知について 以下の記事を読むのが良いだろう。 qiita.com カーネル密度推定について ばんくし氏の記事が参考になるだろう。 vaaaaaanquish.hatenablog.com 作成したクラス：KDE すでに実装済のPyODの各種アル
AWS、機械学習で量産品の不良を見分ける「Amazon Lookout for Vision」の本サービス提供開始
AWS、機械学習で量産品の不良を見分ける「Amazon Lookout for Vision」の本サービス提供開始 米Amazon Web Servicesは2月24日（現地時間）、量産品の中から異常を見つけ出す「Amazon Lookout for Vision」の正式版の提供を始めた。2020年11月30日から開催したオンラインイベント「AWS re:Invent 2020」で発表し、プレビュー版として提供していたサービスだ。 Amazon Lookout for Visionは、カメラで写した大量生産品の画像を機械学習モデルで解析し、不良品を検出するサービスだ。初期費用は不要で、モデルの学習や解析にかけた時間に応じた従量課金となる。 米東部（バージニア北部）、米東部（オハイオ）、米西部（オレゴン）、ヨーロッパ（アイルランド）、ヨーロッパ (フランクフルト)、アジア太平洋（東京）、アジ
以前に以下のツイートをしました。 この論文の凄さは、「DNNは学習していない」ということ。学習済モデルを全面的に信用している。それでAUC95.80％は驚愕。 凄まじく早い（学習）ので、エッジなんかで威力を発揮しそう。 （続く） https://t.co/1u6BUQsJnt — shinmura0 @ 2/27参加者募集中 (@shinmura0) September 14, 2020 個人的に、この論文は画像分野において異常検知の決定版と認識しています。 ただ、弱点を挙げるとすれば「可視化手法がない」ということです。 本稿では、この手法で異常検知しつつ、異常部分を可視化する方法を模索します。 ※コードはこちら 先に結論 本稿のターゲットは、「高精度に異常検知しつつ(detection)」、「低速+ある程度の 可視化(segmentation)」です。本稿の内容が適合していない場合、お好
SRE / DevOps / Kubernetes Weekly Reportまとめ#13(4/26~5/1) - 運び屋 (A carrier(forwarder) changed his career to an engineer)
この記事は2020/4/26~5/1に発行された下記3つのWeekly Reportを読み、 DEVOPS WEEKLY ISSUE #487 April 26th, 2020 SRE Weekly Issue #216 April 27th, 2020 KubeWeekly #214 May 1st, 2020 English Version of this blow is here. DEVOPS WEEKLY ISSUE #487 April 26th, 2020 News A detailed write up from the recent Failover Conf on all things chaos engineering. Lots of notes and links to related content. A good post for any software d
AWSから Log4j脆弱性攻撃の被害が疑われるEC2について通知を受けました | DevelopersIO
AWSチームのすずきです。 log4jの脆弱性を標的とした攻撃による被害が疑われたEC2インスタンスについて、 AWSからのメールでの案内を受ける機会がありましたので、紹介させて頂きます。 AWSからのメール 一部抜粋 From: Amazon Web Services, Inc. no-reply-aws@amazon.com Subject: [Action Required] Irregular Activity in your AWS Account [AWS Account: 000000000000] [US-WEST-2] Your account contains resource(s) that likely have a vulnerable log4j library that are under attack. The following are your affe
こんにちは、開発室の林です。 今回はデータ可視化ツール「Grafana」を利用して、TACT SEOの問い合わせ業務や保守業務の一部を効率化した事例を紹介します。 本記事のスコープ Grafanaで利用した機能 効率化した事例 毎月の社内用レポートの自動化 保守業務の効率化 アプリのAlert通知 関連データの可視化 最後に 本記事のスコープ 本記事の想定読者は以下の通りです。 Grafanaは知っているけど、実際にどのように使えるか知りたい人 同じ保守業務を繰り返しており、効率化を図りたい人 データ可視化ツールを探している人 本記事では「Grafanaとは何なのか」、「Grafanaの詳細な使い方」に関しては記述しませんので、その点ご了承ください。 Grafanaで利用した機能 Grafanaは様々なDatasource(MySQLやAWSの各種サービス等)と連携ができ、それを可視化する
《日経Robotics》PFNの深層学習ベース外観検査製品、40社超が購入、CPU版ランタイムは無償提供で自社製のMenoh利用
Preferred Networksのディープラーニング技術ベースの外観検査システム「Preferred Networks Visual Inspection（PVI）」が納入先を広げている。2018年10月の発売以降、これまでに累計で40社超が購入し、現場での本格稼働に向けて評価をしている。 PVIは、製造業などの生産現場において、製品をカメラで撮影し不良がないかどうかなどの異常検知をするシステムである（図1、図2）。 256×256画素ほどのRGB画像を、DNN（deep neural network）に入力し、不良か正常かを判定する。
アライさんマンション単語 52件 アライサンマンション 6.6千文字の記事 288 0pt ほめる 掲示板へ 記事編集 フェネック！ アライさんマンションの概要なのだ！あぶぶ氏についてなのだ！登場するキャラクターを説明するのだ！エレベーターのボタンの一覧なのだ！静画を見れば一目瞭然なのだ！ショートアニメも観るのだ！twitterとpixivもよろしくなのだ！関連項目なのだ！掲示板 フェネック！ 鍵をなくしたから開けてほしいのだ！ あけて！ あけて！ あけて！ あけてあけてあけてあけてあけてあけてアケテアケテアケテアケテアケテアケテアケテアケテアケテアケテアケテアケテアケテアケテアケテアケテアケテアケテ アライさんマンションとは、メディアミックス作品『けものフレンズ』の二次創作イラストシリーズである。 HELL!! Go Back!! Don't read!! HELL!! Go Back!
![アライさんマンションとは [単語記事] - ニコニコ大百科](https://cdn-ak-scissors.b.st-hatena.com/image/square/44524a81ab32503d435bca982f93330f99d013ad/height=288;version=1;width=512/https%3A%2F%2Flohas.nicoseiga.jp%2Fthumb%2F10092679i)
(DCASEホームページより) はじめに 音を題材とした異常検知のデータセットによる機械学習コンペが始まりました。 音に関するコンペ自体が珍しいなか、タスクとして一般的な分類などでもなく、更に難しい異常検知が設定されました。 個人的に2019年に画像の異常検知に積極的に取り組んだのですが、音声は周波数領域に変換すると画像のように取り扱えることから、チャレンジしたい題材でした。下記は画像にチャレンジしたときの記事です。 欠陥発見! MVTec異常検知データセットへの深層距離学習(Deep Metric Learning)応用 深層距離学習(Deep Metric Learning)各手法の定量評価 (MNIST/CIFAR10・異常検知) この記事では、そのコンペ「DCASE 2020 Task 2 Unsupervised Detection of Anomalous Sounds for
Amazon Web Services ブログ AWS 環境への一時的な昇格アクセスの管理 本記事は Managing temporary elevated access to your AWS environment を翻訳したものです。 この投稿では、一時的な昇格アクセスを実装することによって、AWS 環境へ人がアクセスすることに伴うリスクをどのように軽減できるのかについて学びます。また、最小限のリファレンス実装をダウンロードすることができ、それを出発点として、あなたの組織に合わせた一時的な昇格アクセスソリューションを構築することができます。 概要 最新のクラウドアーキテクチャの多くは、人によるアクセスを排除することを目指していますが、少なくとも人によるアクセスが必要なケースが残っていることはよくあることです。例えば、予期せぬ問題が発生した場合、診断や修正に人の手が必要になることがあり
はじめに Baikal について Baikal を支える技術と工夫 AWS アカウント Terraform ワークフロー基盤 Athena Lake Formation アーキテクチャ Extract & Load データ生成元 AWS アカウントにある RDS からデータ抽出 データ生成元 AWS アカウントにある DynamoDB からデータ抽出 社外の API からデータ抽出 Transform workspace に配置されたデータの変換 データ生成元 AWS アカウント内の生ログ変換 ウェアハウス内での加工 Share 今後の課題 開発の一部を他チームへの委譲 データ異常検知 BI ツールの導入 はじめに DRE チームの hyamamoto です。 新卒の方々が入社されて 4 ヶ月ということで、時の流れの速さを感じています*1。なお、現在、新卒の方々でリレー方式でブログを書いて
先日、統計ダッシュボード機能(β)をリリースしました。記事をひとつでも公開している場合、Zennにログインすればどなたでも統計情報を表示できます。執筆頻度の確認や閲覧回数の参考にお役立てください。 本稿ではどのように実現したかについて課題とともに記録します。 TL;DR 投稿ページの表示イベントは Google Analytics から BigQuery へ連携しており、イベントデータ（BigQuery）と記事データ（Cloud SQL）をどうJOINさせるかが課題 外部接続でBigQueryからCloud SQLつなぐことにした 統計データ読み出し時、BigQueryを直接使うとクエリ毎に課金されてしまうため、BigQuery BI Engine を使うことにした スケジュールクエリを使い、BI Engineの容量に収まるように集計データを最小限にまとめる チャートは Chart.js
この記事では、2020年に発表された論文や記事のうち、特に興味深かったものを合計85紹介します。下記12のトピックに分けて紹介していますが、あくまで便宜上の分類です。私の個人的な2020年総括は以下の通りです。 --------------------- 個人的2020年総まとめと所感 --------------------- 2020年はTransformerが大躍進しました。自然言語処理では大規模なTransformerモデルであるGPT-3が高い精度を多くのタスクで叩き出しています。大量のデータと大量のパラメータを使って画像分類でも最高精度であったBig Transferを超えるものが出てきています。 差別的要素や著作権の問題のないフラクタル画像データセットはAIの倫理がさらに重視されるであろう今後は、非常に重要なものになってくるかもしれません。ImageNetにアクセスでき
Amazon DevOps Guru が一般サービス提供開始となり東京リージョンでもお使いいただけます | Amazon Web Services
Amazon Web Services ブログ Amazon DevOps Guru が一般サービス提供開始となり東京リージョンでもお使いいただけます みなさん、こんにちは。アマゾン ウェブ サービス ジャパン、シニアエバンジェリストの亀田です。 2020年の re:Invent でアナウンスされた Amazon DevOps Guru が一般サービス提供開始となり、東京リージョンでもご利用いただけますのでお知らせいたします。 DevOps Guru はアプリケーションの可用性を向上させる 機械学習 駆動のクラウドオペレーションサービスであり、これを用いることでアプリケーションの運用パフォーマンスと可用性を簡単に向上させることができます。機械学習が通常の運用パターンを学習し、そこから逸脱した動作を検出し、迅速に運用上の問題を特定することができます。例えば、異常なアプリケーションの動作となる
クックパッドでデータにまつわるあれやこれやをずっとやってる佐藤です。分析・調査に仮説検証にデータパイプラインにと色々やってました。ちなみに先日はCyberpunk2077休暇をとるなどという呑気なことをしていたら、この記事でやりたかったことがほぼできそうなサービスがAWSから発表されて頭を抱えながら書いています。 そのログはどこまで信頼できるのか クックパッドではサービス改善のためにWebサイトやアプリからログを収集して開発を行っています。これらのログは集計された後、ダッシュボードの形で可視化されてサービス開発者たちの意思決定を支えています。 クックパッドのログ基盤はログ送信側（クライアントサイド）もログ格納側（DWHサイド）も十分に整っており、いつでも必要であれば簡単にログを送信・集計するだけの仕組みができあがっています。 アプリログにおける大雑把なログ収集の図 （注:例として上図を載せ
最近、画像の異常検知研究が活発になってきました。 そこで、本稿では、画像の異常検知研究に関する最新情報をお伝えします。 画像はpaper with codeより転載 先に結論 最近の研究は精度を維持しつつ、メモリの圧迫を抑える。さらに、推論時間も短縮させている。 最近のデータセットは多様性が増し、より難易度が上がっている 予備知識 本題に入る前に、従来の手法・データセットが抱える問題点をおさらいしておきます。2021年くらいまでの情報ですので、ご存知の方は読み飛ばしてください。 従来の手法 PaDimとマハラノビスAD 今でも根強い人気があるのがPaDim[1]です。中身が簡単なことに加え、異常検知性能も高いことが理由だと思います。また、PaDimの基となったのがマハラノビスAD(gaussian AD)[2]です。 上記のスライドは二つの手法を説明したものです。両手法とも、ImageNe
TISのリモート接続サービスRemoteWorksで3月26日以降、システム障害が相次ぎ緊急メンテナンス実施後に5月末までサービスが停止されると発表しました。サービス利用時に他利用者のエラーメッセージやログイン画面が表示される不具合が発生していたとされ、この調査に時間を要するためとしています。ここでは関連する情報をまとめます。 障害関連のお知らせ35回 3月26日以降、RemoteWorksのSupport一覧には今回の障害に関連する報告、案内が掲載されている。また4月8日以降はTIS社のサイトにも掲載されるようになった。 https://www.remoteworks.jp/support/www.remoteworks.jp 高負荷時に他ユーザーIDとログイン画面を表示 利用時に他利用者のユーザーIDを含むエラーメッセージとWindowsログイン画面が表示される不具合が発生したと発表。
はてな の CRE の今 - えいのうにっき
ウオオオオオオ！！！ はてなのCREが新たなステージに突入するぞ！！ https://t.co/itwjrAu9ae— a-know | Daisuke Inoue (@a_know) 2020年2月5日 上記の引用リツイート元のツイート主である id:syou6162 は、社（はてな）の同僚なのですが、この2月から、僕と同じ職種・CRE（Customer Reliability Engineer）になってくれることになりました。 元のツイートにある通り、彼はこれまで、はてなのアプリケーションエンジニアとして、Mackerelのサービス開発、特にロール内異常検知に代表されるような機械学習アルゴリズムを活用した機能開発を担当していました。そんな彼が、CREという職種に魅力や可能性を感じてそこにベットしてくれたこと、大変うれしく思うと同時に、はてなでのCREという職種の立ち上げに携わった者とし
5月14-15日に開催されたSREの国内カンファレンス SRE NEXT 2022 ONLINEにて、「AIOps研究録―SREのためのシステム障害の自動原因診断」と題して、ITシステムに障害が発生した際に、機械学習・統計解析の手法を用いて、障害の原因を自動で診断するための研究について講演しました。 講演に用いたスライド資料を以下に公開しています。 当日に配信された講演動画は、Youtubeに公開されています。 なお、この記事では、AIOpsという用語を、機械学習や統計解析をはじめとするAI（人工知能）と呼ばれる技術を用いて、ITオペレーターのオペレーション作業を自動化あるいは支援する技術の総称として使っています。 なぜAIOpsに着目したのか 自分が、統計や機械学習をはじめとするAIと呼ばれる技術をSRE分野に適用することを漠然と考えはじめたのは、2017年ごろでした。当時、今後のSRE
はじめに 初めまして。 株式会社キカガクの安藤です。 ㅤ AI 開発・機械学習で、プログラミングをするのであれば Python がメジャーです。2020 年におけるプログラミング言語のランキングでは必ずと言っていいほど Python が上位にきます。 Python には多くのフレームワークがあり、開発に適したものが豊富に用意されています。 今回は、ディープラーニング (Deep Learning) 用フレームワークをご紹介します。 本記事を参考にして欲しい方 本記事では、以下のような方にオススメです。 Python の主要なディープラーニング用フレームワークを簡単に確認したい方 初学者の方で学習、実装の為にどのフレームワークを使っていけばいいか分からない方 ※初学者の方に向けた分かりやすさを重視しています。 目次 ディープラーニング・フレームワーク・ライブラリ・ API とは フレームワー
こんにちは、freee CSIRT専属engineerのEiji Sugiuraです。早いものでfreeeにjoinしてから、2年が経ちました。忘年会シーズンを前にしてγGTPが20を切ったので、これは酒を飲めと言う神様の思し召しだと感謝しています。 今回は、Zero Trust Networkを、既存のシステムにどうやって適用していくかを考えてみたいと思います。 この記事は freee Developers Advent Calendar 2019 の 5日目の記事です。 adventar.org Zero Trust Networkは、Forrester Research社が提唱したシステムのセキュリティを考える上での概念です。「境界防御を超えて」といった修飾子が付いてたりしますね。 Forrester 2011−08のreport、Zero Trustという言葉がtitleに初めて入
本書はコードを動かしながら学び、機械学習が使えるようになることを目的とした書籍です。現実的な問題を出し、サンプルデータを示しながら、機械学習で問題を解決に導くまでの一連の手法を体系立てて解説します。 深層学習以外の機械学習にはscikit-learnを使い、機械学習プロジェクトの流れ、データからモデルを学習する方法、データの処理・クリーニングなどの基礎から、特徴量の選択や過学習、データの次元削減など応用までを学びます。深層学習にはTensorFlowとKerasを使い、ニューラルネットワークの構築と訓練、ニューラルネットワークアーキテクチャ、深層学習や強化学習、さらにTensorFlowの分散処理のメカニズムや実装までを幅広く解説します。 第2版では教師なし学習と深層ネットワーク訓練手法、コンピュータビジョンテクニック、自然言語処理、Tensor Flowの大規模な訓練や効率的なデータの取
サーバ管理・監視サービス「Mackerel」においての「監視」と「通知」の違いと設定項目についてまとめてみた - stefafafan の fa は3つです
業務で監視にMackerelを使っているのですがここ最近も機能が増えたり、実際使っていく中で閾値の設定などでどうするんだっけと迷ったりしたことがあったので、自分の理解のためにもまとめてみようと思います。 ここでは主に以下のことについて書きます。 監視と通知の違い 監視の閾値設定 通知のミュート mackerel.io 「監視」と「通知」は別 「監視」 基本のWarningとCriticalの閾値設定 「平均値監視」と「アラート発生までの最大試行回数」 ダウンタイム 「通知」 通知チャンネル アラートメール通知受信設定 通知グループ アラートの再送間隔 監視設定のミュート オーガニゼーションに関わる全ての通知のミュート まとめ 監視や通知の微調整がしたいときにやれること 監視や通知を一時的に無効にしたいときにやれること 「監視」と「通知」は別 まず、監視と通知は似ていますが別の概念です Ma
前提: これは何? dbtを使ったデータプロダクトを作っている社内のチームメンバー向けに書いた勉強会用のドキュメントです 社外に公開できるように少し抽象化して書いてます DWHに限らずdbtを使ったデータプロダクトで生かせる話ですが、分かりやすさのためにDWHを題材にしています 3行まとめ elementaryはdbtを利用しているデータパイプラインに対してData Observabilityを強化するツールであり、付属のリッチなレポートやSlachへのアラート通知が便利です しかし、実はelementaryが内部で生成している成果物はDWHの改善に役に立つものがたくさんあります 本エントリではelementaryの成果物や役に立つ実例を多めに紹介します 前提: これは何? 3行まとめ 背景: DWHとデータ品質 Observability / Data Observabilityについて
DeNAで開催された、Kaggle Tokyo Meetup #6の参加記です。YouTube配信の視聴を含めるとMeetup参加は3回目ですが、回を増すごとに情報量も発表内容の多様性も増しているように思います。 本当にすばらしい発表を皆様ありがとうございました。僕も発表やLTでコミュニティに貢献していきたいと思います。 この記事では、各発表について僕自身が面白い・知らなかったと思ったポイントを中心にまとめ、可能な限り出典などのリンクをつけています。 内容を網羅しているわけでは必ずしもありませんので、もとの資料を併せてご覧になることを強くおすすめします。素晴らしい資料なので。 それでは、15000文字を超える長い記事ですが、最後までお読みくださると幸いです。 Opening Talk (threecourseさん) Petfinder 2nd Place Solution (Wodoriチ
Webアプリケーションエンジニアの id:papix です. Perlは主に5が大好きです. 先日, ラトビアのリガにて開催された｢PerlCon 2019｣に参加してきましたので, その様子を共有させて頂きたいと思います. PerlCon 2019のロゴ. 猫です. PerlCon 2019について perlcon.eu PerlCon 2019は, 毎年ヨーロッパで開催されるPerl 5とPerl 6のカンファレンスの第20回目にあたります(かつてはYAPC::EUという名前で開催されていました). 8月7日〜9日にかけて, リガのRadisson Blu Daugavaにて開催されました. 3つのキーノート, 30近いセッションと1つのワークショップ(今回は, Perl 6の並行処理/並列処理に関するワークショップが開催されたようです)に, ヨーロッパを中心に200人近い参加者が集ま
機械学習を簡単に試したい人向け、「Amazon Lookout for Vision」で画像データを使った学習、ラベル付け、精度向上の手順
機械学習を簡単に試したい人向け、「Amazon Lookout for Vision」で画像データを使った学習、ラベル付け、精度向上の手順：AWSチートシート AWS活用における便利な小技を簡潔に紹介する連載「AWSチートシート」。今回は、「Amazon Lookout for Vision」を使って、画像で簡単に異常検知を行う方法を紹介する。 「Amazon Web Services」（AWS）活用における便利な小技を簡潔に紹介する連載「AWSチートシート」。今回は「Amazon Lookout for Vision」を使って、画像で簡単に異常検知を行う方法を紹介します。 「Amazon Lookout for Vision」とは 「Amazon Lookout for Vision」は、コンピュータビジョンを使用して視覚表現の欠陥や異常を発見するサービスです。Lookout for V
AWS Innovate 2020 : ハンズオンセッションで実践力を高めよう！ | Amazon Web Services
Amazon Web Services ブログ AWS Innovate 2020 : ハンズオンセッションで実践力を高めよう！ 2020年3月10日 から開催している「AWS Innovate」をお楽しみいただいていますでしょうか？ AWS Innovate はグローバルでも人気のある「クラウド活用のための無償オンラインカンファレンス」です．今回は 2020年3月10日 から 2020年4月17日 までの「計39日間」毎日開催をしており，「計42個のセッション」を何度でも視聴可能です．参加申込みは簡単です！以下の申込みサイトにアクセスをしましょう． AWS Innovate サイト AWS Innovate 申込みサイト（無料） 先週に続き「AWS Innovate 2020 の見どころ」を紹介します．本記事も AWS テクニカルトレーナーの吉田慶章が担当します．先週の記事も合わせて読ん
【インターンレポート】KubernetesのOperator Patternを用いた効率的なHypervisorの更新システムの構築
LINE株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。 LINEヤフー Tech Blog 概要 LINEのインフラは50,000台以上の物理マシンによって構築され、インフラエンジニアはそれらマシンの能力を最大限発揮すべく日々開発を行っています。LINEの各種サービスを支えるプライベートクラウドのVerdaも同様に規模を拡大しています。規模の拡大に伴って、規模に応じたオペレーションの問題が出てきました。その問題の一つとして、既存の管理システムによるデプロイは4時間を超えるオペレーションになりました。 この問題を解決するために、今回の技術職 就業型コースのインターンシップで、私は効率的なVerdaのHypervisoの更新システムを構築しました。その設計にはKubernetesのOperator Patternを採用し
以前の記事でオートエンコーダによる異常検知は古い！と書いてしまいましたが、 最近は進化しているようです。 今回ご紹介する論文は、損失関数を工夫することで通常のオートエンコーダよりも 異常検知能力を上げる手法です。 ※本稿の図は論文（Improving Unsupervised Defect Segmentation by Applying Structural Similarity To Autoencoders）より引用しています。 論文の概要 通常のオートエンコーダによる異常検知は、微小な異常は捉えられない。 そこで、一枚の画像に対し小さな枠を用意して「輝度」、「コントラスト」、「構造情報」の類似度を計算して異常検知を行う。 本手法を使うことで、通常のオートエンコーダやVAEの異常検知と比べて、AUCで大幅な向上が見られた。 異常部分の可視化についても、通常のオートエンコーダよりも優れ
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
【論文読み】異常検知を支える技術 - Qiita
ChatGPTで自然言語処理のData Augmentationやってみた。｜tdual
自治体から迷惑メール91万件 SBテクノロジーのセキュリティクラウド、設定ミス突かれ踏み台に
はてな、JASRACと契約 はてなブログへの歌詞掲載が可能に
全社横断データ基盤へdbt導入を進めている話 - Sansan Tech Blog
Kaggle Grandmasterへの道 ～ データサイエンティスト“最高峰”を目指す
非IT企業に転職した機械学習素人がAIプロジェクトにアサインされてからの奮闘記 - Qiita
Amazon CloudWatch、機械学習により異常値（アノマリー）を自動検出できる新機能
【異常検知】学習ゼロの衝撃！を可視化する - Qiita
Grafanaを導入して問い合わせ対応や保守業務を効率化した話 - WILLGATE TECH BLOG
アライさんマンションとは [単語記事] - ニコニコ大百科
機械音の異常検知チャレンジ DCASE 2020 Task 2 - Qiita
AWS 環境への一時的な昇格アクセスの管理 | Amazon Web Services
Gunosy のデータ活用を支える統合データ基盤 Baikal の話 - Gunosy Tech Blog
統計ダッシュボード機能を BigQuery と BI Engine で実装する
2020年機械学習総まとめ 興味深い論文/記事85選｜akiraTOSEI
分析用ログデータに対する品質保証としての異常検知 - クックパッド開発者ブログ
【異常検知】最近の研究動向・2023年夏 - Qiita
RemoteWorksのシステム障害をまとめてみた - piyolog
SRE NEXTで「AIOps研究録」講演を終えて - ゆううきブログ
【初学者向け】機械学習の主要なフレームワークをわかりやすく解説！ - Qiita
Zero Trust Networkでの運用を考える - freee Developers Hub
scikit-learn、Keras、TensorFlowによる実践機械学習 第2版
DWH改善に生かす! 入門elementary - yasuhisa's blog
【質疑応答付き】Kaggle Tokyo Meetup #6 に参加しました - 天色グラフィティ
｢PerlCon 2019｣に参加しました - Hatena Developer Blog
【論文読み】新・オートエンコーダで異常検知 - Qiita