3〜4時間でAWSの監視系のサービス一気に学べたらコスパ良いと思いませんか | DevelopersIO
突然ですが、以下の機能がそれぞれどういうものか すべて ご存知でしょうか？ CloudWatch ServiceLens X-Ray CloudWatch Contributor Insights CloudWatch Synthetics CloudWatch Container Insights CloudWatch Logs Insights CloudWatch メトリクス Metric Math 検索式 カスタムメトリクス CloudWatch ダッシュボード CloudWatch 異常検出（Anomaly Detection） CloudWatch 埋め込みメトリックフォーマット CloudWatch アラーム 異常検出に基づいたアラーム 複合アラーム 私はわからなかったですね。ここ 1〜2年のCloudWatch系のアップデート量は凄まじいなと個人的には思っていて、Cloud
AWSアカウントを作ったら最初にやるべきこと 〜2021年版〜 #devio2021 | DevelopersIO
ログ・モニタリングのやるべきこと AWS CloudTrail の設定 CloudTrail は AWS リソースを「誰が」「いつ」「何に」対して「どうような」操作をしたのかを記録するサービスです。 ログの長期保管の設定をしておくことで、トラブル発生時の解析等に利用できます。 有料です（無料利用枠もあります） [YouTube] AWS CloudTrailを触ってみた CloudTrail Insights を利用することで、機械学習により異常なアクティビティを検出することもできます。 ログは S3 と CloudWatch Logs に転送でき、S3 に保管しているログは Athena により検索することもできます。 Athena を利用する場合は、事前に CloudTrail 用のテーブルを作成しておき、検索方法を習熟しておきましょう。 インシデントが発生してから習熟では対応が遅くな
このエントリは、2018年、2019年に公開したAWS全サービスまとめの2020年版です。これまではいくつかに分割して公開していましたが、1エントリにまとめてほしいという要望をもらっていたため、今年は1エントリに集約してみました。 こんにちは。サービスグループの武田です。 このエントリは、2018年、2019年に公開した AWS全サービスまとめの2020年版 です。これまではいくつかに分割して公開していましたが、1エントリにまとめてほしいという要望をもらっていたため、今年は1エントリに集約してみました。どちらがいいのか正直わからないので、フィードバックなどあれば参考にさせていただきます。 2020-01-08 リクエストがあったためAmazon Mechanical Turkを追加。 2018年まとめ 【2018年】AWS全サービスまとめ その1（コンピューティング、ストレージ、データベー
これから異常検知を勉強される初心者、中級者の方のために一問一答集を作ってみました。 実際にあった質問も含まれますが、ほとんどの質問は、私が勉強しながら疑問に思ったことです。 なお、各質問には私の失敗談を添えております。皆さんは私のような失敗をしないよう 祈っております(^^)。異常検知に特化した内容となっておりますので、ご了承ください。 初心者の方向け 勉強の仕方編 Q：異常検知を勉強したいのですが、何から手をつけて良いのか分かりません。 A：書籍を買って読むのがおススメです。 最初、私はネット情報で勉強していました。しかし、それにも限界があります。 ところが、書籍（入門 機械学習による異常検知）を買って読んだところ、かなり知識を 得ることができました。最初から、書籍を買っていれば、一年くらい得することができたのに... と思うこともあります（^^； ただ、こちらの本はディープラーニング系
異常検知入門と手法まとめ - Qiita
異常検知について勉強したのでまとめておきます。 参考文献 下記文献を大いに参考にさせていただきました： [1] Ruff, Lukas, et al. "A Unifying Review of Deep and Shallow Anomaly Detection." arXiv preprint arXiv:2009.11732 (2020). [2] 井手. "入門 機械学習による異常検知―Rによる実践ガイド" コロナ社(2015) [3] 井手,杉山. "異常検知と変化検知 (機械学習プロフェッショナルシリーズ)" 講談社サイエンティフィク(2015) [4] 比戸. "異常検知入門" Jubatus Casual Talks #2(2013) [5] Pang, Guansong, et al. "Deep learning for anomaly detection: A rev
中山です ソリューションアーキテクトとして、AWS環境の利活用をお手伝いするお仕事をしています。 まれによく見るAWS環境 とりあえずこれを見てほしい。 これが絶対にだめと言いたいわけではないです。 一時的な検証環境だったり、とにかくスピード重視でサービスをデリバリーさせる必要があったり、サービスの提供者側が何ら責任を負わない・障害時のビジネスインパクトが無い（そんな状況あるのか？）という前提があったり、状況次第ではこれで十分な時もあると思います。 しかし、一般的な業務システムやサービスの場合にはいろんな意味で不十分でしょう。 では、このような環境をどのように育てていくとよいでしょうか。 この記事では、そんな育てかたの一例を紹介していきたいと思います。 なお、本記事はくっそ長いです。 ちなみに、最終的にはこうなります。 文字が小さすぎて読めない！ ちょっとそこのハ○キルーペ貸してくれーｗ
Microsoft SQL ServerMySQLOracle DatabasePostgreSQLSolarWinds DPAデータベース運用主要RDBMS製品の比較 2022.09.01 渡部 亮太 主要RDBMS製品の比較 – アーキテクチャ, スキーマ, データベース, メモリ Oracle ACE Proの渡部です。 主要なRDBMS製品についてアーキテクチャを比較します。 大枠を整理することが最大の目的です。細かい例外事項や拡張機能は適宜記載を割愛しています。 2022年9月時点の最新バージョンをベースに記載していますが、記載内容にバージョン依存は少ないはずです。 時間ができた時に随時追記予定です。 もし誤りを見つけた場合は、優しく教えていただけると嬉しいです。→ https://twitter.com/wrcsus4 or ryota.watabe at cosol dot
こんにちは。サービスグループの武田です。このエントリは、2018年から公開しているAWS全サービスまとめの2021年版です。 こんにちは。サービスグループの武田です。 このエントリは、2018年から毎年公開している AWS全サービスまとめの2021年版 です。昨年までのものは次のリンクからたどってください。 AWSにはたくさんのサービスがありますが、「結局このサービスってなんなの？」という疑問を自分なりに理解するためにまとめました。 今回もマネジメントコンソールを開き、「サービス」の一覧をもとに一覧化しました。そのため、プレビュー版など一覧に載っていないサービスは含まれていません。また2020年にまとめたもののアップデート版ということで、新しくカテゴリに追加されたサービスには[New]、文章を更新したものには[Update]を付けました。ちなみにサービス数は 205個 です。 まとめるにあ
ログ・モニタリングのやること AWS CloudTrail の設定 CloudTrail は AWS リソースに関して「誰が」「いつ」「何に」対して「どうような」操作をしたのかのイベントを記録するサービスです。イベント履歴から 90 日間分のイベントを確認することはできますが、イベントログの長期保管の設定（証跡の作成を行い、S3 に保管）をしておくことで、トラブル発生時の解析やインシデント発生時の調査などに利用できます。 有料です（無料利用枠もあります）。 [YouTube] AWS CloudTrail を触ってみた CloudTrail Insights イベントを利用することで、機械学習により異常なアクティビティを検出することもできます。通常の操作で検出されることがあるため、始めに試してみて、あまり活用しないようであれば無効化を検討でも良いと思います。 イベントログは S3 と Cl
norihitoishida @norihitoishida 某プログラマ氏がサイゼで注文する時「まず4つあって、」とメモリの確保から始めた話、何回聞いても笑ってしまう 2019-10-19 10:05:24 norihitoishida @norihitoishida メカニズムをポリシーから切り離しています / ML ( NLP, anomaly detection, multimodality, AutoML ) / Factory Automation https://t.co/0F22bDgipZ
こんにちは。サービスグループの武田です。このエントリは、2018年から公開しているAWS全サービスまとめの2022年版です。 こんにちは。サービスグループの武田です。 このエントリは、2018年から毎年公開している AWS全サービスまとめの2022年版 です。昨年までのものは次のリンクからたどってください。 AWSにはたくさんのサービスがありますが、「結局このサービスってなんなの？」という疑問を自分なりに理解するためにまとめました。 今回もマネジメントコンソールを開き、「サービス」の一覧をもとに一覧化しました。そのため、プレビュー版など一覧に載っていないサービスは含まれていません。また2021年にまとめたもののアップデート版ということで、新しくカテゴリに追加されたサービスには[New]、文章を更新したものには[Update]を付けました。ちなみにサービス数は 223個 です。 まとめるにあ
はじめに 数年前に500万円のAWSサービスを申し込んでしまうという事件がありました。 以前にLTで発表したネタですが、今回記事にしました。 過去のセッション資料 背景：AWS教育環境 AWSの社内教育を目的として自由に利用できるAWSアカウントを用意 一部のメンバーに管理権限を付与 利用ルール IGWやNATなどの作成禁止（社内プロキシを経由させる） VPCピアリングの禁止 不要なリソースは削除、利用する期間のみ起動 事件発生 ある日突然、AWS教育環境で高額のAWS利用料金が発生 3000ドルのサブスクリプション！？ AWS Shieldってなに？ マネージド型のDDoS攻撃保護サービス WEBサービスへ大量リクエストしサーバーダウンさせるような攻撃に対する防御ができる Standard料金：無料 Advanced料金：1ヶ月3,000 USD、1年間のサブスクリプション契約 3,00
はじめに 最近、異常検知に関する案件に関わって、結構苦労しました。 その理由の一つとして、異常検知の手法については一部本がでているもののそこまで多くはなく、また、異常検知プロジェクトの進め方という意味では情報があまり見つけられなかったというのがあります。 そこで、プロジェクト実施前に、こんな情報があればよかったなという内容についてまとめました。 自分が関わった案件は、設備のセンサーデータを用いた異常検知だったため、その内容に偏っていますが、全体の流れや考え方としてはあまりドメインや異常検知によらないものと思います。 なお、個別の異常検知のアルゴリズムについては話しません。 また、読者の対象しては、異常検知に興味がある人、機械学習プロジェクトに興味がある人を想定しています。 異常検知を取り巻くコミュニケーション 前提として、「異常検知」という言葉でイメージするものは人によって違います。関係者
Amazon Web Services ブログ AWS上でどのようにゼロトラストアーキテクチャを考えていくか 2021年7月追記： AWSにおけるゼロトラストに関するアップデートされた情報は、以下をご参照ください。 https://aws.amazon.com/jp/security/zero-trust/ また、本Blogを詳細にアップデートしたBlog記事もありますので適宜ご参照ください。 「ゼロトラストアーキテクチャ: AWS の視点」 https://aws.amazon.com/jp/blogs/news/zero-trust-architectures-an-aws-perspective/ —————————————————————– 厳しい規制への対応やリスク回避を考慮事項として擁するお客様は、レガシーアプリケーションのリファクタリングや新しいアプリケーションのデプロイに際
先日、革新的な画像の異常検知（SAA）が出てきました。 何やら革命的な臭いがする... SAMを使った異常検知手法https://t.co/wmwFcbULdq コードはこちらhttps://t.co/3npK3FhnEz pic.twitter.com/JDs30bEJyQ — shinmura0 (@shinmura0) May 22, 2023 本稿では、操作手順 & 触ってみた感想をご報告します。 特長 本題に入る前に、どこら辺が革新的なのかざっくり説明します。 ※ SAAの詳細は論文をご参照ください。 学習データは不要 通常、学習（正常）データを数百枚用意しますが、この手法では正常データを必要としません。 ドメイン知識を導入できる 予め、異常の傾向をプロンプトに入れることにより、異常の特徴をモデルに教えることができます。 二点目が特に大きく、今までの異常検知では、積極的に異常の傾
AWS re:Invent 2020の会期中に発表された新サービス/アップデートのまとめです。 今年も、後から出来るだけ素早く簡単に振り返ることができるようにまとめました！ 凡例 (無印) 新サービス (Update) 既存サービスのアップデート (APN) パートナー制度に関連したリリース/アップデート 12/1 (火) 今年の開幕は「Amazon EC2 Mac instances」でした。 Amazon EC2 Mac instances macOS用のAmazon Elastic Compute Cloud （EC2） Macインスタンス EC2 Macインスタンスを使用すると、iPhone、iPad、Mac、Apple Watch、Apple TV、Safari用のアプリ開発者は、macOS環境を数分でプロビジョニングしてアクセスし、必要に応じて容量を動的に拡張し、AWSの従量課
【2022年最新AI論文】画像異常検知AIの世界最先端手法「PatchCore」の論文を解説【CVPR 2022】 - Qiita
本日(2022/6/19)からアメリカのニューオーリンズで開催されているCVPR2022（2022/6/19-24）で、世界最先端の異常検知手法「PatchCore」が発表されました！ CVPRはコンピュータビジョン分野のトップカンファレンスで、画像系AI研究の最難関の国際会議の一つです。ちなみに、昨年（CVPR2021）の採択率は23％。 PatchCoreは、外観検査（画像の異常検知）タスクで有名なデータセット「MVTecAD」でSOTA（State-of-the-Art）を達成しています。 この記事では、世界最先端の画像異常検知AIがどのような手法なのか、できるかぎり簡単にわかりやすく論文を解説したいと思います。 論文解説 タイトル/著者 Towards Total Recall in Industrial Anomaly Detection Karsten Roth, Latha
おまたせしました この度、ついにこの記事を完成させることができました。これは私が数年前からずっと書きたいと思っていた、ウェブのアクセスログに対する、機械学習を使った異常検知の実例です。私は事あるごとに(※1)「情報セキュリティ分野でもデータサイエンスの技術は非常に重要だ」と繰り返していますが、この記事の内容はまさにその1つの証となると思います。この記事で示される内容を見れば、「うわ、機械学習、マジでヤバイい(語彙力)んだな...」となるでしょう。以下に心当たりのあるセキュリティエンジニアはぜひ読んで、そして実践してみてください。 機械学習に興味はあるものの、どこから手を付ければよいのかイメージがわかない 本当にAIやデータサイエンス、機械学習がセキュリティの分野で役に立つのか、確信がもてない データサイエンスや機械学習は難しそうだと思っている ログ解析において、grepや単純な統計処理より
技術書典 にて頒布予定だった 「AWS を使って学ぶ 監視設計」 をご紹介します！ とても良い内容でした！！ 園部です。 残念ながら現地開催はされなかった 技術書典8 で頒布予定だった 「AWS を使って学ぶ 監視設計」 を電子版で購入し読みました！ とても良かったので、紹介させていただきたいと思います。 概要 （上記販売ページより引用） この本について 主に監視の設計手法を紹介する本です。 この本では、「モニタリング(監視)」 というテーマについて、CloudWatchを中心にAWSの各サービスを見ながら、どのように監視を設計していくかを著者の経験を基に説明していきます。 私自身、ここ数年で開発メンバー、リーダー、テックリードといくつかの立場を経験しましたが、どの立場にいてもシステム開発に携わる以上、監視というのは重要な要素になってきます。特にここ数年はSLI/SLOを導入するなど、監視
AWSコスト異常検知を導入したら、『人にお願いする』トイルが発生したのでSlackBotを作って解消した - KAYAC engineers' blog
SREチームの池田(@mashiike)です。SRE連載の５月号になります。 AWSのコストについては、多くの方がすごく気にしていると思います。 カヤックでもAWSのコストの変動に関しては敏感に気にしています。 そんな方々の心のお供になる機能が、 AWSコスト異常検知(AWS Cost Anomaly Detection) です。 今回は、このコスト異常検知にまつわるトイル削減の取り組みを紹介します。 背景 AWSコスト異常検知は、AWS マネジメントコンソールの中では『Billing and Cost Management』配下にある機能になります。 この機能を使うことでAWSで発生したコストに関して、通常とは異なるコストの発生を検知することができます。 コスト異常検知自体については、CureApp テックブログ様のZennの記事がわかりやすくまとまっているので、そちらを参照いただければ
こんにちは。 ご機嫌いかがでしょうか。 "No human labor is no human error" が大好きな吉井 亮です。 以前、 NIST サイバーセキュリティフレームワーク準拠から読み解く自組織の AWS セキュリティ というエントリを書きました。 このなかで、自組織の要員に対する教育が大切、と記述しました。 自組織の要員に対する教育のために AWS が提供している デジタルトレーニングとクラスルームトレーニングや 書籍などを活用して独自の教育プランを考えていることと思います。 みなさまの教育プラン策定に一役買うべく本エントリでは、ワークショップを行いながら AWS セキュリティについて知識や技術を習得できるサイトを紹介します。 AWS Security Workshops AWS のセキュリティ保護に適用可能なソリューションをワークショップ形式で学ぶことが出来るサイトです
CloudWatch Logsの料金が高い原因はコレだった。CloudTrailとの微妙な関係 - クラウドワークス エンジニアブログ
こんにちは。crowdworks.jp SREチームの田中（kangaechu）です。先日RubyKaigi2023に参加するため、松本に行きました。街を歩いていると目線の先に山が見えたり、温泉が近くにあったりなど松本の自然が近くにある感じがとてもよかったです。ちょっと住みたくなって不動産屋さんで家賃を眺めたりしておりました。 今回は小ネタとして、AWSのCloudWatchの料金が高くなったことで見つけたCloudTrailの設定についてです。 あなたのCloudWatch LogsとCloudTrailの料金、高くないですか？ 先日、AWSのコスト異常検知サービスのCost Anomaly Detection からCloudWatchとCloudTrailのコストが跳ね上がっているとの通知が来ました。 Cost Anomaly Detectionで通知されたCloudWatchとClo
こんにちは。サービス開発室の武田です。このエントリは、2018年から毎年公開しているAWS全サービスまとめの2024年版です。 こんにちは。サービス開発室の武田です。 このエントリは、2018年から毎年公開している AWS全サービスまとめの2024年版 です。昨年までのものは次のリンクからたどってください。 AWSにはたくさんのサービスがありますが、「結局このサービスってなんなの？」という疑問を自分なりに理解するためにまとめました。 今回もマネジメントコンソールを開き、「サービス」の一覧をもとに一覧化しました。そのため、プレビュー版など一覧に載っていないサービスは含まれていません。また2023年にまとめたもののアップデート版ということで、新しくカテゴリに追加されたサービスには[New]、文章を更新したものには[Update]を付けました。ちなみにサービス数は 247個 です。 まとめるにあ
AWS の Public IPv4 アドレスに 2024年2月1日から請求が開始される件について影響を事前に確認する - サーバーワークスエンジニアブログ
マネージドサービス部 佐竹です。 2023年7月末に発表された AWS における Public IPv4 アドレスの有料化が話題ですが、事前にこの利用料金への影響度合いを調査する方法についてお知らせします。 はじめに AWS 公式ブログ 新着情報 – パブリック IPv4 アドレスの利用に対する新しい料金体系を発表 / Amazon VPC IP Address Manager が Public IP Insights の提供を開始 AWS におけるパブリック IPv4 アドレスの使用状況の特定と最適化 影響の確認方法について 利用料金への影響を確認する AWS 利用料確認ページから明細を確認する AWS Billing > Bills から確認する AWS Cost Explorer から確認する 費用発生の原因となるリソースを特定する Amazon VPC IP Address Man
みんなベストプラクティスできてる？「AWSセキュリティのベストプラクティスに関する利用実態調査レポート」まとめ | DevelopersIO
みんなベストプラクティスできてる？「AWSセキュリティのベストプラクティスに関する利用実態調査レポート」まとめ 「Security-JAWS Insights AWSセキュリティのベストプラクティスに関する利用実態調査レポート」の解説です。みんなベストプラクティスを実践できているのか、知ることができます。 こんにちは、臼田です。 みなさん、AWSのセキュリティベストプラクティス実践できてますか？(挨拶 今回は、Security-JAWS運営メンバーが調査を実施し、レポートとしてまとめた「Security-JAWS Insights AWSセキュリティのベストプラクティスに関する利用実態調査レポート」の内容を解説するとともに、僕自身の提言をまとめます。 これを読んで頂くと、「周りのみんなはAWSのベストプラクティスどれくらいできているの？」「自分たちは十分にベストプラクティスに沿えているのか
VPC Flow LogsをAthena + QuickSightで
分析してデータ転送料金の内訳を調査する 〜 実践的なコスト最適化の洞察 〜 - Uzabase for Engineers
こんにちは。ソーシャル経済メディア NewsPicksのSREチームで仕事をしている安藤です。 NewsPicks Advent Calendar 2023 の1日目ということで、日常の業務風景から軽いコスト最適化TIPSをご紹介します。 qiita.com AWSコストを最適化したいよぉ〜 NewsPicksはおかげさまでサービス10周年を迎え、ユーザー数も事業も伸びておりますが、 事業の成長やエンジニア組織の拡大に比例してAWSコストが増え、円安でさらに日本円での負担が増え、となると事業の利益率にも少なからず影響がでます。 私が所属するSREチームでは、「売上に対するAWSコストの割合は、規模が拡大するほど減っていくべき」という考えを持っており、 積極的にAWSサービスの使い方を見直して毎年コストを削っていくつもりで仕事をしています。 AWSが提唱するCloud Financial M
ITシステムの運用監視において、通常とは異なる状態、例えば急にトラフィックが跳ね上がる、動作速度が遅くなる、プロセッサの使用率が上がる、ネットワークのレイテンシが大きくなる、などを検知し、警告を発することはもっとも基本的かつ重要な機能です。 しかし、通常の状態にはある程度の幅があります。一体どの程度の範囲を超えたら異常であると判断するのか、閾値の設定は容易ではありません。 閾値を低くすれば、ひんぱんに異常と判断されて警報がいつのまにか軽視されてしまう心配があります。逆に閾値を高くすれば、小さな異常が見過ごされてしまう恐れがあるため、適切な設定には試行錯誤が必要です。 しかも昼と夜、平日と休日では適切な閾値は異なるでしょうし、キャンペーン期間やテレビコマーシャルの投入など特定の期間も閾値は変化するなど、閾値の設定は動的に行う必要もあります。 こうした難しい異常値の検出を機械学習により自動的に
以前に以下のツイートをしました。 この論文の凄さは、「DNNは学習していない」ということ。学習済モデルを全面的に信用している。それでAUC95.80％は驚愕。 凄まじく早い（学習）ので、エッジなんかで威力を発揮しそう。 （続く） https://t.co/1u6BUQsJnt — shinmura0 @ 2/27参加者募集中 (@shinmura0) September 14, 2020 個人的に、この論文は画像分野において異常検知の決定版と認識しています。 ただ、弱点を挙げるとすれば「可視化手法がない」ということです。 本稿では、この手法で異常検知しつつ、異常部分を可視化する方法を模索します。 ※コードはこちら 先に結論 本稿のターゲットは、「高精度に異常検知しつつ(detection)」、「低速+ある程度の 可視化(segmentation)」です。本稿の内容が適合していない場合、お好
SRE / DevOps / Kubernetes Weekly Reportまとめ#13(4/26~5/1) - 運び屋 (A carrier(forwarder) changed his career to an engineer)
この記事は2020/4/26~5/1に発行された下記3つのWeekly Reportを読み、 DEVOPS WEEKLY ISSUE #487 April 26th, 2020 SRE Weekly Issue #216 April 27th, 2020 KubeWeekly #214 May 1st, 2020 English Version of this blow is here. DEVOPS WEEKLY ISSUE #487 April 26th, 2020 News A detailed write up from the recent Failover Conf on all things chaos engineering. Lots of notes and links to related content. A good post for any software d
Starting today, you can receive anomaly detection alert notifications with root cause analysis, so you can proactively take actions and minimize unintentional spend. AWS Cost Anomaly Detection is backed by a machine learning model that is able to detect various types of anomalies (whether a one-time cost surge, or gradual cost increases) with minimal user intervention. The model learns your histor
営業部 佐竹です。 本日は、AWS 上のリソースを悪用され Crypto Currency （仮想通貨/暗号通貨）の採掘をされてしまわないように、利用者側にどのような対策がとれるのか、また実際に採掘を行われてしまった場合の対応について記載します。 はじめに キーワード 暗号通貨とその種類 採掘（マイニング） ウォレットへの送金 採掘悪用の概略図 悪用行為が増えている背景 ビットコインの高騰 イーサリアムの台頭 暗号通貨採掘悪用の攻撃経路 EC2 インスタンスに侵入し、侵入したインスタンス上で採掘を行う IAM Role を悪用し、悪意のある AMI から採掘用インスタンスを大量に横展開して採掘を行う 漏洩した IAM Credentials を悪用し、採掘用インスタンスを大量に横展開して採掘を行う 暗号通貨採掘悪用の防御手段 侵入させない SSH や RDP が意図せず解放されてしまいその
この記事では、2020年に発表された論文や記事のうち、特に興味深かったものを合計85紹介します。下記12のトピックに分けて紹介していますが、あくまで便宜上の分類です。私の個人的な2020年総括は以下の通りです。 --------------------- 個人的2020年総まとめと所感 --------------------- 2020年はTransformerが大躍進しました。自然言語処理では大規模なTransformerモデルであるGPT-3が高い精度を多くのタスクで叩き出しています。大量のデータと大量のパラメータを使って画像分類でも最高精度であったBig Transferを超えるものが出てきています。 差別的要素や著作権の問題のないフラクタル画像データセットはAIの倫理がさらに重視されるであろう今後は、非常に重要なものになってくるかもしれません。ImageNetにアクセスでき
最近、画像の異常検知研究が活発になってきました。 そこで、本稿では、画像の異常検知研究に関する最新情報をお伝えします。 画像はpaper with codeより転載 先に結論 最近の研究は精度を維持しつつ、メモリの圧迫を抑える。さらに、推論時間も短縮させている。 最近のデータセットは多様性が増し、より難易度が上がっている 予備知識 本題に入る前に、従来の手法・データセットが抱える問題点をおさらいしておきます。2021年くらいまでの情報ですので、ご存知の方は読み飛ばしてください。 従来の手法 PaDimとマハラノビスAD 今でも根強い人気があるのがPaDim[1]です。中身が簡単なことに加え、異常検知性能も高いことが理由だと思います。また、PaDimの基となったのがマハラノビスAD(gaussian AD)[2]です。 上記のスライドは二つの手法を説明したものです。両手法とも、ImageNe
はじめに こんにちは。IT業界15年、Web系10年のアラフォーです。 以前エンジニアの仕事を中心にやって来たが、現在スペシャリストとチーム長として働いてます。 昨年の10月から、プロダクトソリューション部に異動し、現在SREチームでSREの取り組みを頑張っています。 SREの施策の一環として、インフラコストの削減を取り組んでいます。 当初、一つAWSのアカウント上で、月額10000ドル超えている状態から、現在月額約3000ドル未満になりました。 対応した内容はほぼ不要なリソースを削除しただけですが、コスト削減する際に、確認観点としてご参考になれば幸いです。 前提 弊社のサービスでは、現在すでに IaC (Infrastructure as Code)を導入しましたが、以前IaCという概念がなかったので、インフラの構築は全てコンソール上で手動で構築してました。 システムリニューアル後、リソ
The Scary Thing About Automating Deploys - Slack Engineering
Most of Slack runs on a monolithic service simply called “The Webapp”. It’s big – hundreds of developers create hundreds of changes every week. Deploying at this scale is a unique challenge. When people talk about continuous deployment, they’re often thinking about deploying to systems as soon as changes are ready. They talk about microservices and 2-pizza teams (~8 people). But what does continuo
はじめに AdventCalender論文24日目担当のぱしふぃんです。 突然ですが,最近このような論文1が出ました。 テスト https://t.co/QoXamqHB9w — ぱしふぃん (@pacifinapacific) December 21, 2019 なんとただの１枚絵をVtuberのモデルにできちゃうのです。ニコニコに上がっている解説動画では賞賛のコメントが多数寄せられていました。 これはすごい！ということで私も読んだのですが、データセットを作る段階ですごい労力を費やしているようでした。３ｄモデル1つ1つを目を閉じたり、開けたり、顔を傾けたりと差分をとり、ラベル付けしていくのはとても大変です。 「そんなラベル付けの手間を失くして似たようなことがやりたい！！」 その一つの可能性として今回StyleGANに着目してみます。StyleGANは滅茶苦茶綺麗な画像を生成できるモデルで
There are millions of github repos and filtering them is an insane amount of work. It takes huge time, efforts and a lot more. We have done this for you. In this article we’ll share a curated list of 100+ widely-known, recommended and most popular repositories and open source github projects for Machine Learning and Deep Learning. So without further ado, Let’s see all the hubs created by experts a
ABEJAアドベントカレンダー2020の19日目の記事です。 この記事は何？ 結局AIって何個データ必要なの？ってよく聞かれると思います。 そんなん知るか この記事では、ある程度精度が出ている既存のタスクにおいて、どんなデータを、どのくらいの量与えているかを調べた結果です。ちなみに、僕自身、すべてのタスクを扱ったことがあるわけでは無いので、ほぼ一部適当な部分もあるかと思いますが、ご容赦ください。あと、このデータが入ってないよ！ってツッコミも歓迎です。 あと、技術は常に進んでいるので、ちゃんと最新技術を追っておけば、より少ないデータで良い結果を出すことが出来ないこともない。が、最新技術とはいえ銀の弾丸ではないのが通常で、例えlightweightGANがでたからと言って、100枚で学習できます！とか勝手に広がると困っちゃう。色んなタスクにおいて、まぁ大体どんなタスクも一般的にはこんなもんよっ
GitHub Actions - Updating the default GITHUB_TOKEN permissions to read-only
GitHub Actions – Updating the default GITHUB_TOKEN permissions to read-only githubactionsworkflows February 2, 2023 Previously, GitHub Actions gets a GITHUB_TOKEN with both read/write permissions by default whenever Actions is enabled on a repository. As a default, this is too permissive, so to improve security we would like to change the default going forward to a read-only token. You can still f
はじめに こんにちは。dely開発部の伊ヶ崎（@_ikki02）です。 本記事はdely Advent Calendar 2019の6日目の記事です。 qiita.com adventar.org 昨日は当社サーバサイドエンジニアの安尾が 「スピード優先の開発で溜まった技術的負債の返済計画（サーバーサイド編）」 という記事を書きました！ 新機能の開発にとどまらず 技術的負債を返済していくのはとっても素敵なことですね！ ぜひこちらも一読いただけると嬉しいです。 さて、本日は前職でデータサイエンティスト、 現職で機械学習エンジニアをしている経験から 私が感じている両職業のお話をしていきたいと思います。 まだまだ新しい職種なので、 実際はこんなことしてるんだ、と少しでもお役に立てれば幸いです。 （あらかじめお断りしておくと、 職業の優劣関係や、 どちらか片方の職業を賞賛する意図に基づくものではご
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
【2020年】AWS全サービスまとめ | DevelopersIO
【一問一答】マヅコの知らない「異常検知」の世界 - Qiita
冴えないAWS環境の育てかた α | DevelopersIO
主要RDBMS製品の比較 – アーキテクチャ, スキーマ, データベース, メモリ | コーソルDatabaseエンジニアのBlog
【2021年】AWS全サービスまとめ | DevelopersIO
【資料公開】AWSアカウントで最初にやるべきこと 〜2022年6月版〜 | DevelopersIO
あるプログラマーが飲食店で注文するとき、「まず４つあって、」と"メモリの確保"から始めた話が面白い
【2022年】AWS全サービスまとめ | DevelopersIO
500万円のAWSサービスを申し込んでしまった話 - Qiita
異常検知プロジェクトを取り巻くtips - Qiita
AWS上でどのようにゼロトラストアーキテクチャを考えていくか | Amazon Web Services
【速報】次世代の外観検査！？プロンプトを駆使した異常検知 - Qiita
AWS re:Invent 2020で発表された新サービス/アップデートまとめ - Qiita
本物のウェブアクセスログを使用した、機械学習による異常検知(全データ/ソースコード公開)
【書評】「AWS を使って学ぶ 監視設計」 #技術書典 | DevelopersIO
AWSセキュリティ学習に役立つワークショップ紹介 | DevelopersIO
【2024年】AWS全サービスまとめ | DevelopersIO
Amazon CloudWatch、機械学習により異常値（アノマリー）を自動検出できる新機能
【異常検知】学習ゼロの衝撃！を可視化する - Qiita
Introducing AWS Cost Anomaly Detection (Preview)
AWS 環境における暗号通貨採掘悪用に備える - サーバーワークスエンジニアブログ
2020年機械学習総まとめ 興味深い論文/記事85選｜akiraTOSEI
【異常検知】最近の研究動向・2023年夏 - Qiita
AWS不要なリソースの削除を対応したのお話 - Qiita
StyleGANを遊び尽くせ!! ~追加学習不要の画像編集~ - Qiita
100+ Best GitHub Repositories For Machine Learning
Deep Learningの各種タスクにおけるベンチデータセットとデータ数をまとめた - Qiita
データサイエンティストと機械学習エンジニアをやって思ったこと - dely Tech Blog