Amazon API Gateway プライベート API の「プライベート」を誤解してると、とても危ないという話。 | DevelopersIO
API Gateway にはパブリック API と、プライベート API が作成できますが、「プライベート」という言葉を正しく理解していますでしょうか？ 「自分の AWS アカウント内からのみアクセスできる API でしょ？」 と考えたあたなに質問です。図にすると、このようなイメージでしょうか？ あなたのアカウント内にプライベートな API Gateway が存在し、他の AWS アカウントから接続するには承認しないと接続できない。それが「プライベート」だと。 このようにお考えの場合、API Gateway にはリソースポリシーでアクセス元を制限したり、API Gateway で認証なども実装できますが「今回はプライベートなので、特に制限は必要ありません。」と考え、以下のようなリソースポリシーを設定していたりするでしょうか？ { "Version": "2012-10-17", "Stat
先日、KOJIKA17さんの「Sassを@importから@useに置き換えるための手引き 」という記事を見て、2022年10月ころにはSassで@importが使えなくなる可能性があることを知りました。まだ2年ありますが、新しく取り組むプロジェクトでは@useを使ったモジュールシステムにしたいので、自分が使っている構成の置き換えについて考えてみました。 まずはアイディアをシェアをして叩き台にしてもらうのが目的ですが、他に良い書き方があったらぜひアドバイスいただきたいというのもあります。 試しながら、考えながら書いているので内容は変更される可能性が高いかもしれません。 Sassの新モジュールシステムについて Sassの新しいモジュールシステムについては、上述の記事や SHIFTBRAINさんのブログ がわかりやすかったです。ありがとうございます。 公式の発表と@useと@forwardのド
8行のデータで理解する階層ベイズ - Qiita
学習効果を統計的に評価したい！ こんにちは グロービスではさまざまな教育事業を展開していますが、多くの人に学習を継続してもらうためには、研修をしたりコンテンツを視聴してもらったりするだけでなく、その学習効果を測定してユーザーにフィードバックすることが重要です。このとき、だれが見ても明らかな効果が出れば良いのですが、受講前後の成績変化のばらつきが大きかったりデータが少なかったりして、必ずしも分かりやすい結果が得られるとは限りません。そういった場合にデータを丁寧に紐解いて、どの程度効果があったのかを明らかにするのも分析の仕事のひとつです。 今回は階層ベイズモデルという統計モデルを使って、高校における学力コーチングの成果についてのデータを分析します。階層ベイズはやや高度な統計モデルというイメージがありますが、この記事ではたった8行のデータを例にしてその概要を説明してみたいと思います。 想定読者
MySQLのストレージエンジンはplugableになっていて、APIを実装すれば自作のストレージエンジンを組み込むことができる。 ということで、試しにRedisをストレージエンジンとして使うRedis Storage Engineを作りました。 github.com 途中で飽きてしまった ちまちま実装するよりC++の勉強とInnoDB読んだほうが良さそうと思ったので、お蔵入りするつもりでしたが、Yahoo! Japanでストレージエンジンを研究開発しているという話で個人的に盛り上がったので、改めて作ったところまでを見直して、整理しておこうという趣旨です。 実装したものはCREATE TABLEとDMLがある程度カバーされたおもちゃですが、自作ストレージエンジン開発のためのドキュメントはなくなっていく一方なので(MySQL internal documentを含む既存のドキュメント・ブログ・
本文は長いけどわかりやすい（はず）AWSコスト削減の要 -RIとSPパーフェクトマスター 2020- | DevelopersIO
「この記事をブクマしておけばリザーブドインスタンス（RI） と SP に関する疑問は全部解決するZE!」みたいな記事を書いてほしい」というリクエストがあったわけではないですが、書いてみたくなったので書きました。 こんにちは、札幌在住 AWS 事業本部 オペレーション部（通称オペ部）の池田です。 先日、Savings Plans（SP）に関するよくあるお問い合わせをご紹介する動画を作成、公開したというブログ記事を書きましたところ、読まなきゃ損($∀$)リザーブドインスタンスのススメ -2019春-のような「この記事をブクマしておけばリザーブドインスタンス（RI） と SP に関する疑問は全部解決するZE!」みたいな記事を書いてほしい」というリクエストがあったわけではないですが、書いてみたくなったので書きました。 ブラウザのスクロールバーでなんとなくお察しいただけるとは思いますが、かなりのボリ
【機械学習 × テニス】姿勢推定とLightGBMを用いたテニスのスイング認識【動作検出】 - はんぺんのIT日記(改)
はじめに 手法の決定 開発環境 データ取得 動画撮影 アノテーション 関節位置のデータ モデリング 学習用データ データ加工 データ分割 学習 評価 評価用データ Feature Importance Confusion matrix 動作の誤検出 高度化検討 トラッキングの追加 姿勢の検出精度の高いモデルの使用 特徴量の再検討 予測モデルへの転換 関節位置データのAugmentation さいごに 参考 はじめに こんにちは。はんぺんです。 テニスのスイングの検出・分類モデルを作ってみました。 youtu.be モチベーションとしては、インテリジェントデバイス的な何かを作ってみたいというものです。 ちょうど魔法少女リリカルなのはのレイジングハートみたいなイメージです。 インテリジェントデバイスとは、AIを有し自ら思考するタイプのデバイスのこと。 出展：レイジングハートとは (レイジングハ
はじめに 前篇の「リアクティブマイクロサービス入門（1/2）- 概念編」では、なぜリアクティブマイクロサービスが必要なのか、リアクティブマイクロサービスとは何なのかをご紹介しました。 後編となるこの記事では、リアクティブマイクロサービスの実装するために使えるテクニック・技術を、目的別にご紹介します。 もちろん、これらすべてを盛り込まなければリアクティブマイクロサービスを実現できないわけではありませんが、引き出しとして知っておけばより柔軟な設計ができるのではないかと思います。 目的別にまとめているので、適宜リファレンス的にご参照いただければと思います。 モジュール化 リアクティブマイクロサービスに求められる性質をバランス良く満たすためには、ビジネス上の関心事を分割することが重要です。 トレードオフで同時に実現することが難しい要件でも、分割することでそれぞれの関心時に最適化した手段を選択して実
排他制御とは 共有資源（データやファイル）に対して複数のアクセスが見込まれる場合に、同時アクセスにより不整合が発生することを防ぐため、あるトランザクションが共有資源（データやファイル）にアクセスしている時は他トランザクションからはアクセスできないようにして直列に処理されるように制御すること。 ■同時アクセスによる不整合の例 ■排他制御をすることで整合性を保つ 排他制御の方式 排他制御の実現方式はいくつか存在するが、ここでは代表的な楽観ロック（楽観的排他制御）と悲観ロック（悲観的排他制御）を紹介する。 楽観ロック（楽観的排他制御） 楽観ロックとは、めったなことでは他者との同時更新は起きないであろう、という楽観的な前提の排他制御。データそのものに対してロックは行わずに、更新対象のデータがデータ取得時と同じ状態であることを確認してから更新することで、データの整合性を保証する方式。楽観ロックを使用
やってみたら簡単！ディープラーニング・オセロを作って自分を負かすまで強くした話(その2・iOS編) - Qiita
前回の記事「やってみたら簡単！ディープラーニング・オセロを作って自分を負かすまで強くした話(その1)」の続編です。 前回は、ディープラーニング・オセロのモデルを作って推論させるところまでを説明しました。 今回は、今回はこのモデルをiOSで動作させ、ミニマックス法やモンテカルロ木探索に組み込む方法について説明します。 前回、UIの説明をすると書きましたが、UIそのものはもともと参加していたコンテストであるリバーシチャレンジから提供されていたものを利用していたので、説明としては省略します。 前回はPython中心の記事でしたが、今回はSwift + Core ML中心の記事になります。 コードはこちらにあります。 TokyoYoshida/reversi-charenge ミニマックス法とモンテカルロ木探索ではどうだったか？ 結論から言うと、ミニマックス法は強くならず、モンテカルロ木探索は、私
自然言語処理の最先端Transformerを集合生成に応用する【逆転オセロニア】 | BLOG - DeNA Engineering
はじめまして。9月初旬より約半月にわたり、AIエンジニアコースのインターンに参加させていただいた清水と申します。大学院は情報系の専攻で、最近は幾何学的な深層学習に関する研究に取り組んでいます。その過程で言語的なタスクを出口に用いることも多く、副次的に深層学習を利用した自然言語処理にも多少明るかったりします。 題目にあるTransformerとは、そうした分野にてここ数年にわかに注目を集めている仕組みの名です。自然言語処理の最先端研究ではまず流用されないことなどない、いわば伝家の宝刀レベルのモデルといってよいでしょう。 本記事ではこれを『逆転オセロニア』というゲームのデッキ編成に特化させ、現行手法よりも表現力に富んだ編成システムを実現した経緯についてお話しできればと思います。『日進月歩で強力になっていく機械学習手法の恩恵に与りたいけれど、所望の問題設定にドンピシャな手法なんてそうそうなくて思
前回の記事では、ディープラーニングの異常検知に関するベンチマークを 行いました。その結果、「L2-SoftmaxLoss」が一番良い性能を示しました。 本稿では、その元になった「論文の概要」と「異常検知に適用した場合の考察」を 記したいと思います。 ※なお、本稿の図は特に明記がない場合は論文（L2-constrained Softmax Loss for Discriminative Face Verification ）より引用しています。 論文の結論 結論からいうと、論文で言いたかったことは ということです。この意味が分かる方は、既に論文のほとんどを理解できています。 あとは、分類精度を向上させるために、ソフトマックス関数をどう改造するかのお話しです。 ソフトマックス関数のクロスエントロピー 分類問題で良く使われるソフトマックス関数のクロスエントロピーは 以下のとおりです。 L_S=-\
かまろ/Camaro @mlaass1 ディープラーニングのモデリングの経験則を語る会をやってみたい。理論的な背景は不要（あってもいい）で、こういうときはこうする、こういうデータにはこうすると上手くいく、初手はいつもこれ、などのヒューリスティックを無責任に語る会。 2020-08-03 12:23:09 かまろ/Camaro @mlaass1 画像だとデータの特徴と合わせてこの辺り話してみたい。 ・image sizeとmodelの大きさ ・batch sizeの決め方とBatch norm ・fp16使うか ・デバイス(GPU/TPU)の違い ・間違いないaugmentation ・間違いないscheduling ・frameworkの違い(tf/pytorch) ・lossの選び方 ・optimizerの違い ・headの設計方法 2020-08-03 12:46:04 かまろ/Cam
追記 「何が問題なのかわからない」という声があったので補足します。 Dockerの-vオプションや仕組みを理解しているユーザーやDockerを構築した人自身が使っているだけであれば、気をつけるだけでいいと思っています。 Dockerを複数人で使っているとか、Kubernetesクラスターのランタイム（CRI）としてこれらのエンジンを使った場合にも、今回取り上げたようなことをKubernetes上で実現できるので、オンプレ（要するに手元の環境で）Kubernetesを利用している人は気をつけないといけないでしょうという話です。どちらかというとこの問題ってrunCを使っているからなのかなと思っています。 解決策としては、Linuxのセキュリティ機能はできるだけ使うということ、必要以上にアクセス権を渡さないこと、メンテナンスされたコンテナイメージを使うこと、稼働中のコンテナは定期的に新しいイメー
何事もなく進む作業。 今回は一部機器繋ぎこみだけなので、そろそろ作業の終わりも見えてきたとき、一本の電話がかかってきた。 一本の電話 電話の表示を見ると、その時の案件リーダの方の名前が表示されている。 このタイミングでかかってくる電話に良いことがあったためしがない。 でたくない、、、でたくないが、意を決して出る。 私：「どうしましたか？」 リ：「お客様から電話があって監視からエラーが出ていると連絡があったけど何かやった？」 私：「今、L3スイッチを繋いだところなのでリンクアップのメッセージとかじゃないですか？」 リ：「うちのシステムではなく、別のシステムの監視からエラーが出続けているそうなんだけど。」 私：「（別のシステム！？）」 自分のシステムならともかく、別のシステム！！！ しびれとも寒気ともいえぬ、血の気が引く感覚が全身を駆け巡りました。 惨劇はなぜおこってしまったのか すぐに原因の
RNNからTransformerまでの歴史を辿る ～DNNを使ったNLPを浅く広く勉強～ - arutema47's blog
Amazon Prime 一ヶ月無料 Seq2seqからBERTまでのNLPモデルの歴史をざっとまとめる。 DNNは知ってるけどTransformerってなんだかわからない、って人におすすめです。 Abst. 画像認識にもTransformerが使われることが多く、DeepRLやGPT-3といったNLPモデルも身近になってきています。"Attention is 何?"と言えなくなってきたので勉強しました。 Feedforward NetworksからSeq2Seq, Attention機構からTransformer登場、そしてBERT GPTといった最新モデルまでの流れを広く浅く記述する予定。 またKaggle NLPコンペの上位解法から利用例を探る。 Tl;DR TransformerはSelf-Attentionという機構でデータ内の時系列的特徴を抽出でき、従来のRNNを始めとするNN
JSON Web Signatureを簡単かつ安全に使うためのkid/typパラメータの使い方 - r-weblife
こんにちはこんにちは、ritou です。 現状、様々な用途で利用されているJWTですが、今後はますます開発者にとって "簡単に" かつ "安全に" 利用できる状況が求められていくと考えられます。 今回はそのために重要になる、各種パラメータの扱いに注目します。 とりあえずライブラリ使えで終わりでは？ JWTを扱うためには 各種暗号化処理 JSON, Base64URLエンコード/デコード あたりの処理が必要です。 関連仕様がRFC化されてからある程度時間も経っており、各言語で仕様を忠実に実装されたものから自身が使う機能をピンポイントで抽出して実装したものまで様々なライブラリが存在します。 ここで、 仕様に忠実に、全ての暗号化処理をサポートするライブラリ を使うだけで、誰もが安心、安全に利用できるかと言うと、そうでもないことは想像できるでしょう。 JWTの各種仕様とは別で最近RFC化された "
GiNZAで始める日本語依存構造解析 〜CaboCha, UDPipe, Stanford NLPとの比較〜
GiNZAで始める日本語依存構造解析 〜CaboCha, UDPipe, Stanford NLPとの比較〜
ログ分析勉強会は、日々の業務に役立てられる「ログ分析」についての情報交換を目的として活動しています。オンライン開催となった今回、AWSに詳しい山口氏がWebサービスのパフォーマンス改善に必要なログ分析について、日々の業務から得た知見を共有しました。前半は、クライアント側から見たログ分析について。 Webサービスのパフォーマンスとログ分析 山口正徳氏：山口と言います。よろしくお願いします。今日はみなさんお集まりいただきありがとうございます。なんと現時点で参加いただいているのが303人。こんなに多くの方に参加してもらえるとは思ってもいなかったので、変な緊張感に包まれています。カミカミなところとかがあったりしても、そこはあたたかい目で見てもらえればなと思います。 また、ログ分析勉強会のオンライン配信は JAWS-UG 札幌の三浦一樹さんに協力いただています。配信環境の設営、配信レイアウトの作成な
「Amazon S3 インターフェースエンドポイント（PrivateLink）ではプライベート DNS をサポートしていません」 の意味を絵をかいて腹落ちさせてみた | DevelopersIO
「Amazon S3 インターフェースエンドポイント（PrivateLink）ではプライベート DNS をサポートしていません」 の意味を絵をかいて腹落ちさせてみた 2023/3/15追記 「サポートしていません」の時代に本エントリを書いたのですが、アップデートによりサポートされるようになりました。その内容を以下エントリに書きました。 以降の記述は当時の内容としてお楽しみください。上記のエントリとあわせて読むとより理解が捗ると思います。 コンバンハ、千葉（幸）です。 先日、Amazon S3 向けの PrivateLink（インターフェースエンドポイント）がサポートされました。 これによりオンプレミスから S3 へのプライベートアクセスが、簡単に構成できるようになりました。 注意点として、S3 インターフェースエンドポイントではプライベート DNS 名が使用できないというものがあります。
クックパッドでデータにまつわるあれやこれやをずっとやってる佐藤です。分析・調査に仮説検証にデータパイプラインにと色々やってました。ちなみに先日はCyberpunk2077休暇をとるなどという呑気なことをしていたら、この記事でやりたかったことがほぼできそうなサービスがAWSから発表されて頭を抱えながら書いています。 そのログはどこまで信頼できるのか クックパッドではサービス改善のためにWebサイトやアプリからログを収集して開発を行っています。これらのログは集計された後、ダッシュボードの形で可視化されてサービス開発者たちの意思決定を支えています。 クックパッドのログ基盤はログ送信側（クライアントサイド）もログ格納側（DWHサイド）も十分に整っており、いつでも必要であれば簡単にログを送信・集計するだけの仕組みができあがっています。 アプリログにおける大雑把なログ収集の図 （注:例として上図を載せ
機械学習における
ハイパーパラメータ最適化の理論と実践
/ hpo_theory_practice
ランダム欠損データに依存しない推薦システムのバイアス除去 / towards-resolving-propensity-contradiction-in-offline-recommender-learning
Migrating From Spring Boot 2 To Spring Boot 3 - What's Jakarta EE Got To Do with It?
先日、私のプロジェクトで脆弱性関連のissueが投稿されたので対策を行いました。 指摘内容は主に「プロトタイプ汚染攻撃」でした。自分では対策を行っていたつもりだったのですが、様々な穴がありました。 プロトタイプ汚染攻撃可能な脆弱性は成功すると他の機能や脆弱性との組み合わせによって、任意のコード実行を可能にする危険度の高いものですが、XSSやCSRFに比べて、初学者が触れられる纏まった対策方法の情報が少ないと感じたので、ここに記そうと思います。 プロトタイプ汚染攻撃とは 日本語の情報としては Node.jsにおけるプロトタイプ汚染攻撃とは何か - ぼちぼち日記 が詳しいですが、まず、前提として、JavaScriptは「プロトタイプベースのオブジェクト指向」を採用しており、原則、すべてのプリミティブ型およびオブジェクトのインスタンスは「プロトタイプ」オブジェクトを参照しています1。 また、プロ
※ このブログはヌーラバー Advent Calendar 2020 12日目の記事です。明日は yuh kim さんの記事です。 こんにちは。本日32歳になりました。Cacoo課の川端(@kwbtsts)です。 Cacooは先日、図の編集画面上でビデオ会議ができる「ビデオ通話」機能をリリースしました！ 本記事では、ビデオ通話を実現するために必要なWebRTCという技術について解説したいと思います。ビデオ通話を実際にWebサービスで開発・運用していこうと考えている方や、WebRTCに興味がある方へのヒントになれば幸いです。 ビデオ通話機能についての詳しくはCacooリリースブログ『テレワークで使える！Cacooで「ビデオ通話」ができるようになりました！』をご覧ください。 WebRTC(Web Real-Time Communications)とは？ Cacooのビデオ通話ではWebRTC(
scikit-learn-contrib の Metric Learning を試す - u++の備忘録
Metric Learning について Metric Learning は、データの教師情報を基にデータ間の距離や類似度などの Metric を学習する手法です。日本語で手軽に読める記事だと、*1, *2 などが詳しいです。 このたび、phalanx さんの tweet *3で、 Metric Learning の基礎的なアルゴリズムのいくつかが scikit-learn-contrib *4に搭載されていると知りました。 本記事では、scikit-learn-contrib の metric-learn パッケージを用いて、簡単にMetric Learning を試します。 インストール README や PyPI *5 に記載のある通り、次の通りにインストールします。 pip install metric-learn 利用するデータセット 今回は、sklearn に含まれている lo
コードレビュー自動化、障害注入／分散トレーシング、マルチクラウドIaC――コンテナベースのCI/CDがもたらす新たな開発者体験とは
コードレビュー自動化、障害注入／分散トレーシング、マルチクラウドIaC――コンテナベースのCI/CDがもたらす新たな開発者体験とは：コンテナベースのCI/CD本番事例大解剖（終）（1/2 ページ） Kubernetes、コンテナ技術を活用したCI/CD基盤におけるサービス開発について、リクルートテクノロジーズの事例を基に解説する連載。最終回は、「プロダクト品質の磨き込み」「アジリティの向上への取り組み」の2つを中心に解説を進めます。 本連載「コンテナベースのCI/CD本番事例大解剖」では、リクルートテクノロジーズが取り組んだ事例を基に、Kubernetes、コンテナ技術を活用したCI/CD（継続的インテグレーション／継続的デリバリー）基盤におけるサービス開発について解説しています。 これまで3回にわたる連載では、アプリケーションエンジニアおよびインフラ／運用エンジニアの観点から、技術選定に
サイバーセキュリティ・フレームワーク「MITRE CALDERA」紹介：使用方法・レッドチーム編 - Qiita
はじめに 趣旨 本記事は、『サイバーセキュリティ・フレームワーク「MITRE CALDERA」紹介』の 第二弾「使用方法・レッドチーム編」です。 本編では、模擬サイバー攻撃を実施するレッドチームでの MITRE CALDERA の使い方を紹介します。 機能概要や環境構築につきましては第一弾「機能概要・動作環境構築編」をご覧ください。 記事構成 紹介内容が多いため、以下の4記事に分けて紹介しています。 機能概要・動作環境構築編 使用方法：レッドチーム編（本記事） 使用方法：ブルーチーム編 使用方法：トレーニング編 注意・免責事項 本記事には、サイバー攻撃を模擬再現する方法が含まれています。 これは、サイバー攻撃されることによってどのような事象が発生するのか、どう対処すれば良いのかを確認・検討・改善したり、サイバーセキュリティ人材育成に活用することが目的です。 他のシステムやネットワークに影響
オミータです。ツイッターで人工知能のことや他媒体で書いている記事など を紹介していますので、人工知能のことをもっと知りたい方などは気軽に@omiita_atiimoをフォローしてください！ 他にも次のような記事を書いていますので興味があればぜひ！ 【2020決定版】スーパーわかりやすい最適化アルゴリズム -損失関数からAdamとニュートン法- 画像認識の定番データセットImageNetはもう終わりか パラメータ数を激減させる新しい畳み込み「MixConv」解説！ 自然言語処理の王様「BERT」の論文を徹底解説 【基本編】画像認識に使用されるData Augmentationを一挙にまとめてみた！ 画像認識に特化させた新たな活性化関数FReLU解説&実装！ 今やあらゆる分野で驚くべき結果を残し続けているニューラルネットワークですが、そのニューラルネットに無くてはならないものこそが活性化関数で
最近、ANDPADでデータベース周りの技術顧問をさせて頂いています。ANDPADのエンジニアの皆さんから「データベースのロックまわりを詳しく知りたい！」というお話を受けて、先日、ロック周りの社内勉強会を開催しました。 SQLでは一般的なプログラミング言語と違って、ロックの制御を明示的に記述しません。ロックは暗黙的に（自動的に）データベースが必要なロックを獲得します。データベースのロックが わかりにくい・むずかしい と言われることが多いのはこういった背景があると思います。 MySQL のロック範囲は実行計画で変わる 更新対象の行がロックされるのは予測が付く方が多いと思います。 しかし、MySQL（InnoDB）では更新対象でなくても行がロックされることがあります。 このようなサンプルデータを使って説明します。 mysql> CREATE TABLE `lockt` ( -> `pk` big
イスラエルのネゲブ・ベングリオン大学の研究チームは、ルーターで2つのネットワーク（ゲストネットワークとホストネットワーク）を運用している企業や家庭が、ハッキング攻撃やデータ流出の被害に遭いやすいことを発見した。 同大学のAdar Ovasdya氏は、「われわれが調査したルーターは全て、ブランドや価格帯にかかわらず、特別な細工を施したネットワークパケットを流した場合、少なくとも一部のネットワーク間通信に対して脆弱（ぜいじゃく）になる。（1台のルーターに頼るのではなく）例えば別個のルーターを使うことが、安全なネットワークデバイスとそうではないネットワークデバイスの分離を保証する、最も安全なアプローチだと思われる」と述べている。 なぜ2つのネットワークを構築するのか Ovasdya氏は、「企業用か家庭用かにかかわらず、ほとんどのルーターでは、重要性の高いデータをやりとりするホストネットワークと、
2023-01-10 EXIST は VirusTotal や Shodan、Twitte などの情報を API を通じて取得し、脅威情報（IPアドレスやハッシュ値）の関連情報を横断的に検索することができる「サイバー脅威情報集約システム」です。 MISP と連携可能なので、ここでは EXIST+MISP 環境を構築していきます。 なお、CentOS 7 に対して EXIST+MISP 環境を自動で導入できるスクリプトを github で公開しています。 手っ取り早く環境構築したい場合は以下からご利用ください。 EXIST+MISP 環境を自動で導入できるスクリプト github.com EXIST+MISP 環境を自動で導入できるスクリプト サイバー脅威情報集約システム EXIST とは CentOS 7 のインストール GUI ありの場合は画面ロックを無効化しておきます MISP のイン
TopicModelの最終形態？ Structured Topic Modelのご紹介 - Retrieva TECH BLOG
こんにちは。レトリバの飯田です。カスタマーサクセス部 研究チームに所属しており、論文調査やそのアルゴリズムを実行するスクリプトの実装などを行なっています。 今回は、Bag of Words(BoW)表現に於いて、これがTopicModelの最終形態ではないか？と私が思っているStructured Topic Modelの紹介と再現実装をpythonで行なったので、その紹介をします。 https://github.com/retrieva/python_stm Structured Topic Modelとは Correlated Topic Model(CTM) Sparse Additive Generative Model(SAGE) STMの更なる特徴 文書ートピックの分布の推定に対し文書属性情報を考慮できる 積分消去による高速化 STMの使い方 Covariate(Y)の使い方 P
import random for i in range(10000): user_id = random.randrange(1, 26) item_id = 1 if user_id % 5 == 1: item_id = random.choice([1,2,3]) elif user_id % 5 == 2: item_id = random.choice([4,8,7]) elif user_id % 5 == 3: item_id = random.choice([1,6,9]) elif user_id % 5 == 4: item_id = random.choice([6,7,10]) elif user_id % 5 == 0: item_id = random.choice([4,5,9]) else: item_id = random.randrange(1, 10
[レベル: 上級] Google の Gary Illyes（ゲイリー・イリェーシュ）氏と John Mueller（ジョン・ミューラー）氏、Martin Splitt（マーティン・スプリット）氏の 3 人が『Search Off the Record』というタイトルで SEO をテーマにしたポッドキャストを配信しています。 エピソード 9 では、重複コンテンツの処理についてゲイリーが詳しく説明しました。 Google 検索の内部の動きに関心がある人にはとても興味深い内容です。 この記事で内容を完結にまとめます。 Google が重複を検出し正規化する仕組み 重複コンテンツの処理は次の 2 つのプロセスで成り立っています。 重複検出 正規化 それぞれを順に説明します。 重複検出 重複検出は、URL は異なるけれど中身が同一のページを識別するプロセスです。 同じあるいはほぼ同じとみなしたペー
連載目次 前回までは、特定の事象（できごと）が起こる確率の取り扱いやベイズの定理などについて見てきました。ここからは「確率分布」について見ていきます。 確率分布とは、全ての事象に対する確率を洗い出して、それらの事象がどのような確率で起こるかを表したもの……いわば全体像を表したものと考えていいでしょう。といっても、抽象的すぎて何のことか分からないかもしれませんね。しかし、具体例を見れば「なんだそんなことか」と簡単に分かる話です。 ここでは「分布」とはそもそもどういうものか、ということから始め、今回は離散分布の例としてベルヌーイ分布と二項分布を、次回は連続分布の例として正規分布とベータ分布を紹介します。併せて次回、ごく簡単にではありますが、事前分布や事後分布など、ベイズ統計に関する話題についても触れます。具体的には、今回と次回で以下のようなトピックを扱います。
[初心者向け]Webサービスを利用する際のDNSからTCPコネクションについて再入門 | DevelopersIO
もう少しSOAレコードについて触れます。 形式として、下記のようになっており、 [認証局ドメイン] [ゾーン管理者のドメイン] [ゾーンのシリアル番号] [更新時間] [再試行時間] [期限が切れる時間] [負の結果をキャッシュする TTL] ゾーンの管理を行うDNSサーバのFQDN（ホスト名まで含むドメイン名）や、管理者に連絡が取れるメールアドレス、ゾーン情報の新旧を判別するためのシリアルナンバー（改訂する度に増加する）が順に記載されています。 続く3つの情報は、セカンダリネームサーバがプライマリのネームサーバから入手したゾーン情報を、どう扱うかを指定するものです。各データはそれぞれ秒数で指定されています。 digコマンドで弊社クラスメソッドのSOAレコードを確認してみましょう。ANSWER SECTIONに上記形式で内容が記載されています。 # SOAレコード $ dig soa cl
![[初心者向け]Webサービスを利用する際のDNSからTCPコネクションについて再入門 | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/6f1fde3cff7767965729d2d96d3e31da5b8a643d/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2018%2F11%2Feyecatch_developers.io_1200x630.jpeg)
在宅勤務で手元にない端末でのアプリのデバッグをするために準備しておくこと - Infinito Nirone 7
コロナ禍で在宅勤務が一気に広まり、自宅でアプリの開発やリリースをすることが多くなりました。この状況のなかで、アプリの挙動に問題があるなどで動作確認をしようと思うとき、その問題に対処するためのデータを集めたり、問題が発生したときの状況を確認するための手立てを持っておく必要があります。この記事では、手元にない端末で起きる問題のトラブルシューティングをしやすくするために準備しておくとよいことを書き残しておこうと思います。 端末のログを収集する ある端末でアプリがクラッシュしたときに、そのスタックトレースを記録しておくことはとても重要ですが、そのクラッシュにいたるまでに何があったかをログとして収集しておくことで、クラッシュが起きた状況を把握しやすくなります。 Firebase Crashlytics や DeployGate など、端末からログを収集して Web コンソール上で閲覧できるようにして
QAチームのテスト設計改善およびテストマネジメント改善の取り組みを、9月16日に主催したD3QAにて発表しました。事前登録者数は500名以上、配信時の同時視聴者数は最大300名以上となりました。 質問も60問ほどいただいたのですが、イベント期間内に全ての質問に答えることができなかったため、3つの記事に分けて質問に回答します。また、当日参加できなかった方にも把握していただけるように、当日の発表内容から抜粋して紹介しつつ、質問に回答していきます。 本記事ではテストマネジメント改善に関する質問に回答します。 発表概要の紹介 改めましてこんにちは！ビズリーチのQA基盤推進室のブロッコリーです。社内でも社外でも「ブロッコリーさん」と呼ばれています。 私は先日「テスト活動の納得感を持ってテストケースを激減させた話」というタイトルで発表を行いました。 発表スライドは下記となります。 また、当日の配信内容
深層距離学習(Deep Metric Learning)各手法の定量評価 (MNIST/CIFAR10・異常検知) - Qiita
各組み合わせにつき、上図で表した10テストケースをそれぞれ実施して統計をとっています。 まとめ: 10テストケースでは、正常・以上に割り当てる具体的なクラスを入れ替える。 8つのセットで評価の条件を組み合わせ、各条件で10テストケースすべてを実施した上で統計をとった結果を出している。 1.3 評価方法 ひとつの組み合わせは10テストケース実施それぞれで、①AUC、②各クラスサンプルの平均距離を得た。 ひとつのテストケースの評価手順 通常のCNN分類器(ResNet18)に、手法を組み込む。(Conventionalのときは何もせずそのまま使う) 学習は、「正常」に割り当てたクラスだけで構成する学習データセットを使い、転移学習によって行う。学習データは、各データセットで元々trainセットに入っているサンプルのみ利用する。 評価データの距離を得る。 正常・異常を問わずすべてのクラスから評価デ
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Sassのモジュールシステムを@importから@useに移行する方法を考えてみた
MySQLでredis storage engineを作った - tom__bo’s Blog
リアクティブマイクロサービス入門（2/2）- 実現編 - Qiita
排他制御（楽観ロック・悲観ロック）の基礎 - Qiita
【論文読み】異常検知を支える技術 - Qiita
ディープラーニングのモデリングの経験則を語る会についての有識者からの反応まとめ
コンテナーとセキュリティーについて調べたのをまとめる - ytooyamaのブログ
知らないシステムを孤立させてしまった話 - Qiita
推測するな、計測せよ フォージビジョンのエンジニアが教えるパフォーマンス改善に必要なログ分析
分析用ログデータに対する品質保証としての異常検知 - クックパッド開発者ブログ
Pythonで始めてみよう関数型プログラミング
JavaScriptのプロトタイプ汚染攻撃対策は難しい - Qiita
全世界300万人が使うCacooのビデオ通話機能を支える技術 #ヌーラボのアドベントカレンダー | 株式会社ヌーラボ(Nulab inc.)
新たな活性化関数「FReLU」誕生&解説！ - Qiita
MySQL のロック範囲は実行計画で変わるという話 - mita2 database life
「ルーター」でゲスト／ホストネットワーク分離の危険性を発見、イスラエルの研究者
サイバー脅威情報集約システム EXIST を構築する - setodaNote
Amazon Personalizeでレコメンドしてみる話 - Qiita
どのようにしてGoogleは重複URLを検出し正規化しているのか？
［AI・機械学習の数学］確率分布の基本、ベルヌーイ分布、二項分布を理解する
実売3500円のWi-Fiルーターじゃダメですか？ Wi-Fi 5で全ポートギガ対応の「HUAWEI WiFI WS5200」を試す【イニシャルB】
効果を維持しつつテスト工数を削減した話 〜テストマネジメント改善の質問回答編〜