New – Use Amazon EC2 Mac Instances to Build & Test macOS, iOS, iPadOS, tvOS, and watchOS Apps | Amazon Web Services
AWS News Blog New – Use Amazon EC2 Mac Instances to Build & Test macOS, iOS, iPadOS, tvOS, and watchOS Apps Throughout the course of my career I have done my best to stay on top of new hardware and software. As a teenager I owned an Altair 8800 and an Apple II. In my first year of college someone gave me a phone number and said “call this with modem.” I did, it answered “PENTAGON TIP,” and I had a
機械学習モデルBodyPixを使ってAmazon Chime SDKのビデオ会議の背景をぼかしてみた（前編） | DevelopersIO
こんにちは、CX事業本部の若槻です。 AWSのコラボレーションツールであるAmazon Chimeでは、2020/11現在のところ、ビデオ会議で人物の背景のみをぼかす「背景ぼかし機能」は提供されておらず、同様にAmazon Chime SDKでも標準の実装としては未提供となります。 そこで今回は、ない機能は自分で作っちゃおうということで、オープンソースの機械学習モデルであるBodyPixを使ってAmazon Chime SDKのビデオ会議の背景をぼかせることを簡単に確認してみました。 BodyPixとは BodyPixとは、ブラウザとTensorFlow.jsを使って人や体の部位が映っている領域を分割（セグメンテーション）できるGoogleのオープンソース機械学習モデルです。 BodyPix - Person Segmentation in the Browser ちなみに、このBodyP
1000万件オーバーのレコードのデータをカジュアルに扱うための心構え - joker1007’s diary
自分が所属している会社のメンバーの教育用資料として、それなりの規模のデータを扱う時に前提として意識しておかなければいけないことをざっくりまとめたので、弊社特有の話は除外して公開用に整理してみました。 大規模データ処理、分散処理に慣れている人にとっては今更改めて言うことじゃないだろ、みたいな話ばかりだと思いますが、急激にデータスケールが増大してしまったりすると環境に開発者の意識が追い付かないこともあるかと思います。 そういったケースで参考にできるかもしれません。 弊社は基本的にAWSによって運用されているので、AWSを前提にした様なキーワードやサービス名が出てきます。後、句読点があったり無かったりしますが、ご容赦ください。 追記: 社内用の資料の編集なのでかなりハイコンテキストな内容だから誤解するかもしれませんが、これらはそもそもRDBの話ではありません。(関係無くは無いけど) 1000万オ
［速報］「Amazon CodeGuru」発表。機械学習したコンピュータが自動でコードレビュー、問題あるコードや実行の遅い部分などを指摘。AWS re:Invent 2019
Amazon Web Services（AWS）は、米ラスベガスで開催中の年次イベント「AWS re:Invent 2019」の基調講演で、機械学習を用いて自動的にコンピュータがコードレビューをしてくれる「Amazon CodeGuru」を発表しました。 Amazon CodeGuruのコードレビュー機能は、Amazon自身のこれまでの大量のコードと、GitHubで公開されているポピュラーな1万のオープンソースソフトウェアのコードを基に機械学習のトレーニングを行ったモデルを用いて、対象となるコードを解析。 GitHubやCodeCommitのプルリクエストと連係し、問題があるとされた個所には人間に読める形式でコメントをしてくれるというもの。 並列処理や脆弱性の問題あるコードを指摘 例えばAWSにおけるベストプラクティスのコードから外れているものや、並列処理における問題などの指摘。
Amazon Athena を使ったセキュリティログ検索基盤の構築 - クックパッド開発者ブログ
こんにちは。技術部セキュリティグループの水谷（@m_mizutani ）です。最近はFGOで一番好きな話がアニメ化され、毎週感涙に咽びながら視聴しています。 TL;DR これまでセキュリティログ検索にGraylogを使っていたが、主に費用対効果の改善のため新しいセキュリティログ検索基盤を検討した 自分たちの要件を整理し、Amazon Athenaを利用した独自のセキュリティログ検索基盤を構築した まだ完全に移行はできていないが対象ログを1ヶ月間分（約7.5TB1）保持してもコストは1/10以下である3万円に収まる見込み はじめに セキュリティグループでは日頃、社内ネットワークやPC環境、クラウドサービスに関連するセキュリティアラートに対応するセキュリティ監視業務を継続しておこなっています。アラートに対応する時に頼りになるのはやはり様々なサービスやシステムのログで、そのアラートに関連したログ
ZOZOSUITの計測システムを支える技術的背景
2019年5月23日、DMM.comとZOZOテクノロジーズによる合同勉強会「DMM x ZOZOを支える基盤技術」が開催されました。数多くのサービスを展開している2つの巨大プラットフォームは、どのようなインフラ基盤・運用によって支えられているのか？ 2社で活躍するエンジニアたちが、その舞台裏を明かします。プレゼンテーション「ZOZOSUITによる計測システムの裏側について」に登壇したのは、株式会社ZOZOテクノロジーズ の指原卓也氏。講演資料はこちら ZOZOSUITを用いた計測システムの裏側 指原卓也氏（以下、指原）：こんばんは。僕からは「ZOZOSUIT計測システムの裏側について」をお話させていただきます。 最初に簡単な自己紹介です。 ZOZOテクノロジーズでSREチームのリーダーやっている指原と申します。2011年に入社し、ファッション通販サイト「ZOZOTOWN」の開発に2年ほど
Nintendo Switchのプッシュ通知を支えるテクノロジー
テクノロジーに興味がある人なら、身近な製品の裏側って気になるもの。そんな知的欲求を満たしてくれるセッションが、昨年の夏に行なわれたre:Union 2018 Osakaには用意されていた。Nintendo Switchの裏側にあるシステムを紹介する「Nintendo Switch向けプッシュ通知システム『NPNS』」と題して、任天堂 ネットワークシステム部の渡邉 大洋さんが語ったセッションだ。フレンド登録したユーザーのゲームプレイ通知など、見慣れたあのメッセージは、こうやって送られていたのだ。 想定同時接続数1億台のリアルタイム通信インフラをAWSに構築 「実はこのセッション、AWS Summit Tokyoでもやったので聴いたことがある人がいるかもしれません。が、そこは今日初めて聴いたようなテンションで聴いてください」（渡邉さん） という出足で会場の笑いをさらった渡邉さんにならって私も書
Amazon Elastic MapReduce (EMR) ではじめる Presto/Trino 入門
Presto/Trino 1は日本語の入門書がなく、「Presto/Trino を運用することになったけど何から勉強すれば良いかわからない＞＜」という人も多いのではないかと思います。そこで、Presto/Trino を運用する時にこの辺の内容を知っていれば、よりスムーズにキャッチアップできたかなぁと思うことをまとめてみました。 Hive connector を使いたいので、Hive と Presto の環境構築をサクッと行える Amazon Elastic MapReduce (以降 EMR) で実際に手を動かせればと思います。 以降 Presto/Trino ではなく Presto と表記しますが、Trino は元々同じソフトウェアであるため、Trino でも当てはまる内容がほとんどのはずです。 なお、Presto のバージョンは 2019-03-13 時点で最新の EMR 5.21.0
Kubernetes & EKSによるインフラ共通基盤の構築
Kubernetesによる インフラ共通基盤 - JapanTaxi Kubernetes Ecosystem (JKE)の紹介
ECS CLIを使ってDocker Composeのファイルを使ってECSにデプロイする - Qiita
ECS CLIというECS専用のCLIツールが先日、発表されました（AWS CLIのECS対応という話ではなく、ElasticBeanstalk用のebコマンドがあるようなイメージと似ていると思います） このツールの最大の利点としてはDockerComposeで作成したdocker-compose.ymlがECSでも使えるよ!という所だと思います。 自分はDockerComposeを使った事がなかったので、初めにDockerComposeの公式チュートリアルをローカルで試しつつ、その後、ECS-CLIを使ってローカルで作成したものをAWSのECSにデプロイしてみたのでメモ。 結論 ECS-CLIを使う事をで簡単にDockerComposeで作った環境をAWSにデプロイできる コマンドはdocker-composeに似ているので覚えやすい ECS-CLIでbuildディレクティブは現在使えな
Amazon SageMaker 自動モデルチューニングによる高精度なモデル、高速化 | Amazon Web Services
Amazon Web Services ブログ Amazon SageMaker 自動モデルチューニングによる高精度なモデル、高速化 Amazon SageMaker では、このほど、機械学習モデルのハイパーパラメータ値を自動的に調整することで、より正確な予測を生成できる機能をリリースしました。ハイパーパラメータは、トレーニング中にアルゴリズムがどのように動作するかを示すユーザー定義の設定です。例としては、データを繰り返し処理する毎に、決定木のサイズを拡張する方法、セグメンテーションで必要なクラスタの数やニューラルネットワークの重み付けを更新する方法などがあります。 機械学習モデルに適したハイパーパラメータ値を選択することは、最終的な精度とパフォーマンスに大きな影響を与える可能性があるため重要です。しかしながら、ハイパーパラメータ値を設定するプロセスは難しい場合があります。正しいやり方はデ
AWS Systems Manager Session Manager for Shell AccessでMacからLinux EC2インスタンスに端末でアクセスする | DevelopersIO
ども、大瀧です。 本日AWS Systems Managerの新機能Session Manager for Shell Accessがリリースされ、SSHなしでEC2インスタンスにシェルアクセスできるようになりました。 SSH不要時代がくるか!?AWS Systems Manager セッションマネージャーがリリースされました! ｜ Developers.IO New – AWS Systems Manager Session Manager for Shell Access to EC2 Instances | AWS News Blog 上記ブログではブラウザからアクセスする様子が紹介されているので、本ブログではMacからCLIによるターミナル経由でのアクセス方法をご紹介します。 動作確認環境 macOS : High Sierra 10.13.6 EC2(Linux) : amzn2
【速報】全てのS3ユーザ必見！S3の性能が大幅パワーアップ！面倒なアレが不要に！ | DevelopersIO
皆さんこんばんは…。日本とほぼ半日時差のあるニューヨークでは、2018年7月15〜16日の日程で、AWS Summit 2018 New Yorkが開催されています。 ここで皆さんおなじみのAmazon S3に関する重大な発表が行われました！何が起きたのかを早速確認しましょう！ Amazon S3 Announces Increased Request Rate Performance | What's New with AWS 何が変わったのか？ 変更点を箇条書きでまとめます。 S3の書き込み/読み取りの性能が上がった PUT/POST/DELETE：3,500リクエスト/秒/プレフィックス GET：5,500リクエスト/秒/プレフィックス 自動的に性能増加(内部で並列処理) アプリケーション等の周辺環境に対し、事前設定や追加設定は一切不要 追加料金なし ※"プレフィックス"に関しては、
オフィス・AWS環境をセキュリティ監視するためのログ収集 - クックパッド開発者ブログ
インフラストラクチャー部セキュリティグループの水谷 (@m_mizutani) です。 現在、クックパッドのセキュリティグループではセキュリティ監視を高度化に対して取り組んでいます。サービスに関連する部分の監視は以前からやってきたのですが、ここしばらくはそれ以外のインフラやオフィスで発生するセキュリティ侵害を検知することを目的とした監視基盤の構築に力を入れています。 昔は一般的にオフィス、インフラのセキュリティ監視と言えば、イントラネット内に閉じた環境でのログ収集から分析まで完結していたケースも少なくなったと考えられます。しかし現在だとインフラとしてクラウドサービスを多用したり、業務で使うツールをSaaSによって提供するという場面も増えているかと思います。このような状況だとセキュリティ監視のために見るべき箇所がばらけてしまうといったことが起こります。クックパッドでも積極的にSaaSやAWS
VancouverにあるAmazon S3チームのDeveloperになります - As a Futurist...
tl;dr - Amazon に入って 3 年が経ちましたが、この度転籍という形で Canada の Vancouver にある Amazon S3 開発チームに Systems Development Engineer として移ることになりました。 2010 年頃からずっとなりたいと思っていた北米での開発者の仕事(もちろん英語のみ)なので、本当に嬉しいです。AWS の Solutions Architect(SA)としてお客さんと向き合う仕事をじっくりさせてもらい、そこから実際に開発をしているチームに開発者として拠点も含めて移れるキャリアパスがあるんだよ、という一例になれましたので、SA になると自分の手を動かす機会が減ってしまうことを懸念している開発者の方の背中を押せたら幸いです。なお、2018 年 6 月頭に日本を出国予定で日本の会社も退職してしまうので、(旅行を除いて)日本に戻って
AWSのAvailability Zoneとロケーションの関係 - くろの雑記帳
シンプルなんだけど面白かったのでまとめました。 AZ(アベイラビリティーゾーン)とは ご存知の方も多いと思いますが、AWS(EC2)のロケーションは、リージョンとアベイラビリティーゾーンという概念があります。 リージョンというのは、 東京 や バージニア 、 サンパウロ などです。最近だと ソウル も追加されました。 アベイラビリティーゾーンというのは、同一リージョン内の独立したロケーションの単位(データセンターを想定するとだいたいあってる)で、 アベイラビリティーゾーン間の距離は「近距離」(数キロ〜数十キロらしい)にあるそうです。 参考: http://www.atmarkit.co.jp/ait/articles/1411/20/news106.html AWSのドキュメントの図を引用するとこんな感じ。 http://docs.aws.amazon.com/ja_jp/AWSEC2/l
AWS Lambda Supports Go
You can now develop your AWS Lambda function code using Go. Lambda lets you run code without provisioning and managing servers. You simply upload your Go executable artifact as a ZIP file through the AWS CLI or Lambda console and select the go1.x runtime. With Lambda, you can use Go's native tools to build and package your code. Read our documentation for more details. You can also use the AWS Ser
1か月かかる環境構築を1日に短縮。DeNAのリーン開発基盤は、なぜ圧倒的な開発効率化を実現できたのか？
どんな時代も、“開発効率化”はエンジニアにとって関心の高いテーマのひとつ。可能な限り少ない工数で多くの機能を開発するため、過去にはさまざまなフレームワークやツールが生み出されてきました。サービスインキュベーション事業部システム部の村田紘司と平野朋也も、部署が抱えていた課題を解決するため、開発効率化に“フルスイング”したエンジニア達です。 彼らは、DeNAの開発文化の常識から脱却したり、アプリ開発において共通して用いられる処理を「Daizu」というフレームワーク群に集約したり、ライブストリーミングサービスの共通基盤を構築したりと、部署の圧倒的な生産性向上に寄与しました。今回は、そんな彼らの取り組みにスポットライトを当てます！ PerlからRubyへ。オンプレからAWSへ ――お2人は、部署の開発効率化のためにさまざまな取り組みをしてきたそうですが、「DeNAの開発文化の常識から脱却」とは具体
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
メルカリ写真検索における Amazon EKS の活用事例と
プロダクトにおけるEdgeAI technologyの展望
GitHub - anaynayak/aws-security-viz: Visualize your aws security groups.
