分散処理技術「Hadoop」とは：NTTデータのHadoopソリューション
分散処理技術「Hadoop」とは Hadoopとは、大規模データの蓄積・分析を分散処理技術によって実現するオープンソースのミドルウェアです。 Apacheプロジェクトの元で、Hortonworks社、米国Yahoo!社、Cloudera社といった初期から参加していた企業に加えて、 Intel社、Microsoft社などより多くの企業のメンバーによって開発が続けられています。 Hadoop登場の背景 Hadoopは、Google社が論文として公開した、Google社内の以下の基盤技術をオープンソースとして実装したものを利用しています。 * GFS (Google File System : Google社の分散ファイルシステム) * Google MapReduce (Google社での分散処理技術) 検索サービスで扱うWebページの情報をGFSに保存して、検索用インデックスをGoogle
AWSが教えてくれないコスト削減の小話いろいろ | 外道父の匠
米ドル/円 が150円と計算しやすくなり、コスト削減の圧力が日々強まる中、皆様お宝探しと垂れ流し回収の真っ最中でございましょうか。 最近はコスト削減や予算について見ることが多いので、その中で出てきた面白げな話に雑談を加えてとりとめなく書いてみようと思います。 削減余地はある 昨年にご好評いただいた AWSコスト削減とリソース管理 | 外道父の匠 を含め色々な削減施策を試みてきましたが、サクッと成果になる箇所から泥沼に動かない所まで様々あったりします。 ただ、どんなアカウントでもトラフィックや処理負荷には波があり、それに対する余剰リソースを確保して構成しているので、その辺をキュッと絞ることまで含めればやれることは必ず一定以上存在することになります。 そういう大きなお宝ではない小さなお宝だと様々あり、古びたとか退職者が作ったとかで、ほぼ使っていない垂れ流しリソースやデータをかき集めれば、チリツ
【書評】「コンテナセキュリティ コンテナ化されたアプリケーションを保護する要素技術」 | DevelopersIO
セキュリティに限定せず、「コンテナとは何か」から詳細に説明しています。コンテナやセキュリティの深淵に触れてみたい方にお勧めの、遅効性の良書という印象です。 コーヒーが好きな emi です。 コンテナを使ったアーキテクチャは引き合いも多く、私も常々しっかり学ばねばならないと思っていました。そんな折、以下のイベントでコンテナセキュリティに関する内容で登壇をすることになりました。 コンテナセキュリティについて学ぶため「コンテナセキュリティ コンテナ化されたアプリケーションを保護する要素技術」を読みましたので、本記事では本書の概要と感想を記載します。 書籍情報 書籍タイトル : コンテナセキュリティ コンテナ化されたアプリケーションを保護する要素技術 著者 : Liz Rice（著）、株式会社スリーシェイク（監修）、水元 恭平、生賀 一輝、戸澤 涼、元内 柊也（訳） 出版社 : インプレス 出版日
【fabric】複雑なタスクをAIが自動化、人間の能力を拡張するオープンソースAIを使ってみた | WEEL
【fabric】複雑なタスクをAIが自動化、人間の能力を拡張するオープンソースAIを使ってみた 2024 2/22 WEELメディア事業部LLMライターのゆうやです。 fabricは、誰でも人生や仕事を向上させるために使用できる、オープンソースAIフレームワークです。 このフレームワークは様々なタスクをパターン分けしており、文章の要約や動画の抽出といったタスクを簡単に実行できるほか、それらのパターンを組み合わせて高度なタスクをこなすこともできます。 以下の動画は実際に動作している様子です。 引用元：https://github.com/danielmiessler/fabric?tab=readme-ov-file#fabric-is-an-open-source-framework-for-augmenting-humans-using-ai fabricのGithubのスター数は、4,
Homebrew入門：複数アカウントで使用する方法
背景 業務の関係で、Macのアカウントを複数作成して、アカウントごとにbrewを使用したい場面がありましたので、その時の対処法方法をご紹介します。 brewのバックアップ 複数アカウントにbrewをインストールする前に、管理者アカウントで使用していたbrewのバックアップと取得しておきます。これは、もし問題が発生したときに、brewをアンインストールして、再インストールすることを想定しています。 brewのバックアップは下記のコマンドで取得できます。 brew bundle dump 下記のファイルが作成されていれば成功です。 Brewfile 補足 このファイルが存在するディレクトリで、下記のコマンドを実行すると、brewによるインストールができます。 brew bundle アカウントのホームディレクトリにインストール brewを使用したいアカウントのホームディレクトリに移動して、下記
エンジニアは全員おうちKubernetesをやるべし【Part 1：なぜやるのか】 - Qiita
こんにちは。おうちKubernetesを勧めるためにやってきました。 このシリーズでは、Part 1で「なぜやるのか」、Part 2で「どうやるのか」について話します。 この記事は自宅サーバー上のKubernetesで不特定多数向けのサービスを展開することを勧めるものではなく、自分用・身内用のアプリを自宅サーバー上のKubernetesで運用することを勧めるものです。 エンジニアは全員おうちKubernetesをやるべき絶対的な理由 自己研鑽のために （鑽←この字「研鑽」と「大鑽井盆地」でしか見ない） 企業がKubernetesを採用する場合、ほとんどがEKSやGKEといったクラウド上で動作するマネージドKubernetesサービスを使用すると思います。ただ、Kubernetesであればコマンドやマニフェストファイルの書き方は共通なので、おうちKubernetesで学んだことがそのまま業務
AWS Cognitoを使ってみる
概要 AWS Cognito を使ってログイン機能を構築してみます。 構築方法として、ログイン画面と会員登録画面について、Cognito 側で用意された UI（Hosted UI）を使用するパターンと、SDK 等を用いて完全に独自にログイン画面や会員登録画面を構成するパターンがあります。 まずは、Cognito 側で用意された UI（Hosted UI）を使用するパターンについて記載します。 手順 Cognito ユーザプール設定 AWS コンソールからcognito-ユーザープールの管理-ユーザープールを作成するを押下します。 プール名に任意のプール名を設定します。（例）：testuserpool） ステップに従って設定するを押下します。 属性の設定を行います。ここでの設定は後から変更できないため、先に要件を決めておく必要があります。ユーザ名でのサインインとするか、Eメールアドレス、電話
Amazon Cognitoを試してみた（ユーザプール編） - Qiita
背景・目的 私は、現在データエンジニアリングを生業としています。普段は、データ基盤の構築や、パフォーマンスチューニングなどビックデータに関する業務に従事しています。 日頃から、データに関わる業務が多く、Webフロントエンドやバックエンドの技術に触れる機会が少ないため、意図的に学んで行こうと思います。 今回は、Webアプリケーションの認証やユーザ管理のサービスであるAmazon Cognito（以降、Cognitoと言います。）を学んでいこうと思います。 まとめ Cognitoは、簡単な設定でユーザ認証の仕組みを提供する。 既存のシステムや他のIdPで管理しているユーザIDを使用することが可能。 概要 Cognitoとは？ Amazon Cognito を使用すれば、ウェブアプリケーションおよびモバイルアプリに素早く簡単にユーザーのサインアップ/サインインおよびアクセスコントロールの機能を追
Amazon Cognitoを使ってシンプルなログイン画面を作ってみる - Qiita
AWS資格取得に向けて実際にAWSを利用してみるシリーズの投稿です。 今回はAWSを使って素早く簡単にユーザーのサインアップ/サインインおよびアクセスコントロールの機能を追加できるAmazon Cognitoを利用してみる編です。1時間程度でCognitoを利用したログイン機能が作成できます。 資格勉強的にはCognitoのユーザープール、IDプールの違いを確認しつつ、手っ取り早くログイン画面の作成するための手順になっています。 興味がある方は読んでみて下さい。 資格試験の勉強法は記事は以下を参照。 AWS初心者がAWS 認定ソリューションアーキテクト – アソシエイト資格試験に合格した時の勉強法 AWS初心者がAWS 認定ソリューションアーキテクト – プロフェッショナル資格試験に合格した時の勉強法 想定読者 AWSでログイン機能（認証・認可）ができるCognitoを使ってサクッとログイ
(初心者向け) AWSのアカウントを守るために最低限やっておきたいことまとめ ( IAMメイン ) - Qiita
はじめに これまで業務でAWSを触る機会もあったのですが、1からアカウントを運用するなどは経験がなく基本的な部分が抜けているなと感じたので、自身の知識の確認も含めて、AWSアカウントを安全に利用するためのセキュリティの基礎中の基礎をまとめてみました。 対象読者 AWSアカウントを開設してばかりの方 AWS IAMの設定内容に自信がない方 IAM ベストプラクティスで推奨されている内容をさくっと確認したい方 AWSにおけるセキュリティの考え方 AWSはさまざまな便利なサービスをクラウドサービスとして提供してくれていますが、クラウドサービスだからといってセキュリティのあらゆる部分をAWSが担保してくれるわけではありません。 セキュリティに関してAWSがどの範囲は責任を持ってくれるのか、また利用者側がどの範囲のセキュリティを検討しなくてはいけないのかは「責任共有モデル」という形で明示されています
サーバーレスシステムでユーザー情報をアクセストークンを使って取得する - Qiita
やりたいこと サーバーレスシステムでの個人情報保護について考えてみます。 システムで管理するべき個人情報は、できるだけクラウド内にとどめ、クライアントとやりとりしないということにできれば、通信路上での漏えいを防ぐことができます。 また、個人情報の管理を、限定することができれば、システムの大部分は、個人情報の漏洩について意識することなくシステム開発を行うことができます。 このような要求のシステムの場合、AWSでは、次のようになります。 Cognito Identity Poolでユーザー管理をする。 クライアント⇔AWS間の通信路上はアクセストークンと処理結果のみの受け渡しする。 AWS内ではLambdaがアクセストークンを受け取りCognitoのユーザー情報をもとに処理を行う。 アクセストークンを受け取ったLambdaにアクセストークンに対応するユーザー情報へのアクセス権限が委譲され、La
Amazon Cognito User Pool を用いたWebサービスにおけるユーザー管理・運用の事例 | Fintan
はじめに ほとんどのWebサービスにおいて、ユーザの認証機能は必要です。 ここでいう認証機能とは以下の機能群を指します。 サインアップ サインイン・サインアウト パスワード変更 パスワード初期化 昔のWebサービスは、これら認証機能を各サービスごとに独自に実装していました。 しかしパスワードのような秘匿情報を各サービスごとに保持することはセキュリティリスクを高めます。また認証機能を各サービスごと開発することは開発コストの増加につながります。さらにユーザーはサービスごとに使用しているアカウントを把握する必要がありますので利便性が低下します。 その結果、認証機能を外部システムに移譲したい、すでにある認証基盤を流用したい、などの要求がありました。 これらの要求に応えるように、OAuth 2.0やOpenID Connectなどのフェデレーション認証方式の確立やシングルサインオン等、認証機能に関わ
AWSにおける認証サービスのAWS SSOとCognitoを解説
AWS SSO(Single-Sign-On)とは AWS SSOを理解するために、まずはSSOそのものについて触れます。 その後にAWS SSOの概要を解説します。 SSO(Single-Sign-On)とは まずSSO（Single Sign-On）とは、1つのIDとパスワードで認証を行うと、その後は複数のアプリケーションやWebサイトにログインできるようにする認証機能のことです。 各種システムでそれぞれIDとパスワードを作成して運用することは、システムの数が多くなるほど覚えておくことやメモなど管理が煩雑になります。 SSOを利用することで、ユーザーは1セットのIDとパスワードで認証を行えるようになります。ユーザーのアカウント管理の負担軽減や、セキュリティ性の向上も見込めるのがSSOのメリットです。 AWS SSO(Single-Sign-On)とは AWS SSOについて AWS S
ActiveRecordのestablish_connectionを読む - kotaroito's notes
ActiveRecord における DB との接続確立方法をきちんと理解できてなかったので、pry-byebug を使いながらコードを読み解いてみる。 Railsのversion は 4.2.0 という前提で。 establish_connection blog.livedoor.jp sonots さん解説の通り、Rails を起動すると establish_connection メソッドが呼び出される。 # lib/active_record/connection_handling.rb def establish_connection(spec = nil) spec ||= DEFAULT_ENV.call.to_sym resolver = ConnectionAdapters::ConnectionSpecification::Resolver.new configuratio
Railsで複数のデータベースを使用する | TECHSCORE BLOG | TECHSCORE BLOG
こんにちは、鈴木です。 Ruby on Rails で複数のデータベースを扱う方法をご紹介します。 establish_connection establish_connection はデータベースと接続するためのメソッドです。 通常は明示的に呼び出すことはありませんが、複数のデータベースを使用する場合は、以下のように明示的に呼び出す必要があります。 class User < ActiveRecord::Base establish_connection :adapter => 'postgresql', :encoding => 'unicode', :database => 'other_database', :pool => '5', :username => 'USERNAME', :password => 'PASSWORD', :host => 'localhost' end
APIデザイン中心の開発プラットフォーム「Apidog」を試してみた - Qiita
API設計、モック、テスト、ドキュメント作成を1つのプラットフォームで はじめに APIを開発する際に自分の知っている限りではこのような開発の流れとなっています。 要件を基にAPIのリクエストやレスポンスのインターフェースを設計する 設計した内容をドキュメントに残す モックを用意して、フロントエンド側の開発者が簡単な連携テストをすぐに出来るようにする APIを実装する 内部処理のテストを行う（DBに対する操作など） 実装したAPIがリクエストに対し想定通りのレスポンスを返すかAPIそのものに対するテストを行う そして、これらのフェーズで用いられるツールは異なっていることもあります。 設計、ドキュメント作成：Swagger UI、ReDoc等 あるいはExcelや社内Wiki モック：Swagger UI、Mock Service Worker等のライブラリ テスト：Swaggerの定義を基
[備忘録]HTTPS化の作業を一撃で終わらせるCloudFormationテンプレートについて | DevelopersIO
どーもsutoです。AWSのサービスを駆使してWebサーバ（EC2）のSSL設定を自動化するテンプレートを作成しました。 要件 前提 対象のEC2は既に作成済 Route53でドメイン取得、ホストゾーン作成が完了済 テンプレートで自動化する項目 ALB、ターゲットグループ、リスナーを新規作成 Route53の既存ホストゾーン下にサブドメインを新規作成、エイリアスにALBをアタッチ ALBに紐づけるSGの新規作成 AWS Certificate Manager（ACM）で証明書を発行、対象のサブドメインに設定 試してみた 以下のテンプレートにテストパラメータを入力して実行結果を見てみます。 AWSTemplateFormatVersion: '2010-09-09' Description: Create new ALB, ACM, SG, https Parameters: ServerN
![[備忘録]HTTPS化の作業を一撃で終わらせるCloudFormationテンプレートについて | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/4656eae8422df545dde06a85d659190fc2eaf04c/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2019%2F05%2Faws-cloudformation-cfn.png)
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
https://github.com/aws-samples/baseline-environment-on-aws/blob/main/README_ja.md
AWS Samples
Apidog APIの設計、デバッグ、開発、モック、テストを一体化した包括的なプラットフォーム
