WebクロールしてRAGの情報源にしたいなと思いApache StormCrawlerを試しました！！（未達） - Qiita
diff --git a/docker-compose.yml b/docker-compose.yml index 08904dc..82358d0 100644 --- a/docker-compose.yml +++ b/docker-compose.yml @@ -70,6 +70,42 @@ services: volumes: - ./frontier:/crawldir + opensearch-node1: + image: opensearchproject/opensearch:latest + container_name: opensearch-node1 + environment: + - discovery.type=single-node + # - cluster.name=opensearch-cluster # Name the cluster + -
IAM Identity Centerを使って複数アカウント管理する。（その１：IAM Identity Centerでのログイン） - Qiita
IAM Identity Centerを使って複数アカウント管理する。（その１：IAM Identity Centerでのログイン）AWSSSOaws-ssoIAM_Identity_Center はじめに 仕事で初めてIAM Identity Centerを使う機会があり、使ってみたらマルチアカウントの管理が想像以上にやりやすかったので、紹介しようと思います。 【次】IAM Identity Centerを使って複数アカウント管理する。（その２：CLIでのアクセスと管理の委任） IAM Identity Centerとは AWS Single Sign-onの後継サービスとなり、AWS Organizationsで複数アカウントを運用している環境で各ユーザを集約管理し、各アカウントへのログインを簡単に行えるようにするためのサービスです。 前提として、AWS Organizationsを使
Amazon WorkSpacesの自動バックアップについて調べてみました | DevelopersIO
Amazon WorkSpacesは日本語対応している、AWSフルマネージドのサービスです。 簡単にデスクトップ環境を構築することが可能で、マルチデバイス(Windows/Mac/iPad/Kindle Fire/Androidタブレット等)で使用できます。 今回はAWSのドキュメントにも情報が少ない、WorkSpacesの自動バックアップについて検証しました。 WorkSpacesについての詳細は過去のAWS Black Beltのレポート記事をご参照ください。 Black Belt上で行われたQ&Aも記載されているため、AWSのドキュメントに載っていない情報もあります。 「AWS Black Belt Tech Webinar 2014 - Amazon WorkSpaces」レポート WorkSpacesの自動バックアップを知る ※注意(2020/7/27 追記) 記事執筆時点ではデ
Workload Identity連携でAWS（EC2/ECS/EKS）からサービスアカウントキーなしでBigQueryにアクセスする
背景 オンプレミスやAWSなどのクラウドからGoogle Cloud StorageやBigQueryなどのGCPサービス（API）を利用したい場合、サービスアカウントキーを使用していました。サービスアカウントキーはサービスアカウントから払い出された秘密鍵ファイルであり、使用する場合は環境変数 GOOGLE_APPLICATION_CREDENTIALSにサービスアカウントキーのファイルパスを指定します。 サービスアカウントキーの利用について次の懸念があるため、システム提供者側は発行を極力避けたいと考えます。 キーファイルの漏洩リスク：サービスアカウントキーを使用する権限を持っていることを、サービスアカウントキーを利用される側は知ることができない。つまり、外部に漏洩すると誰でもサービスアカウントに付与されている権限が実行できてしまう 管理の煩雑さ：サービスアカウントキーには有効期限がないた
AWS サービスや Azure サービスと Google Cloud を比較する | ドキュメント
フィードバックを送信 AWS サービスや Azure サービスと Google Cloud を比較する コレクションでコンテンツを整理 必要に応じて、コンテンツの保存と分類を行います。 最終更新日: 2023 年 9 月 8 日 次の表に、一般提供の Google Cloud サービスと、それに対応するアマゾン ウェブ サービス（AWS）または Microsoft Azure のサービスを示します。この表は、サービスタイプ、機能、サービス名などのキーワードでフィルタできます。今後も最新の情報をお届けするために、フィードバックをお寄せください。 Google Cloud アカウントにログインします。Google Cloud を初めて使用する場合は、アカウントを作成して、実際のシナリオでの Google プロダクトのパフォーマンスを評価してください。新規のお客様には、ワークロードの実行、テスト
AWS履修者のためのAzure入門
2023年8月に「AWS履修者のためのAzure入門」というタイトルで社内勉強会を開催しましたので、その時の資料を公開します。 今回はボリュームの関係から概念や権限・ユーザー管理周りとネットワークに関連するサービスのみ取り上げております。 何故勉強会を開催したかについては以下記事をご確認ください。 https://www.beex-inc.com/blog/aws-azure-entry-study-1 ※本資料の内容は公式のドキュメントなどを元に整理しながら作成しておりますが、一部解釈などが間違っている可能性があります。 必要に応じて公式ドキュメントなども確認しながらご覧ください。 ==2023/10/02追記== スライド内でAzureのVMはデフォルトでインターネットへのアウトバウンド通信が可能と記載していますが、Microsoftから以下の発表があり、2025年9月30日をもってデ
Amazon MWAAでdbt Coreをサクッと使ってみたかった
この記事はdbtアドベントカレンダーの23日目です。（すみません！遅刻しました！） はじめに dbtのプロジェクトやモデルをジョブスケジューリングして実行するには、いくつかの選択肢がありますが、特にdbt Coreを使われている場合はApache Airflowを利用されていることが多いように思います。 AirflowはOSSのワークフロー管理ツールで、Pythonによる容易なワークフロー（DAG）の定義とGUIによる管理のしやすさにより、データエンジニアリング界隈で大変人気があります。実行環境としてもDockerコンテナによる分散実行が可能であり、そのスケーラビリティが魅力的です。 ただ、OSSであるため、スケーラブルな環境を自力で構築するのは多少手間がかかってしまいます。そのため、ちょっとした操作でAirflow環境をシュッと立ちあげてくれるマネージドサービスが重宝されます。GCPの「
Amazon WorkSpacesの構築～WorkDocsの設定までをやってみた | DevelopersIO
はじめに はじめまして、AWSデビューしたばかりの新人です。 今回プロジェクトで使う機会があったため、awsのWorkSpacesの構築から WorkSpacesとローカル環境に対してWorkDocsの設定までを行ってみましたので、 その構築、設定の手順について書きたいと思います。 WorkSpacesの構築 Launch WorkSpacesをクリック。 Directoryを選択します。 (事前にActive Directoryを準備したのですが、ここでは割愛させて頂きます) 「Username」、「First Name」、「Last Name」、「Email」を入力してCreate Usersをクリック。 画面下側のWorkSpaceの欄に、入力した内容が追加されているのが確認できましたらNext Stepをクリック。 OS、CPU、Memoryを基準にBundleを選択し、Langu
ワークフロー実行基盤をFargateからEC2へ変更したらコストもパフォーマンスも改善できて幸せになった話 - ZOZO TECH BLOG
はじめに こんにちは、ブランドソリューション開発本部バックエンド部SREブロックの小林（@mirai_kobaaaaaa）です。普段はWEARやFAANSというサービスのSREとして開発、運用に携わっています。 WEARではAmazon Elastic Kubernetes Service（以下、EKSと呼ぶ）を用いて複数システムのインフラ基盤を構築・運用しています。その中の1つとして、ワークフロー処理の実行基盤が存在しています。 本記事では、そのワークフロー実行基盤が抱えていた課題と、それらをどのように解決したのかを紹介します。また、付随して得られたメリットについても紹介いたします。 目次 はじめに 目次 WEARにおけるワークフロー ワークフロー処理内容 ワークフロー実行基盤の構成 ワークフロー実行基盤の課題 コスト内訳の調査 過剰なPodスペック Fargate実行時間の増大 ワーク
AWS VS GCP VPCの比較・違い - 私の戦闘力は53万です
最近仕事でGCPを使うのですが、 AWSとGCPでは、VPCに対する考え方が違います。 色々と紛らわしかったので、メモがてらまとめてみました。 大きな違い VPCサービスはその思想に大きな違いがあります。 まずAWSはリージョンありきです。 リージョン（東京とかシンガポールとか）を選んで、 その中にVPCを作って、 その中にSubnetを作って・・・という流れです。 対してGCPはリージョンを選択せずにVPCを作ります VPCを作ったらその中にSubnetを作ります。 そのSubnetはいろんなリージョンに作成可能です。 図にすると下記のようなイメージです。 それぞれパーツは同じですが、大小関係が違います。 具体的に言うと、下記の違いがあります。 AWS ・リージョンをまたいでVPCを作成できません ・VPCはIPレンジを持ちます GCP ・リージョンをまたいでVPCを作成できます ・VP
ちゃんと考えよう、IAMのはなし - Qiita
はじめに AWSを利用する際に必ず使用するIAM。 なんとなく利用することも多いのではないでしょうか。 IAMについて考える機会があったので、今一度整理してみようと思います。 目次 IAMとは IAMポリシーとは IAM設計で意識すべき４つのこと 本番運用に耐えうるIAMとは 1. IAMとは AWS Identity and Access Management(IAM) AWSリソースへのアクセスを安全に管理 下記のいずれかの方法でアクセス許可を付与 適切なアクセス許可ポリシーがアタッチされたグループのメンバーにする (推奨) ポリシーをユーザーに直接アタッチする 2. IAMポリシーとは AWSでのアクセスを管理するために権限を定義したもの。 IAMポリシーには６つのタイプがあります。 1. アイデンティティベースのポリシー 2. リソースベースのポリシー 3. アクセス許可の境界 4
【入門編】IAMポリシー設計のポイントを整理してみる - サーバーワークスエンジニアブログ
週1回のサウナが習慣になったCI部1課の山﨑です。 今回はIAMポリシー設計のポイントを考えて整理してみました。 はじめに IAMポリシーの基本 IAMポリシーの要素 ポリシー例 IAMポリシー設計のポイント 5Wで要件を整理する Organizations SCP リソースベースのポリシー IAMユーザー IAMロール まとめ はじめに AWSにおいて認証・認可（権限の付与）を司るサービスと言えば IAM（Identity and Access Management）です。IAMではJSON形式でポリシーステートメントに具体的に許可したい操作、拒否したい操作を記述して認可（権限の付与）を行い、IAMユーザーやIAMロールに関連付けたりしてポリシーを適用します。今回は実際にポリシーを設計する際のポイントを考えて整理してみました。なおAWSが扱うポリシーはいくつかの種類と評価の優先順位がある
Terraform のディレクトリ設計案 - y-ohgi's blog
TL;DR Terraform のディレクトリ設計の個人の意見です。 マサカリはむしろください。より良い構成のために。 Terraform でVPC EC2 を作る例を元にディレクトリ設計の案を出します。 About Terraform のディレクトリ設計が溢れているので、俺の考えた最強のディレクトリ構成を提案します。 各所でディレクトリ構成について聞かれることが多いのと、ついにTerraform がGAしたのものあり、形に残しておきたかったこともあります。 Version terraform 1.0.6 Repository y-ohgi/blog-terraform-dir ディレクトリ構成 $ tree . |-- Makefile |-- README.md |-- docker-compose.yaml |-- ec2 | |-- main.tf | |-- provider.t
Terraformにおけるディレクトリ構造のベストプラクティス | DevelopersIO
はじめに こんにちは、中山です。 Terraformを使用していく中で、どのようなディレクトリ構造(tfファイルの配置方式)がベストなのかと考えたことはありませんか。私自身いろいろと試している最中なのですが、現時点で私が考えるベストプラクティスをご紹介します。 ディレクトリ構造 いきなりですが、以下のとおりです。 ├── Makefile ├── README.md ├── app.tf ├── bastion.tf ├── cloudfront.tf ├── db.tf ├── elasticache.tf ├── elb.tf ├── envs │ ├── dev │ │ ├── main.tf │ │ └── variables.tf │ ├── prd │ │ ├── main.tf │ │ └── variables.tf │ └──
テラバイト級のデータを Google BigQuery 用 AWS Glue Connector を使って Google Cloud から Amazon S3 へ素早く移行 | Amazon Web Services
Amazon Web Services ブログ テラバイト級のデータを Google BigQuery 用 AWS Glue Connector を使って Google Cloud から Amazon S3 へ素早く移行 本記事は Amazon Web Services, Senior Analytics Specialist Solutions Architect である Fabrizio Napolitano によって投稿されたものです。 データレイクは、クラウドに構築すると有利になることがあります。セキュリティ、デプロイ時間の短縮、可用性、頻繁な機能の更新、弾力性、地理的に広範囲なサービス展開、および使った分だけ発生するコストが理由です。ところが、最近の Gartner や Harvard Business Review の調査によると、マルチクラウドやインタークラウド・アーキテクチ
AWS Glueカスタムコネクタを使用したGoogle BigQueryからAmazon S3へのデータの移行 | Amazon Web Services
Amazon Web Services ブログ AWS Glueカスタムコネクタを使用したGoogle BigQueryからAmazon S3へのデータの移行 本記事はAmazon Web Services, Senior Big Data Specialist Solutions ArchitectであるSaurabh Bhutyaniによって投稿されたものです。 今日の接続された世界では、さまざまなデータソースにさまざまな形式のデータが存在することが一般的です。データは意思決定の重要な要素ですが、多くの組織にとって、これらのデータは複数のクラウドに分散しています。組織は、これらの無数のデータ ソースからデータを簡単に取り込み、ニーズに合わせてデータ取り込みをカスタマイズできるツールを求めています。 AWS Glueは分析用のデータの準備とロードを容易にする完全マネージド型の抽出、変換、
切断と再接続を頻繁に繰り返す WorkSpace をトラブルシューティングする
Amazon WorkSpaces クライアントを使用して WorkSpace に接続すると、接続が断続的に中断され、クライアントが WorkSpace に再接続しようとします。WorkSpace が頻繁に切断されるのは何が原因ですか? この問題はどのように修正できますか? 簡単な説明 切断と再接続を頻繁に繰り返す WorkSpace は、通常、往復時間 (RTT) が長い、またはインターネット接続が不安定であることを示しています。 お使いのネットワークから WorkSpace がある AWS リージョンへの正常な接続での RTT は、100 ミリ秒未満である必要があります。詳細については、「Amazon WorkSpaces クライアントネットワークの要件」を参照してください。 ローカルネットワークで接続が維持されない問題が発生している場合、WorkSpaces は接続を中断し、再接続し
マネコン起動もできるAWSのスイッチロール用CLIツール「AWSume」の紹介 | DevelopersIO
プロファイル指定したマネジメントコンソールの起動までできる、コマンドラインツールです。全AWSユーザーが求めていたのはこれなんじゃないでしょうか。どすこい。 「スイッチロールからの作業、AWSのベストプラクティスだけれどツールの設定がめんどくさいよね」 ハマコー、最近会社のパソコンをIntel MacからM1 Macに切替たことがきっかけで、いろんなツールを再度セットアップしてました。 普段AWS触っている身としてはスイッチロールして作業する環境も必須なので、改めて最新ツールを物色していたところ、弊社技術番長の岩田御大に教えてもらったAWSumeというツールが圧倒的に便利だったので、前のめりに紹介します。 標準公式のconfigとcredentialファイルのみで動作し、別途設定ファイルは不要 コマンドラインから、プロファイル名の自動補完に対応 指定したプロファイルから、マネジメントコンソ
【速報】2025年9月30日以降 AWS上でのMicrosoft製品利用が制限されます【SPLA】 - サーバーワークスエンジニアブログ
こんにちは、クラウドインテグレーション2部 技術1課 宮形 です。 先日よりAWS公式サイトに気になる文言が追加されていることを確認しております。 AWS上で Microsoft 製品を利用している皆様に大きく影響する内容でしたので、こちらのBLOGで速報としてご紹介させていただきます。 追加された文言について つまりどういうことか 2025年9月30日までに何に移行すればよいか 1. SPLA の対象とならない製品に移行する 2. Listed Provider が直接ライセンス提供する Microsoft 製品やサービスへ移行する 3. Microsoft ライセンスを AWS へ BYOL する方式へ移行する 4. Microsoft の定める Listed Provider 以外のコンピューティングサービスへ移行する 参考ドキュメント まとめ 追加された文言について 追加された文言
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
VPC Service Controls と Storage Transfer Service を使用して Amazon S3 から Cloud Storage にデータを転送する | Cloud アーキテクチャ センター | Google Cloud