S3 バケットを削除したいがバケット内のオブジェクトが多すぎて削除が難しい場合の対処方法 | DevelopersIO
困っていること S3 バケットを削除したいです。 S3 バケットを削除するために、S3 バケットを空にしないといけません。 S3 バケットには大量のオブジェクト（数万～数億単位）があり、削除に関するコマンドを実行することに不安があります。 どのような対処法が望ましいかを教えてください。 どう対応すればいいの? S3 ライフサイクルルールを用いて削除することが対処法として考えられます。 できるだけ早く削除したい場合は、下記のパターンが考えられます。 バージョニングなしのバケットの場合 「オブジェクトの現行バージョンを有効期限切れにする」にチェック オブジェクト作成後の日数を 1 日にする 「有効期限切れのオブジェクト削除マーカーまたは不完全なマルチパートアップロードを削除」にチェック 「不完全なマルチパートアップロードを削除」にチェック 日数を 1 日にする バージョニングありのバケットの場
GitHub Copilot in VS Code で、作業内容からコミットメッセージを生成可能になりました | DevelopersIO
GitHub Copilot in VS Code で、作業内容からコミットメッセージを生成可能になりました こんにちは、CX 事業本部 Delivery 部の若槻です。 先月の GitHub Copilot in VS Code のアップデートで、コミットメッセージの生成がサポートされました。 Commit message generation using Copilot in VS Code - GitHub Copilot – November 30th Update - The GitHub Blog Copilot can now generate commit messages based on the pending changes using the new “sparkle” action in the Source Control input box. 試してみる 環境
エンジニア採用経験者が、フリーランスエンジニア向け案件紹介会社の面談で意識しているポイント4選 | DevelopersIO
プロパゲート株式会社の本間です。 プロパゲート株式会社では、フリーランスのエンジニア向けに案件紹介を行うCMパートナーズという事業があります。 CMパートナーズでは、フリーランスのエンジニアさんがスキルシートを提出した後、そのエンジニアさんが どのような経験を積んでいる方なのか？ どのような条件＆業務を行いたい方なのか？ 事業会社に対して、どのような方として紹介すればよいのか？ の確認を行う初回面談プロセスがあり、その初回面談にAWSエンジニア＆エンジニアリングマネージャー経験者である私も同席することがあります。 今回はそのフリーランスのエンジニアさんとの初回面談を行う際に、一般的なエンジニアの従業員採用面接と視点が異なる部分を感じたため、私が心がけていることをいくつかピックアップして書いてみたいと思います。 1.どのような経験を積まれてきたか？ プロパゲートは案件紹介会社である以上、エン
ベクトル検索で欲しい情報が得られないときの問題点と改良方法を考えてみた | DevelopersIO
はじめに 新規事業部 山本です。 ChatGPT（OpenAI API）をはじめとしたAIの言語モデル（Large Language Model：以下、LLM）を使用して、チャットボットを構築するケースが増えています。通常、LLMが学習したときのデータに含まれている内容以外に関する質問には回答ができません。そのため、例えばある社内システムに関するチャットボットを作成しようとしても、素のLLMでは質問に対してわからないという回答や異なる知識に基づいた回答が（当然ながら）得られてしまいます。 この問題を解決する方法として、Retrieval Augmented Generation（以下、RAG）という手法がよく使用されます。RAGでは、ユーザからの質問に回答するために必要そうな内容が書かれた文章を検索し、その文章をLLMへの入力（プロンプト）に付け加えて渡すことで、ユーザが欲しい情報に関して
AWSの構成図をChatGPT(GPT-4V)に読み込ませてIaCコードを生成してみた | DevelopersIO
こんにちは、つくぼし(tsukuboshi0755)です！ 最近ChatGPTがGPT-4Vを発表し、AI業界がさらに盛り上がりを見せてますね。 GPT-4Vを用いる事で、ChatGPTがユーザ側から入力された画像を読み取った上で、応答を返してくれるようになります。 GPT-4V(ision) system card この機能追加により、なんと以下のようにAWSの構成図を読み取って、IaCコードを生成できる事が話題になっていました。 本日をもって引退します pic.twitter.com/fygAQDQ5kj — 電気ひつじ(onoteru) (@teru0x1) October 13, 2023 これを見て私もGPT-4Vを試してみたくなったので、今回はChatGPTを使って、様々なAWSの構成図を入力し、どこまで正確にIaCコードを生成できるか確認してみます！ GPT-4Vを利用する際
主にVSCodeではじめるPython開発環境構築ガイド | DevelopersIO
ファイル比較 VSCodeのエクスプローラで、ファイル２つを選択して右クリックメニューから「選択項目を比較」で比較することができます。 また右クリックで、「比較対象の選択」をした後に「選択項目を比較」でも比較することも可能です。 VSCodeのSnippetの使い方 VSCodeのSnippetも便利です。似たような構造のクラスを実装する場合などや、プロジェクト共通で使いがちな書き方というものをSnippetに登録して、効率化することができます。 また、変数を持たせておくこともできます。この場合、Snippetを呼び出した後に変数部分にカーソルがあたるので、そこで変数部分をタイピングできます。 詳細は以下のリンクをご覧ください。 Visual Studio Codeに定型文（スニペット）を登録する方法 VSCodeのUser Snippetを活用しよう！ また後述するSnippet Gen
【Pythonのパッケージ管理に悩む方へ】パッケージ管理ツールRyeを使ってみた | DevelopersIO
こんちには。 データアナリティクス事業本部 インテグレーション部 機械学習チームの中村です。 今回はRyeを使ったPythonの実行環境構築についてご紹介します。 Ryeについて RyeはRustで実装された、Python環境をワンストップで管理できるツールとなっています 今まではpyenv + poetryやpyenv + pipenvなどpyenvとの組み合わせで構築が必要だったものが、RyeだけでPythonインタープリタ含めて管理することが可能です。 RyeはRustのrustupとcargoにインスパイアされた、Pythonの新しいパッケージング体験を構築する実験的な試みとなっており、作者により「Production Readyではない」と紹介されていますが、検証用等個人で使用するには使い勝手はかなり良かったのでご紹介致します。 公式ページは以下となります。 セットアップ インス
RAGを使った社内情報を回答できる生成AIボットで業務効率化してみた | DevelopersIO
はじめに 新規事業部 山本です。 ChatGPT（OpenAI API）をはじめとしたAIの言語モデル（Large Language Model：以下、LLM）を使用して、チャットボットを構築するケースが増えています。通常、LLMが学習したときのデータに含まれている内容以外に関する質問には回答ができません。そのため、例えば社内システムに関するチャットボットを作成しようとしても、素のLLMでは質問に対してわからないという回答や異なる知識に基づいた回答が（当然ながら）得られてしまいます。 この問題を解決する方法として、Retrieval Augmented Generation（以下、RAG）という手法がよく使用されます。RAGでは、ユーザからの質問に回答するために必要そうな内容が書かれた文章を検索し、その文章をLLMへの入力（プロンプト）に付け加えて渡すことで、ユーザが欲しい情報に関して回答
ベクトルデータベース Pinecone の概念を整理する | DevelopersIO
前回の記事ではじめてPineconeを使いました。Pineconeについて、もう少し詳しく知りたいと思ったので、公式ドキュメントを読んで内容をまとめました。基本的には分かりやすい概念が多いのですが、1つだけ難しいなと思った概念がでてきたので、サンプルとともに説明します。 ベクトルデータベースとは 機械学習では、文章、画像、音声、動画などのあらゆるデータを、特徴を抽出したベクトルに変換して扱うことが多いです。ベクトルは、数百から数千の次元の数値として表現されます。ベクトルデータベースは、このような特殊なデータ構造を持つデータを扱うために作られたデータベースです。 ベクトルデータベースを使うことで、ベクトル間の類似性を高速に検索することができます。これによって、文章のセマンティック検索、画像・音声・映像などの類似検索、ランキングやレコメンド、重複検出、異常検出、などに応用することができます。
ChatGPTで独自データを利用できるLlamaIndexはどんな仕組みで動いているのか？調べてみました | DevelopersIO
ChatGPTで独自データを利用できるLlamaIndexはどんな仕組みで動いているのか？調べてみました ChatGPT APIがリリースされて、すでにさまざまな試行錯誤が始まっていますね。 なかでも、「自社の独自のデータを使ってChatGPTに質問を答えさせたい」というのは興味を持っている方が多いのでは、と思います。しかしながら、この記事を書いている2023年3月12日現在では、最新のモデルであるgpt-3.5-turboに、標準機能で追加で独自のデータをユーザーが学習させることはできません。 この「独自のデータをChatGPTで使う」ことを簡単に実現させる手段の1つとして、LlamaIndex（旧GPT Index）に注目が集まっています。 このDevelopersIOでも、LlamaIndexを使ってブログ記事を読み込ませて質問してみる、という試みを紹介する記事がいくつか投稿されてい
OpenAIがリリースした高精度な音声認識モデル”Whisper”を使って、オンライン会議の音声を書き起こししてみた | DevelopersIO
こんちには。 データアナリティクス事業本部 機械学習チームの中村です。 2022/09/22の夕方ごろ、OpenAIが音声認識ですごいものを出したらしいというニュースが社内のSlackをにぎわせていました。 個人的には、いくら認識が凄いって言っても、実際日本語は微妙なんじゃないかな…？と思っていたのですが… ですが… … … … おお！？(上記はGitHubにあるWER: Word Error Rateのグラフです) これは！？ これは結構良さげな数値を出している！？(たぶん) ってことで元音声屋さんとしては、これは試すしかない！ということで動かしてみました！(投稿は翌日になってしまいましたが…) なお、本記事では論文内容の詳細などには触れませんのでご了承ください。(後日できたらがんばります) いますぐ使いたい人向け 今すぐ使いたい方は、Hugging Faceでブラウザから書き起こしを試
「DDoS流行ってるの？」「うちには来てないよね？」をAWS Shieldで確認する方法 + 対策 | DevelopersIO
こんにちは、臼田です。 みなさん、DDoS対策していますか？(挨拶 今回は、昨今の社会情勢もあり「DDoS流行ってるの？」「うちには来てないよね？」と不安になっている方に向けたAWS Shieldを活用したグローバルなDDoS状況の確認、自身のAWS環境のDDoSの影響確認、そしてDDoS対策について紹介します。確認部分は無料で簡単にできるのでぜひみなさんチェックしてみてください。 DDoSの状況確認 AWS ShieldはDDoS保護のサービスで、2つの種類があります。 1つは無償で全てのAWSアカウントを保護しているAWS Shield Standardで、AWS環境に対する一般的なレイヤー3レイヤー4のDDoSから自動で保護します。最初から有効化されており、明示的な設定などはいりません。 もう1つは月額$3,000で組織全体のAWSアカウントを保護するAWS Shield Advan
IAMロール徹底理解 〜 AssumeRoleの正体 | DevelopersIO
さて、皆様はIAMにどのようなイメージをお持ちでしょうか。プロジェクトに関わる複数人で1つのAWSアカウントを扱う時、各メンバーに配布するアカウントを作れる機能。そして、その気になればアカウントをグループ分けし、権限を厳密に管理できる機能。といったところかと思います。 上記のユースケースで出てきた主なエンティティ（要素）はUserとGroupですね。IAMのManagement Consoleで見てみると、IAMはこれらの他にRoleやIdentity Providerというエンティティによって構成されているようだ、ということがわかります。今日はRoleにフォーカスを当てて、その実態を詳しく理解します。 IAM Role IAM Roleを使うと、先に挙げたIAMのユースケースの他に、下記のようなことが出来るようになります。 IAM roles for EC2 instancesを使ってみ
【Chaliceに入門してみた】LambdaとAPI Gatewayを手動で構築して消耗していた過去の私へ | DevelopersIO
こんにちは。AWS Loftが大好きな佐伯、改めKyoです。(まさか社内に佐伯さんが3名もいるとは…) AWS Loftでのハンズオンに参加してきたのでレポします。 AWS Amplify & Chalice ハンズオン 〜怠惰なプログラマ向けお手軽アプリ開発手法〜 Chaliceとは？ ChaliceはAWS Lambdaを使ったサーバレスアプリケーションを、Pythonで構築するためのマイクロフレームワークで、以下が可能です。 コマンドラインによるアプリの構築、デプロイおよび管理 API Gatewayをはじめ、S3, SNS, SQSといったAWSサービスとのインテグレーション IAM ポリシーの自動生成 Python Serverless Microframework for AWS ちなみにChaliceとは聖杯のことです。ChaliceはPythonのマイクロウェブフレームワー
ExcelやGoogleスプレッドシートをMarkdown出力するVS Codeの拡張機能「Excel to Markdown table」が便利すぎる件 | DevelopersIO
Markdownでテーブルを表現するにはつらみが深すぎる みなさんはMarkdownでテーブルを書くことは得意ですか? 私は苦手です。 簡単なテーブルは簡単に書けるのですが、以下のようなテーブルを書くことには抵抗感があります。 行数、列数が多い セル内に書くテキスト量が多い セル内でリストを表現する 一方、私は先日、「Markdownで手順を書いています!」とこちらの記事で伝えました。 そんな私に対して、 「オイオイオイ。 Markdownでもなんでもいいけどよォ... テーブルを使いたい場面は多いんだぜ。」 というセリフが聞こえてくる気がします。 私のようなMarkdownでテーブルを書くことにつらみを覚える方への解決策として、以下記事で紹介している「MarkdownTableMaker」があります。 このアドオンを使うことで、選択したスプレッドシートをMarkdownに出力してくれます
大谷翔平選手のMLBにおける2021年本塁打量産ペースをExploratoryで可視化してみた | DevelopersIO
さて、連日スポーツニュースを賑わせている米国メジャーリーグ(MLB)、ロサンゼルスエンゼルス大谷翔平選手の本塁打量産ペース。これまでに日本人としてのMLBシーズン記録だった松井秀喜氏の31本(2004年)にシーズン前半戦だけで残り1本に肉薄するというものすごいスピード感で毎日の様に打ちまくり、ファンの皆を驚かせています。(下記ツイートは30号本塁打の時のもの) talented, brilliant, incredible, amazing, show stopping, spectacular, never the same, totally unique, completely not ever been done before pic.twitter.com/qjXLSogrpE — Los Angeles Angels (@Angels) July 3, 2021 当エントリでは、
VSCodeで自作モジュールのimportエラーを解消してみた | DevelopersIO
DA事業本部の横山です。 Visual Studio CodeでPythonの開発を行う際に、初心者がハマりやすいimportエラーの解消方法について書いていきます。 結論 先に結論を書いておくと、settings.jsonにpython.analysis.extraPathsに読み込みたいパスを追加することで解決できます。 確認環境 Python 3.8.2 VSCode 1.50.1 VSCodeのPython拡張機能 現象確認 以下のようなディレクトリ構成でコードを書いているとします。 $ tree . ├── main.py : importする側 ├── same_dir.py : importされる側 └── sample └── other_dir.py : importされる側 main.py import same_dir from sample import other
AWS公式の無料EラーニングでAPI Gateway REST APIを網羅的に学ぶ | DevelopersIO
Amazon API Gateway について紹介し、API を作成してデプロイする方法を学習していただける無料デジタルコース Amazon API Gateway for Serverless Applications (Japanese) - 75min をローンチしました? 認定インストラクターが日本語でスタジオ収録していますので是非！https://t.co/emJoRhImIH pic.twitter.com/3zEnTb6WI8 — Wataru Nishimura (@kuwablo) January 27, 2021 上記で紹介されているAPI Gatewayを学べるEラーニングを受講したのでレポートします。 Amazon API Gateway for Serverless Applications (Japanese) 良かったこと 体系的に学べる API Gatewa
【処理高速化】パイプライン化による並列処理の考え方・手順・実装方法 | DevelopersIO
カフェチームの山本です。 エッジデバイスでプログラムを動かしていると、ハードウェアの性能があまり高くないこともあり、所望の処理速度を得られないことが多いです。 今回は、こうした状況に対して、処理をパイプライン化することによって、全体の処理速度を高速化することを目指します。自分の実装したプログラムを例に、考え方・手順・実装方法（Python）について記載します。 ステップ０．スクリプトを用意する・状況を把握する ステップ０－１．処理概要 今回は以下のようなスクリプトを利用します。処理の概要は以下のとおりです。よくあるような、学習モデルを利用して物体を検出するスクリプトです。今回のスクリプトでは、カメラを複数接続し、同時に複数の画像を撮影して処理をしています。 前処理ではカメラとモデルをセットアップしています。ループ中の処理の流れとしては以下のとおりです。 画像取得：RealSenseというカ
Snowflake のアーキテクチャーとキーコンセプトまとめ #SnowflakeDB | DevelopersIO
こんにちは。大場です。 Snowflake では、これから触れる方向けに Getting Started Videos が用意されています。 Architecture & Key Concepts Introduction to Snowflake Introduction to Virtual Warehouses Introduction to Worksheets & Queries Introduction to Data Loading この記事では、ひとつめの「Architecture & Key Concepts」の動画に沿って、その名のとおりアーキテクチャーとキーコンセプトをまとめて紹介したいと思います。 Snowflake とは Snowflake は AWS や Azure などの代表的なクラウドサービス上で動く Data Warehouse as a Service
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
