タグ

ブックマーク / dev.classmethod.jp (18)

  • Amazon Connectでコールセンター向けAIチャットボットを構築する際、Amazon Lexを利用すべきケースとそうでないケース | DevelopersIO

    Amazon Connectでコールセンター向けAIチャットボットを構築する際、Amazon Lexを利用すべきケースとそうでないケース はじめに Amazon Connectでコールセンター向けAIチャットボットを構築する際、Amazon Lexの利用すべきケースと利用すべきでないケースを考えてみました。 私はこれまでに、以下のようなConnectを利用したコールセンター向けAIチャットボットの構築経験があります。 [電話予約の無人化]Amazon Connect + GPT-4 JSONモード + Whisperで、1回の発話から予約情報(日付,時間など)を抽出 【RAG】Amazon BedrockとConnect、Kendraを利用し、社内情報や社外の最新情報などの取り込んだデータをもとに回答するコールセンター向けAIチャットボットを構築してみた AIチャットボットで問い合わせに対

    Amazon Connectでコールセンター向けAIチャットボットを構築する際、Amazon Lexを利用すべきケースとそうでないケース | DevelopersIO
  • Snowflakeに中森明菜データレイク(通称NADL)を構築しました | DevelopersIO

    大阪オフィスの玉井です。 題名の通り、極めて先進的な(?)データレイクの構築に成功したので、当記事にて詳細をお伝え致します。 概要説明 NADL(Nakamori Akina Data Lake)とは? 日が誇る歌姫である中森明菜氏の(ほぼ)全ての楽曲に関するデータを保存したデータレイクです。 SnowflakeはDWHのイメージが強いですが、データレイクを構築・運用する機能を備えています。今回、Snowflakeのデータレイク周りの機能を活用して、NADLを構築しました。 構築作業の流れ SpotifyのAPIから中森明菜の楽曲データを取得する 楽曲データの取得には Get Track’s Audio Analysisを使用 取得した楽曲データをGoogle Cloud Storage(GCS)にアップロードする 上記のGCS(のバケット)をSnowflakeの外部ステージとして連携す

    Snowflakeに中森明菜データレイク(通称NADL)を構築しました | DevelopersIO
  • Amazon VPC同士の接続パターンまとめ (Whitepaper参照) | DevelopersIO

    2020年最新のホワイトペーパーから「VPC同士の接続パターン図説」を、日語訳で1ページに抜粋してまとめてみました。 どうも、ちゃだいん(@chazuke4649)です。 前回、日語訳ページが提供されていない AWS Whitepapers を参考に、「顧客拠点から Amazon VPCへの接続パターン」というテーマで1ページにまとめてました。 今回は、同様の方法で、「Amazon VPC同士の接続パターン」というテーマで1ページにまとめてみました。 概要 参照したWhitepaper バージョン 日付: 2020年6月6日 変更内容: ホワイトペーパーの更新 説明: AWS Transit GatewayAWS Client VPNのオプションを追加し、全体を通して図と情報を更新しました。 Document revisions - Amazon Virtual Private Cl

    Amazon VPC同士の接続パターンまとめ (Whitepaper参照) | DevelopersIO
    tgk
    tgk 2022/08/27
  • BigQuery では本当にトランザクション処理がサポートされていないのか確認してみた | DevelopersIO

    こんにちは、みかみです。 RDBMS など多くのデータベースでは、複数の SQL をひとまとめで実行し、途中でエラーが発生した場合に実行前の状態に自動でロールバックしてくれる、トランザクション処理をサポートしています。 トランザクション処理 | Wikipedia トランザクション (transaction) | 「分かりそう」で「分からない」でも「分かった」気になれるIT用語辞典 BigQuery のドキュメントには、以下の記載がありました。 各 DML ステートメントは、暗黙のトランザクションを開始します。つまり、成功した各 DML ステートメントの終了時に、ステートメントによる変更が自動的にコミットされます。複数ステートメントのトランザクションはサポートされていません。 引用:データ操作言語 | BigQuery ドキュメント やりたいこと BigQuery は 当に複数 SQL

    BigQuery では本当にトランザクション処理がサポートされていないのか確認してみた | DevelopersIO
    tgk
    tgk 2021/06/21
    「各 DML ステートメントは、暗黙のトランザクションを開始します。つまり、成功した各 DML ステートメントの終了時に、ステートメントによる変更が自動的にコミットされます」
  • [AWS利用者必読] アクセスキー漏洩による不正利用について | DevelopersIO

    AWSアクセスキーセキュリティ意識向上委員会って何? 昨今、AWSのアクセスキーを漏洩させてしまうことが原因でアカウントへの侵入を受け、 多額の利用費発生・情報漏洩疑いなど重大なセキュリティ事案が発生するケースが実際に多々起きています。 そこで、アクセスキー運用に関する安全向上の取組みをブログでご紹介する企画をはじめました。 アクセスキーを利用する場合は利用する上でのリスクを正しく理解し、 セキュリティ対策を事前に適用した上で適切にご利用ください。 【はじめに】 昨今、アクセスキーの漏洩を契機とした不正利用の発生が多発しております。AWS 利用のお客様へのビジネスリスクが非常に大きく、弊社としても憂慮する状況です。 そのため、以下をお読み頂き AWS 利用のお客様は環境の見直しをお願い致します。 【この記事で伝えたいこと】 多額の費用発生リスクをなくすために、可能な限りアクセスキーの利用を

    [AWS利用者必読] アクセスキー漏洩による不正利用について | DevelopersIO
    tgk
    tgk 2021/04/19
  • Amazon Redshift 高い同時実行性と一貫したパフォーマンスを提供する新機能『Concurrency Scaling』がリリースされました | DevelopersIO

    目次 はじめに 最新クラスタにアップデート Concurrency Scalingとは Concurrency Scaling の仕組み Concurrency Scaling の利用条件 Concurrency Scaling の設定方法 Concurrency Scaling を設定したクラスタにクエリを実行 Concurrency Scaling の料金 最後に はじめに 日、未明にAWS Blogにて昨年のre:Invent2018で発表のあった『Concurrency Scaling for Amazon Redshift』のリリースが発表されました。『Concurrency Scaling for Amazon Redshift』は、従来クラスタに加えてスケーリングするクラスタを組み合わせて、従来より遥かに高い同時実行性と一貫した高速なパフォーマンスを提供する新機能です。(r

    Amazon Redshift 高い同時実行性と一貫したパフォーマンスを提供する新機能『Concurrency Scaling』がリリースされました | DevelopersIO
    tgk
    tgk 2021/01/03
    「スケーリングクラスタは、高速なS3上のスナップショットからデータを読み取るだけで済むようにコンピューティングとストレージが分離されており」
  • [アップデート] Amazon Aurora でクラスターボリュームサイズの縮小が可能に!不要なデータ削除でコスト削減だ! | DevelopersIO

    ドキュメントの更新情報からの共有ですが、Amazon Aurora でデータ削除によるクラスターボリューム(ストレージ)の縮小が可能になったようです! 以下、ドキュメント更新履歴からの情報です。 Amazon Aurora クラスターボリュームの縮小 ご存知のとおり Amazon Aurora のクラスターボリュームはデータ量に応じて動的に拡張されます。ボリュームサイズを指定する必要はありません。一方でボリュームサイズの縮小には対応していませんでした。(縮小は Aurora に限らず、他の RDS エンジンでも同じです) 例えば、一時的に大きなデータを格納するために 50 GB から 100 GB に拡張されたとします。その後、不要になったので 50 GB のデータを削除したとしても、拡張されたボリュームサイズは 50 GB に戻らず、100 GB のままになります。 具体的にいうと Vo

    [アップデート] Amazon Aurora でクラスターボリュームサイズの縮小が可能に!不要なデータ削除でコスト削減だ! | DevelopersIO
    tgk
    tgk 2020/10/15
  • Snowflake のアーキテクチャーとキーコンセプトまとめ #SnowflakeDB | DevelopersIO

    こんにちは。大場です。 Snowflake では、これから触れる方向けに Getting Started Videos が用意されています。 Architecture & Key Concepts Introduction to Snowflake Introduction to Virtual Warehouses Introduction to Worksheets & Queries Introduction to Data Loading この記事では、ひとつめの「Architecture & Key Concepts」の動画に沿って、その名のとおりアーキテクチャーとキーコンセプトをまとめて紹介したいと思います。 Snowflake とは Snowflake は AWS や Azure などの代表的なクラウドサービス上で動く Data Warehouse as a Service

    Snowflake のアーキテクチャーとキーコンセプトまとめ #SnowflakeDB | DevelopersIO
    tgk
    tgk 2020/10/07
    「snowflakeは他のデータウェアハウスに必要なチューニングノブやパラメーターのほとんどを排除します」
  • AuroraかRDSどちらを選ぶべきか比較する話をDevelopers.IO 2019 in OSAKAでしました #cmdevio | DevelopersIO

    こんにちは、大阪オフィスのかずえです。10/11に、弊社は Developers.IO 2019 in Osakaを開催いたしました。お越し下さった皆様、ありがとうございました! 私は今回、「AuroraかRDSどちらを選ぶべきか」というタイトルで登壇させていただきました。このエントリはその内容をブログ用にアレンジしたものになります。 ゴール AuroraとRDSの違いを理解して、 適切に使い分けることができるようになる もくじ RDSとは Auroraとは� RDSとAuroraの違い� アーキテクチャの違い� Auroraにしかない機能� RDSかAuroraどちらを選ぶべきか� Auroraを使えないケース� (Auroraも使えるけど)RDSを使うべきケース� まとめ� 登壇資料� 参考資料� RDSとは 皆さんご存知かと思いますが、RDSはAmazon Relational Da

    AuroraかRDSどちらを選ぶべきか比較する話をDevelopers.IO 2019 in OSAKAでしました #cmdevio | DevelopersIO
    tgk
    tgk 2019/10/21
  • ジョブスケジューラ「Rundeck」を試してみる | DevelopersIO

    森永です。 最近は大逆転裁判をやりながら寝落ちするという毎日を送っています。 サーバ構築する上で、ジョブをどうするかというのは考慮が必要な点です。 簡単に実現するにはcronを使えばいいのですが、要件によってはジョブスケジューラを使わないと厳しいということがあります。 かと言って、エンタープライズで使われている格的なジョブスケジューラを使うのも大げさすぎる、というのもわかります。 そこで今回は、簡単に構築ができてそれなりに痒いところには手が届くジョブスケジューラ「Rundeck」を試してみます。 Rundeckとは OSSのジョブスケジューラです。 特徴として以下の様なものがあげられます。 エージェントレス SSH接続できればジョブを実行できます。 なので、別サブネットはもちろん、別VPCでも別AWSアカウントでもはたまたオンプレでもRundeckサーバからSSH接続とジョブを実行できる

    ジョブスケジューラ「Rundeck」を試してみる | DevelopersIO
  • [Talend] 実行時にコンテクストパラメータを変更する方法 | DevelopersIO

    処理のフローは同じだけど指定する値が個々で異なるケースというものがあります。 こんな時は、実行時のパラメータとしてその値を指定してあげることで作成するジョブはひとつで済ませることができます。 今回は以下のようなジョブを用意して、実行時にパラメータが指定できることを確認します。 ジョブ parameter 任意ディレクトリ内のファイルの名称を標準出力へ出力します。 コンテクストの適用 任意ディレクトリを表すコンテクストを用意します。コンテクストとは Talend ジョブ内で有効な変数のようなものです。 「directory」という名前で初期値を「C:\」として用意しました。 コンテクスト directory を「tFileList」コンポーネントの「ディレクトリ」項目に指定します。 この状態でジョブを実行すると C:\ 直下に存在するファイルの名称が出力されます。 パラメータの指定 実行ジョ

    [Talend] 実行時にコンテクストパラメータを変更する方法 | DevelopersIO
    tgk
    tgk 2018/06/26
    Default.propertiesの設定値をバッチファイル実行時に個別に上書きする方法。--context_param <変数名>=... を複数記述すればよい。バッチファイルの末尾の引数は"%*"になっているはずなので
  • Talend Open Studio for Data Integrationを試してみた | DevelopersIO

    データ抽出、変換、投入などいわゆるETLに利用できるTalend Open Studio for Data Integrationを試してみました。Talend Open Studio for Data IntegrationはTalend Open StudioというTalend社が提供するオープンソースのデータ管理周りの製品の1つです。Talend Open StudioはEclipseベースのグラフィカルな開発環境となっており、データのマッピングなどを直感的に行うことが出来ます。Talend Open Studioでは目的ごとに製品を分けており、Talend Open Studio for Data Integrationはその名の通りデータ統合を目的とした製品です。また、有償の高機能版としてTalend Enterprise Data Integrationという製品も存在します。

    Talend Open Studio for Data Integrationを試してみた | DevelopersIO
    tgk
    tgk 2017/09/25
    「項目のインポート」でジョブを復元する方法。zipファイルをインポート対象とする
  • 404 | Developers.IO

    Sorry..., Page Not Found. お探しのページは見つかりませんでした。 でも、Developers.IOでは日々たくさんの技術記事やイベント情報が公開されています。 いま気になる技術を探しに行きましょう! Developers.IOへ

    tgk
    tgk 2017/04/25
    「Redshift SpectrumがS3へアクセスする際に、裏側でAthenaを使っている」
  • Treasure Data社のOSSワークフローエンジン『Digdag』を試してみた #digdag | DevelopersIO

    Digdag が Apache License 2.0 の元でオープンソース化されましたよ! さぁ試すんだ…! 今すぐにでも! https://t.co/Uzc4a5GLCe ドキュメント:https://t.co/PF8wy5KHln — Sadayuki Furuhashi (@frsyuki) 2016年6月15日 という訳で試してみました。注目度の高かったワークフローエンジン『Digdag』がついにOSS化されました!Githubリポジトリ及びドキュメントは以下となります。 treasure-data/digdag: Workload Automation System Getting started — Digdag 0.8 documentation 目次 インストール 環境の準備 Digdagのインストール実施 その他ドキュメントの内容について Digdagサンプルワークフロ

    Treasure Data社のOSSワークフローエンジン『Digdag』を試してみた #digdag | DevelopersIO
    tgk
    tgk 2016/08/01
  • Amazon Redshiftとデータ連携を行う各種サービスについて整理してみた | DevelopersIO

    AWSでビッグデータ分析環境を整える際、まずはAmazon Redshiftにデータを集約するところを一つの目標にするところから始める事になるかと思いますが、現在ではAWSサービス間の連携も増え、またRedshiftの機能追加・改善も相俟って実に様々な方法が存在しています。 そこで当エントリでは、現時点で様々用意されている『Amazon Redshiftへのデータ投入・連携方法』そして『Amazon Redshiftから連携可能なサービス』の情報について一度整理を行ってみたいと思います。 目次 to Amazon Redshift(Amazon Redshiftへのデータ連携) AWS IoT Amazon CloudFront AWS CodeCommit Amazon Cognito AWS Data Pipeline Amazon Database Migration Service

    Amazon Redshiftとデータ連携を行う各種サービスについて整理してみた | DevelopersIO
    tgk
    tgk 2016/07/04
  • [Excel] シートで非表示になっている名前の定義を消す方法 | DevelopersIO

    Excel のシートをコピーするときに、以下のようなダイアログを見たことがありませんか? このようなダイアログで「いいえ」を選択しても「あああ」や「aaa」など、見覚えのない名前が次々に表示されてしまい、シートをコピーするのがいちいち大変です。 犯人はどうやら「名前の定義」だ!と思い、名前の定義の一覧を見てみます。 しかしここにも居ませんでした。。 少し調べてみると非表示になっている名前の定義が存在することが分かりました! ということでこの記事ではシートで非表示になっている名前の定義を消す方法をメモとして残しておきたいと思います。 手順 1. Visual Basic Editor を起動する まずは Alt + F11 で Visual Basic Editor を起動します。 2. Module の追加 次に Alt + I + M で Module を追加します。 以下のコードをコピ

    [Excel] シートで非表示になっている名前の定義を消す方法 | DevelopersIO
    tgk
    tgk 2014/09/26
    VBA使わないと、非表示の名前を表示に戻すことができないらしい
  • Amazon Redshift DB開発者ガイド – テーブル設計のベストプラクティス | DevelopersIO

    データベース設計を考える上で、あなたが下さなければならない重要な決定があります。その決定はクエリパフォーマンス全体に影響を与える可能性があります。これら設計に関する決定はまた、I/Oオペレーションの数を削減したりクエリを処理するのに必要なメモリを最小化する事でクエリのパフォーマンスに影響を与えるストレージ要件に大きな影響を及ぼします。 テーブル作成の際にクエリのパフォーマンスに最も大きな影響を与えるであろう決定次項は以下のとおりです。 最善のソートキー(sort key)を選択する 最善の分散キー(distribution key)を選択する 最善の圧縮戦略(compression strategy)を選択する 制約を定義する あなたが下す決定は、データベースが行なっている作業の種類に依存して来ます。全ての状況に効果的な『最高のソートキー』は無いのです。 このセクションでは最も重要な設計上

    Amazon Redshift DB開発者ガイド – テーブル設計のベストプラクティス | DevelopersIO
    tgk
    tgk 2013/08/24
    sort keyとdistribution keyは別々に指定できる(また同じにしてもよい)模様。巨大トランザクションをマスタとの結合キーで分散して、日付でソートしておけば、where句に常に日付を指定することで読む量を減らすことができる等
  • 生産性重視のJavaフレームワーク、Play frameworkとは | DevelopersIO

    あらためて、フレームワークの重要性は みなさんはWebシステムを開発するために、フレームワークは使用していますか? 私は10年ほど前に一度だけフレームワークを使用しないJavaのWebアプリケーション開発プロジェクトを経験しましたが、 そのあとのプロジェクトでは、StrutsやSpring、Seasar2など(自社フレームワークも含む)、必ずなんらかのフレームワークが使用されていました。 最近は通常のWebシステム開発でフレームワークを使用しないというケースは、特別な理由を除くとほぼないと思われます。 では、なぜみんなフレームワークを使用するんでしょうか。 フレームワークを使う理由を一言でいうと、「開発やメンテが楽になるから」でしょう。 開発が大変になるのにフレームワークを使用する意味なんてありません。 Web層のフレームワークを使えばJSPにスクリプトレットでJavaコードを埋め込む必要

    生産性重視のJavaフレームワーク、Play frameworkとは | DevelopersIO
    tgk
    tgk 2011/08/05
    「いままでのJavaEEの常識を捨てたフレームワーク、というかJavaEE自体も捨ててます。play frameworkではServletもJSPも直接は使いません」
  • 1