話題のローコードツール「Dify」で生成AIアプリを作ってみよう！ - Qiita
Difyって何？ 少し前から話題の、プログラミングなしで生成AIアプリケーションを開発できるOSSです。 「Dify すごい」 でSNSを検索すると、驚き屋さんがみんな驚いています。このゴールデンウィークはAmazon BedrockとDifyの話題でもちきりでしたね。 元々は「GPTビルダーのOSS版ね。はい解散」という感じだったのですが、最近追加された「ワークフロー」機能がすごく便利のようです。 ちょっとしたアプリなら、ローコードで簡単に作れてしまうとのこと。 最近は自分でPCやサーバー準備して動かさなくても、SaaS版が公式から準備されたようです。無料プランもあります。 やってみた サインアップ 公式サイト右上の「Get Started」からサインアップします。 GitHub連携すると、いきなり開発画面に辿り着きました！いいUX。 「（いち？）から作成」よりワークフローを作ってみまし
AWS認定ソリューションアーキテクト - プロフェッショナル更新時の記録 - Qiita
C01との大きな変更点として、第４分野だった「コスト管理」がなくなり、代わりに「複雑な組織に対応するソリューションの設計」の割合が上がっています。その他も分野の呼び方が変わったり少しずつ割合が変更されたりしています。 ※2024/01時点の最新バージョン(Ver.1.1)のものです。 バージョンアップで範囲等は変更されるので、受験時は公式サイトで確認してください。 AWS Certified Solutions Architect - Professional 認定 勉強開始前の状態 AWSで動いているアプリの開発/運用の業務を6年程度、現在も継続中。 AWS認定は昨年までに12個取得済み。前回のSAP(C01)受験から約3年。 AWS認定ソリューションアーキテクトを受験した時の話 AWS認定デベロッパーアソシエイトを受験した時の話 AWS認定SysOpsアドミニストレーターアソシエイトを
AWS Glue Flexオプションについて - Qiita
AWS Glue Flexオプション AWS Glueでは2022/08/09にFlexタイプのジョブ実行モードというのが追加されました。 FlexタイプのジョブはEC2のスポットインスタンスのような非占有型のコンピュートキャパシティ上で動作します。 そのため、リソースの使用状況に応じてジョブの開始に時間がかかる場合などがありますが、その分コスト的には通常のジョブに比べ安価になっています。 テスト用途のジョブや実行時間の制約の緩い夜間のバッチジョブなどでコストを安価に抑えながらジョブを実行できるオプションになります。 Flexオプションのコスト 2022年11月現在、東京リージョンではFlexオプションは通常のジョブに比べ最大34%のコスト削減効果があります。 通常 Flex Flexオプションの特徴 FlexオプションはGlue 3.0またはそれ以降のバージョンのETLジョブで利用可能で
Amazon EMRを整理してみた - Qiita
背景・目的 Amazon ERMは使用したことありますが、どのような機能があるか仕様など細かいところを把握してないため整理します。 まとめ 以下の特徴があります。 ビッグデータアプリケーション、PBスケールのデータ分析をオンプレの半分以下のコストで高速に実行できます。 カスタマイズされたEC2クラスタ、EKS、Outposts、EMR Serverlessで実行するオプションを備えた、最新のOSSフレームワークを使用してアプリケーションを構築する。 パフォーマンスが最適化されたOSSのAPI五感バージョンでSpark、Hive、Prestoを使用してインサイトを導き出すまでかかる時間を最大2倍高速 EMR NotebooksとEMR Studioの使い慣れたOSSを使用してアプリケーションを簡単に開發、視覚化、デバッグできる。 下記のユースケースで利用できます。 ビッグデータ分析 スケーラ
【作業効率化】4年目エンジニアが「使わなくなった」アプリを供養する - Qiita
はじめに よくQiitaでおすすめアプリとかの記事を見かけますが 逆に使わなくなったアプリの紹介記事ってなくね？ と思い今その勢いで本記事を書き進めています。需要があるかはしーらないっ。 本記事では、今年で4年目のエンジニアが作業効率を追い求める中で淘汰されていったアプリたちを紹介します。 ちなみに当方Macユーザです。 エディタ Visual Studio Code 3年目くらいまでは結構使ってました。 settings.jsonやkeybindings.jsonをdotfilesで管理してみたいなこともするくらいには使ってました。 が、何かのタイミングでvimに興味を持ち、vimを使いはじめてから徐々に使わなくなってゆきました。 vimに興味を持った最初の頃はVSCの拡張でvimがあったので、それを使ってました。 VSCでvimの操作を再現できる拡張です。 しかし vimと言えば学習コ
AWS Glueとは何か？ - Qiita
こいつに入門します。 一言でいうと… マネージドETLサービスです。 ETLとは「Extract/Transform/Load」の略で、分析用に様々なデータを集める際に発生する「取り出す/変換する/取り込む」というプロセスを表しています。 Glueとは「糊」のことで、ETLにおいてAWSのリソースとリソースを繋ぐことの比喩になっているようです。 ※ややこしいですがDevOps Guruというサービスも最近出現しています。このGuruは「賢者」を表す別単語で、機械学習を活用した賢いサービスを比喩しているものと思われます。 Glueの概念図 データソースから取り込んだデータをETLジョブで加工し、ターゲットに格納して分析などに利用します。 Glueのコンポーネント データカタログ ETL処理をしたいデータのメタデータを管理するもの。元データ（データソース）からGlueのクローラーで抽出してきた
AWS Glue Data Catalog を理解する - Qiita
AWS Glue Data Catalog を理解するために 初めてクラウドサービスを使用する&初めてAWS Glue で ETL 処理のジョブを作って色々やってみようとするとき、不意に登場するのが AWS Glue Data Catalog ではないだろうか。 「何のために Data Catalog は存在するのだ？」 「Data Catalog はなくても ETL できるんじゃないの？」 こんな思いをした皆さんにこの記事が参考になれば幸いです。 本来はより詳細な Data Catalog の技術記事を紹介しようと思いましたが、今回は「Data Catalog は重要なのね」と理解することがゴールになります。また、ただのツール説明ではなく、データエンジニアリングやデータ基盤を構築するデータエンジニアとしての視点を交えて書いてみました。 とりあえず AWS Glue Data Catalo
【Python】S3にアップロードされたCSVファイルをAWS LambdaでJSONファイルに変換する - Qiita
本記事で目指す構成 S3にCSVファイルをアップロード → Lambda起動 → JSONファイルに変換 使用技術 言語: Python 3.8 AWS: S3、Lambda 下準備 まず最初にIAMユーザーやIAMロール、S3バケットなどの準備を行います。 IAMユーザーを作成 今回はAWS CLIを使って作業していくので、専用のIAMユーザーを作成します。 「IAM」→「ユーザー」→「ユーザーを追加」 ユーザー名: 任意 アクセスの種類: 「プログラムによるアクセス」にチェック 今回はS3バケットの作成、ファイルのアップロードや削除などS3に関する基本的な動作を行いたいので「AmazonS3FullAccess」ポリシーをアタッチしておきます。 作成完了すると アクセスキーID シークレットアクセスキー の2つが発行されるのでメモに控えておきましょう。 $ aws configure
AWS Step Functionsでサーバレスなデータパイプラインを作った話 - Qiita
こちらはAWS for Games Advent Calendar 2022 13日目の記事です。 はじめに 私は普段UBISOFT OSAKAでサーバーエンジニアとして働いています。 UBISOFT OSAKAではRocksmith+というギター学習ツールを開発しています。 私自身これまでギターを触ったことはありませんでしたが、入社をきっかけにRocksmith+でギターの練習を始めました。 練習のメニューが充実しており、初心者から上級者まで楽しめる内容になっています。 残念なのは今のところ日本ではプレイできないところでしょうか… ただいま（執筆時点）日本でのリリースは準備中です。 Rocksmith+の紹介はさておき、データパイプラインのお話です。 ゲームで楽曲が使われるまで大まかな流れは次の通りです。 ライセンサーから（楽曲の権利を持つ企業）から楽曲のメタ情報（タイトルやアーティスト
Amazon S3 Select を使ってS3オブジェクトの特定データを抽出する。 - Qiita
はじめに Amazon S3 Select がGAになりました。対象は全てのリージョンです。 ということで試してみました。 Amazon S3 Select とは S3バケット内に保存したオブジェクトに対し、SQL文を用いてデータの一部分のみを取り出すことができるサービスです。 アプリケーションが必要なデータのみ取得ができるので、パフォーマンスの向上が期待できます。 事前準備 まずは利用するためのデータを用意します。 適当にマラソンの大会名、距離、月、場所を記載したCSVデータです。 marathon,type,m,region honolulu,full,12,hawaii shonann,full,12,kanagawa okayama,full,11,okayama fukkou,full,10,miyagi fuji5lake,ultra,4,yamanashi yokohama,
Glueでcsvファイルをparquet形式に変換してみた - Qiita
AWS DASの勉強で初めてGlueを触ったのでメモ Parquet形式とは AWSドキュメントより Apache Parquet や ORC は、データを高速に取得できるように最適化された、AWS 分析アプリケーションで使用されている、列指向ストレージ形式です。 列指向ストレージ形式には以下の特性があるため、Athena での使用に適しています。 列のデータ型に合わせて選択された圧縮アルゴリズムによる列ごとの圧縮で、Amazon S3 のストレージ領域を節約し、ディスク容量とクエリの処理中における I/O を削減します。 Parquet および ORC での述語プッシュダウンにより、Athena クエリが必要なブロックのみを取得できるようになり、クエリパフォーマンスが向上します。Athena クエリがデータから特定の列値を取得すると、データブロック述語からの統計 (最大値や最小値など)
ORC について最初に知っておきたかったこと - Qiita
数テラバイト越えあたり or パーティション数大量になったあたりで、ORC ファイルについて詳しくなったけど最初から知っておきたかった事。 がまとまったので書いておくけど、もう一桁増えると更に知っておきたかった事が増える気がする。随時更新。 BigData を扱うデータフォーマット ORC とは Hive / Spark / Presto 等と言った（以下 Hive 等）のビッグデータ基盤で使えるカラムナデータフォーマットだ。 MySQL では、実際のデータファイルは .idb ファイル等の形式で保存されるが、Hive 等ではフォーマットを複数選ぶことができ、ORC はデファクトスタンダートだ。次点に Perquet1 等がある。 HDFS に収納されて Hive 等 Query 対象となることが多い。 Reference Primary 公式サイト - https://orc.apach
AWSのストリーム処理向けメッセージングサービスKDS(Kinesis)・MSK(Kafka)・SQSの特徴 - Qiita
著者: 伊藤 雅博, 株式会社日立製作所 はじめに AWSでストリーム処理を実現する際は、データをキューイングするメッセージングサービスと、キューイングしたデータをストリーム処理するサービスを組み合わせることが一般的です。本投稿では、AWSが提供する各メッセージングサービスのうち、ストリームデータを扱う際によく活用されている下記サービスの特徴を紹介します。 Amazon Kinesis Data Streams (KDS) Amazon Managed Streaming for Apache Kafka (MSK) Amazon Simple Queue Service (SQS) なお、本投稿の内容は2020年中頃の調査結果をベースに、いくつか更新を加えたものです。AWSのサービス仕様は随時更新されるため、最新の仕様とは異なる場合があります。最新の情報はAWSの公式ドキュメントをご参照
Amazon Macie （メイシー）の日本の制度や日本語への対応状況と活用方法【2023年6月時点】 - Qiita
Amazon Macie というサービスをご存じでしょうか？ 今回はこのサービスを日本環境で活用する方法についてご紹介します。 なお、記載内容は個人的なものであり、所属する企業や組織、団体を代表する見解その他ではありません。また、記事の内容は2023年6月時点の状況ですので、ご承知おきください。 １．Amazon Macie とは何ですか？ Amazon Web Services (AWS) のサービスの１つです。 Amazon Macieの公式FAQの記載を引用すると、「機械学習とパターンマッチングを用いて機密データを発見し、データセキュリティリスクを可視化し、そのリスクに対する自動保護を可能にするデータセキュリティサービス」になります。 Amazon Simple Storage Service (Amazon S3) には大量のオブジェクトが格納されています。docx、xlsx、tx
AWS Lake Formationの概要を図と用語で整理する - Qiita
AWS Lake Formationをざっくりと理解するために基本的な概念とコンポーネントを、図と用語で整理してみます。 AWS Lake Formationとは？ AWSでデータレイクを構築・運用するためのマネージドサービス 実体は、ほぼAWSの各種サービスをラップしたもの(Glue, IAM, S3, etc..) データレイク専用にアクセス制御を行うために、IAMとは別に独自の権限管理機構を持つ 実データも保持しセキュリティ向上と権限管理が簡単に行えるAWS Glueという印象 IAMやGlueを個別に駆使してデータレイクを構築・運用するよりデータレイクに特化していて扱いやすい ざっくりした概念図 図にするとかなりシンプル。 備考 公式ドキュメント (2020/02/04時点では英語のみ) 公式マンガがあるよ Lake Fromationの根っこにはAWS GlueがあるためAWS
LLMアプリ開発の必須ツール？！Langfuseがすごい！ - Qiita
2024/04/09 続編書きました。 LangChainを使って色々LLMアプリを作って遊んでいます。 体感速度が遅いけど、どこが遅いかわからない サンプルソースをコピペして作ったので、実は中身のことをわかってない 入力と出力だけじゃなくて、中間の状態も知りたい みたいなことってありませんか？そんなときに使えるツールを見つけましたのでご紹介します。 Langfuseとは LangfuseはLLMエンジニアリングプラットフォームです。LLMアプリからメトリクスやトレースを取得し可視化できます。また、評価、プロンプトの管理、データセットの作成なども行えます OSS開発が進められており、開発の主導はFinto Technologies GmbHというドイツの企業のようです。 公式サイト 主要機能（公式サイトより） LangSmithと類似したツールですが、OSSなのでセルフホストできる点がポイ
xzにバックドアが混入した件のまとめ(CVE-2024-3094) - Qiita
本記事は4月3日21:30（JST)時点で判明している事実をまとめたものです。誤りがあればコメントでお知らせください。 本記事には誤りが含まれている可能性があります。 新しい情報があれば随時更新します。 ** 4/2 18:30 Q&Aを追加しました。 4/2 11:30 実際にバックドアが存在する環境を作成し、攻撃可能なこと、出力されるログ等について追記しました。また、攻撃可能な人物は秘密鍵を持っている必要があることを追記しました。** ところどころに考察を記載しています。 事実は～です。～であると断定し、考察、推測、未確定情報は考えられる、可能性があるなどの表現としています。 またpiyokango氏のまとめ、JPCERT/CCの注意喚起もご覧ください。 なお、各国のCSIRTまたは関連組織による注意喚起の状況は以下のとおりで、アドバイザリを出している国は少ない状況です。 概要 問題の
CISSP CPEの稼ぎ方 - Qiita
(ISC)2が認定する情報セキュリティの国際資格CISSPのホルダーは，資格維持のために，継続的なセキュリティ学習を行った証跡となるCPEポイントをためる必要があります．1CPEは，1時間相当の学習で与えられるものとされていて，1年で40CPEの取得が目安となります．ちなみに，1年間で20CPEなければ，資格が保留状態になり，しばらくして失効します． 私は，CISSP資格取得後，このCPEの稼ぎ方がよくわからず困った経験がありますので，同じようなことで悩んでいる方が参考になればと思い，私の稼ぎ方をご紹介します． ※監査対象となった場合，(ISC)2に証跡を提出しなければならないため，認定書や領収書などはとっておくようにします． e-Symposium（無料） https://live.blueskybroadcast.com/bsb/client/CL_DEFAULT.asp?Client
3分でわかるXSSとCSRFの違い - Qiita
みなさんこんにちは。 FUJITSU その2 Advent Calendar 2018 17日目の記事担当は私 ゆきはらです。 前回14日目はkeiya-nobutaさんのSphinxの導入とLinux Kernelドキュメントのビルドで、 18日目はhasunumaさんの富士通サイバーセキュリティーワークショップ(FCSW)2018参戦記となっています。 はじめに なぜこのテーマにしたか Webアプリケーションに対する代表的な攻撃手法としてXSS（クロスサイトスクリプティング）とCSRF（クロスサイトリクエストフォージェリ）というものがあります。 しかしこの二つ、名前だけでなく攻撃手法も似ていて違いがとてもわかりづらいです。かつて私がセキュリティを勉強していたときもよく混同していました。 そこで、この記事ではXSSとCSRFの仕組みとそれらの違いについてまとめることにしました。 対象とす
業務でAWSを利用する時に知っておくべきポイント10選 - Qiita
2024年1月時点のAWSベストプラクティスに従って作成しました 好評でしたら続編も検討します 1. 環境ごとにアカウントを分離する 本番、検証、開発ごとにアカウントを分割しましょう ✕良くない例 ◎良い例 最初にアカウント分割しておかないと、後で分割するのはとても大変です アカウントを分割することで「検証と思って作業したら、実は本番だった」のような事故を減らすことができます コストがアカウント単位で集計されるため、環境ごとのコストを簡単に算出することができます AWS Organizationsを使用することで、各環境に応じた権限設定が簡単にでき、ガバナンスを強化することができます AWSアカウントはAWS Control TowerのAccount Factoryを使用することで、クレジットカード情報を都度入力することなく簡単にアカウントの払い出しが可能です また、AWS Contro
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
