クックパッドを退職することになりました。 created at: 2023-06-05 00:00:00 +0000 概要 クックパッドという会社で2018年から仕事をしていましたが、会社で「人員削減の合理化を実施することになり」僕はその対象となりました。 https://pdf.irpocket.com/C2193/CaoZ/qmSw/IQUI.pdf 時系列としては、16時からの全社ミーティングにて発表されて、17時頃にメールが届きました。その後どうするのか？みたいなことを考えつつも仕事にならないので18時前ぐらい退勤をしたときのツイートがこれ 一度しかない人生で会社をクビ（会社都合）になることってあるんだなぁ。宝くじみたい。仕事探してます。 — あそなす (@asonas) June 5, 2023 自分の人生でまさかこうなるとは思ってなくてかなり動揺しつつの帰路でした。最近の通勤時
妻の写真を学習させたはずなのに出てくるあなたはいったい誰なの？ AI生成グラドル写真集でちょっと考えた（CloseBox） | テクノエッジ TechnoEdge
集英社週刊プレイボーイ編集部が企画して出版したものの引っ込めてしまったAIグラビアアイドルさつきあい写真集「生まれたて。」をめぐっていくつか興味深い記事が上がっています（清水亮さんのコラム、新清士さんのコラム）。 既存のAIモデルだけではなく、さらにファインチューニングで使われたかもしれない実在の女性タレントをめぐる論考ですが、実のところは肝心の編集部が多くを語っていないため不明。 これとは別に、いくつかの画像投稿サイトではAIを使った「写真」「イラスト」の投稿を禁止するところも出てきており、大手サイトでの例外はAmazon.co.jpだけという話になっている一方、著名タレントのLoRA（学習されたAIモデル）のファイルが配布されていたりと、実在の人々の権利を脅かすのではないかと当初懸念されていた問題も顕在化しています。 筆者も実在の人物（妻）の写真をAIに学習させて、それを「異世界とりち
データ分析基盤まとめ（随時更新）
はじめに データ分析基盤の資料を力尽きるまで追記していきます。 構成図にあるアイコンや記事の内容から技術要素を調べて記載していますが、不明分は未記載にしています。修正のコメント頂ければ助かります。 あと、この記事追加してっていう要望も歓迎いたします。 テンプレート 記事公開日 : 会社名（サービス名） データソース : データ処理 : アウトプット : 画像 URL 2025年 2024/03/14 : 株式会社エス・エム・エス（カイポケ） データソース : Amazon Aurora データ処理 : Datastream、BigQuery、dbt アウトプット : Looker Studio 2024/03/12 : 株式会社マイナビ データソース : SQL Server、Amazon S3 データ処理 : Embulk、Amazon MWAA、Apache Airflow、Snowf
はじめに 概要 Apache Iceberg(アイスバーグ)とは [重要] Icebergの本質はTable Specである Table Spec バージョン Icebergハンズオン Icebergの特徴 同時書き込み時の整合性担保 読み取り一貫性、Time Travelクエリ、Rollback Schema Evolution Hidden Partitioning Hidden Partitioningの種類 時間 truncate[W] bucket[N] Partition Evolution Sort Order Evolution クエリ性能の最適化 ユースケース Icebergのアーキテクチャ Iceberg Catalog Iceberg Catalogの選択肢 metadata layer metadata files manifest lists manifest f
AWS Lambda 関数が大量のリクエストを処理する場合に 12 倍速くスケールできるようになりました | Amazon Web Services
Amazon Web Services ブログ AWS Lambda 関数が大量のリクエストを処理する場合に 12 倍速くスケールできるようになりました AWS Lambda は、最大 12 倍速くスケールアップできるようになりました。同期的に呼び出される各 Lambda 関数は、すべての関数の合計同時実行数がアカウントの同時実行数の上限に達するまで、10 秒ごとに 1,000 回の同時実行回数でスケールするようになりました。さらに、アカウント内の各関数は、関数の呼び出し方法に関係なく、互いに独立してスケールするようになりました。これらの改善には追加コストはかかりません。また、既存の関数の設定を行う必要もありません。 スケーラブルで高性能なアプリケーションを構築することは、従来のアーキテクチャでは困難な場合があり、ピーク時の需要や予測不可能なトラフィックに対応するために、コンピューティング
Aurora MySQL におけるロック競合（ブロッキング）の原因を事後調査できる仕組みを作った話
こんにちは。 DBRE チーム所属の @p2sk です。 DBRE（Database Reliability Engineering）チームでは、横断組織としてデータベースに関する課題解決や、組織のアジリティとガバナンスのバランスを取るためのプラットフォーム開発などを行なっております。DBRE は比較的新しい概念で、DBRE という組織がある会社も少なく、あったとしても取り組んでいる内容や考え方が異なるような、発展途上の非常に面白い領域です。 弊社における DBRE チーム発足の背景やチームの役割については「KTC における DBRE の必要性」というテックブログをご覧ください。 本記事では、Aurora MySQL でロック競合（ブロッキング）起因のタイムアウトエラーが発生した際に根本原因を特定することができなかったので、原因を後追いするために必要な情報を定期的に収集する仕組みを構築した
こんにちは。サービス開発室の武田です。このエントリは、2018年から毎年公開しているAWS全サービスまとめの2024年版です。 こんにちは。サービス開発室の武田です。 このエントリは、2018年から毎年公開している AWS全サービスまとめの2024年版 です。昨年までのものは次のリンクからたどってください。 AWSにはたくさんのサービスがありますが、「結局このサービスってなんなの？」という疑問を自分なりに理解するためにまとめました。 今回もマネジメントコンソールを開き、「サービス」の一覧をもとに一覧化しました。そのため、プレビュー版など一覧に載っていないサービスは含まれていません。また2023年にまとめたもののアップデート版ということで、新しくカテゴリに追加されたサービスには[New]、文章を更新したものには[Update]を付けました。ちなみにサービス数は 247個 です。 まとめるにあ
AWS Black Belt Online Seminar 一覧リストを作成しました (2024.3.8現在) | DevelopersIO
AWS Black Belt Online Seminar の全リストを一つページにまとめてみました。 AWSの学習に活用してください。 AWS認定トレーニング講師の平野@おんせん県おおいたです。 AWSの学習に最もオススメのコンテンツがAWS Black Belt Online Seminar（以下、Black Belt と略します）です。10年以上前から AWS Japan のみなさんより提供されてきて、AWSを学ぶエンジニアにとってバイブルのような存在です。私を含め、クラスメソッドの多くのエンジニアも、Black Belt にお世話になってきました。 以前は Black Belt のコンテンツ数もそこまで多くなく、1つのページに全リストが表示できていました。しかし、現在は複数ページで絞り込みながら目的のコンテンツを探すスタイルに変更されています。 目的を持って探す場合は便利なのですが
こちらはエムスリー Advent Calendar 2023の22日目の記事です。 こんにちは、エムスリーエンジニアリンググループ、デジスマ診療チームの山本 (id:shunyy) です。 医療機関向けSaaSであるデジスマ診療は、開発開始からちょうど3年が経ち、現在では予約・問診等、多様な機能を提供していますがリリース当初は決済機能のみを提供していました。そんなデジスマのコア機能である決済機能はStripe Connectを利用しており、今回は3年間運用した学びを共有したいと思います。 デジスマ診療のプロダクトの内容は以下のスライドを御覧ください。 speakerdeck.com そもそもStripe Connectとは何なのか Stripe Connectのアカウントタイプ・支払いタイプについて デジスマ診療の全体構成 追加開発事例 Amazon AppFlowを利用したBigQuer
AWS の Public IPv4 アドレスに 2024年2月1日から請求が開始される件について影響を事前に確認する - サーバーワークスエンジニアブログ
マネージドサービス部 佐竹です。 2023年7月末に発表された AWS における Public IPv4 アドレスの有料化が話題ですが、事前にこの利用料金への影響度合いを調査する方法についてお知らせします。 はじめに AWS 公式ブログ 新着情報 – パブリック IPv4 アドレスの利用に対する新しい料金体系を発表 / Amazon VPC IP Address Manager が Public IP Insights の提供を開始 AWS におけるパブリック IPv4 アドレスの使用状況の特定と最適化 影響の確認方法について 利用料金への影響を確認する AWS 利用料確認ページから明細を確認する AWS Billing > Bills から確認する AWS Cost Explorer から確認する 費用発生の原因となるリソースを特定する Amazon VPC IP Address Man
tl;dr はじめに DuckDB とは DuckDB では何が読めるのか 使ってみる S3 上のJSON を読んでみる リレーショナルデータベース 他ツールではなく DuckDB を使うメリット しくじりポイント （特にリリースされたばかりの）バージョンには気をつける S3 のオブジェクト数が多い場合不都合がありがち スレッドの調整が必要な場合も Redshift には未対応 終わりに 付録 MySQL のデータを読み込む例の MySQL 側の準備 tl;dr DuckDB 便利だよ。分析以外でも使えるよ 色々な場所のデータを閲覧・結合できるよ。標準SQLも使えるよ ただし、細かい落とし穴は色々あるので気をつけてね はじめに2023年4月にデータエンジニアとして入社したmin（@not_rogue）です。暖かくなるにつれ、YouTube で見た南伊豆ロングトレイル | 松崎町に行く機運が
【それを言ってはいけない！を言う】「データ分析失敗事例集」 を読んで - 学習する天然ニューラルネット
はじめに 2023/08/03発売の「データ分析失敗事例集 ―失敗から学び、成功を手にする―」を知り合いのご厚意により頂いたので、読んでみたところ非常に面白かったので、感想をブログにまとめようと思います。 www.kyoritsu-pub.co.jp 全編通していい意味で社会性フィルターが外れていて、これを出版することは非常な苦労があったと察します。著者に敬意を評して、本ブログでも特に配慮などはせずに感想を書いていこうと思います。(何か問題があったらコメント欄で教えてください。コメントは公開前に自分にメールが来るようになってます。) 本書の概要 本書ではデータ分析の失敗談を短編小説のように楽しむことができる。 技術的な話はあまりないが、一部の専門用語については基本的な理解があると読みやすい。 例えば、BERT, 傾向スコア, Redshift, Tydyverseと聞いて、どういうものでど
こんにちは、技術部の石川です。 ある日、社内の各種アプリケーションを眺めている中で、とあるクローズしたサービスの管理画面を担っていたウェブアプリが今も動いていると気付きました。簡単にヒアリングしたところ、サービス自体はクローズしたものの、保有していたデータが次のチャレンジに生かせるため管理画面だけ残しているとのことでした。 一方で、その管理画面へのアクセスはそう多くありませんでした。毎日ちょっとだけのリクエストを処理するためだけにデータベースとサーバーが動いており、少し無駄がある状態になっていました。 やや気になったので検討した結果、最終的にこの管理画面アプリを Next.js 製の静的なデータビューワーサイトとしてリニューアルし、社内向けの GitHub Pages として提供されている状態にできました。この記事ではその顛末をご紹介します。 技術選定 いくつか事前調査をした結果、今回の管
真のサーバーレスアーキテクチャについて語り、最新のエッジコンピューティングや生成系AIのサーバーレス実装を学び、クラウドネイティブで高速な開発プラクティスと向き合う2日間「ServerlessDays Tokyo 2023」。ここで登壇したのは、PingCAP株式会社の関口匡稔 氏。同社が開発する、オープンソースの分散型データベース「TiDB Serverless」について発表しました。全2回。後半は、TiDBを使ったアプリケーションのサンプル「OSS Insight」とChatGPTの機能「Chat2Query」について。前半はこちらから。 TiDBを使ったアプリケーションのサンプル「OSS Insight」 ここまで、TiDB Serverlessをどうやって作っていったかというコンセプトをご紹介してきました。ここから、TiDB Serverlessを実際に使ってみたという話をしたいと
AWSエンジニアから見たGCP(データ分析編)
こんにちは、GMOアドマーケティング インフラ開発部のhakumaiです。前回の記事「AWS SAPを取得したら視野が広がった話」を読んでいただいた方々、ありがとうございます。今回のテーマは「AWSエンジニアから見たGCP」第2弾として、代表的なGCPのコンピューティング系サービスについてAWSと比較し感じた点についてお話いたします。 (第1弾の記事はこちら↓)IaaSCompute EngineAWSではEC2に相当するサービス。各種インスタンスタイプや提供OSイメージ、インスタンス向けのストレージ機能、オートスケール機能など、インスタンスのアーキテ... DWH BigQuery BigQueryはフルマネージドなサーバレスDWHサービスで、Googleが開発した大規模データ向けの分散システムであるDremelを基にしておりSQLクエリを使用して大規模データの分析を行うことができる。さ
こんにちは、 id:sora_h です。これは KMC Advent Calendar 2023 12 日目の記事です (大遅刻)。 KMC ではインターネット接続手段の 1 つとして AS59128 を 2017 年頃より運用して、部室内のサーバーや一部の部員が利用しています。これまでフロー情報の収集は行ってきませんでしたが、今年、フロー情報の統計を収集して分析を可能にしたため、その実装を軽く紹介します。地味に pmacctd のドキュメントが難解だったので…。 経緯 AS59128 は運用初期から複数のトランジットやピア、東西に跨った複数拠点が存在していますが、外部の経路由来の障害や性能劣化についての調査はフロー情報なしで実施していて、特に変化前のトラフィックを確認することがそれなしでは難しくエスパーを繰り返してました。 このままでは障害時の対応が手探りで安定運用に支障がある、また (
AWS環境を可視化できるソリューション【Lucidscale】を使って構成図を自動生成してみた | DevelopersIO
こんにちは。 繁松です。 はじめに AWS,Azure,GCPなどのクラウド環境を可視化できるサービス「Lucidscale」を使ってAWSの構成図を自動生成してみたのでブログにしました。 Lucidscaleを使うことで以下のような構成図を自動で生成することができます。 やってみた アカウント作成 Lucidscaleのアカウントを作成します。 https://lucidscale.com/ja 料金 2週間は無料で利用できます。 無料期間以降も継続利用する場合の料金は以下です。 インディビジュアルプラン（個人利用プラン） 1ユーザー（作成者）：￥269,000/年 チームプラン（チーム利用プラン） 1ユーザー（作成者）；￥269,000/年 1ユーザー（エクスプローラー）：￥54,900/年 https://lucid.app/ja/pricing/lucidscale#/pricin
crowdworks.jpのマスタデータベースをAWS RDS MySQL 5.7から8.0にアップデートしました - クラウドワークス エンジニアブログ
こんにちは。crowdworks.jp SREチームの田中（kangaechu）です。 crowdworks.jpでは、2023年8月にAWS RDS MySQL 5.7から8.0へのアップデートが完了しました（ようやく！）。 今回はMySQL 8.0へのアップデートの手順と対応が必要な変更点について書いていきます。 MySQL 8.0にアップデートした理由 MySQL 8.0にアップデートした理由はAWS RDS MySQLのEOL対応のためです。 AWS RDS MySQL 5.7のEOLは2023年10月（のちに2023年12月に変更されました）であり、8.0へのアップデートが必要でした。 crowdworks.jpで使用している他のMySQLデータベースは8.0へのバージョンアップを完了していました。 しかしcrowdworks.jpのマスタデータベースは30億行を保持し、1日に約
2023年8月で新卒から約13年半勤めたSIerを退職します。関係者の方々、本当にお世話になりました。 9月から新しい職場で働くのですが、転職活動が初めてということもあり、色々と試行錯誤しながら進めたのでここにまとめたいと思います。 なお、具体的な企業名やそのプロセス、オファー条件はここには記載しません。企業名、特に前職は色々調べるとわかる情報なのですが、企業名で検索してこの記事が出てくるのもちょっと違う気がするのであえて書いておりません。 転職に向けてどう準備、活動したかにフォーカスして書こうと思うので何かしら参考になれば幸いです。 自己紹介、私の経験値 なぜ転職するのか 企業探し 選考準備 読んだ本 問題解決力を鍛える!アルゴリズムとデータ構造 データ指向アプリケーションデザイン ［試して理解］Linuxのしくみ システム設計の面接試験 世界で闘うプログラミング力を鍛える本 コーディン
re:Invent2023 で登場した AWS Backup Restore testing でリストア検証を手軽に始める #LayerXテックアドカレ - LayerX エンジニアブログ
こんにちは！バクラク事業部 Platform Engineering 部 DevOps チームの id:sadayoshi_tadaです。今期の呪術廻戦のアニメは原作にない描写が描かれてて最高でした。 この記事は LayerXテックアドカレ 49日目の記事です。前日は id:watau_lx さんによる 継続的なパフォーマンス改善のプロセスを紹介します でした。明日は kakeruさんが担当します。この記事では AWS の学習型カンファレンスである、re:Invnent 2023 で登場した AWS Backup Restore testing を検証した内容をまとめていきます。なお、re:Invent 2023 でのアップデートや新サービスをさらえる AWS re:Invent 2023速報 の資料と動画をもしチェックされてない方がいたら年末年始のタイミングでチェックしてみてください🔎
AWS、Aurora MySQLとRedshiftをほぼリアルタイムに同期する「Amazon Aurora MySQL zero-ETL integration with Amazon Redshift」正式版に。追加料金なしで利用可能
Amazon Web Services（AWS）は、Aurora MySQLとAmazon Redshiftのあいだでデータをほぼリアルタイムに同期する新サービス「Amazon Aurora MySQL zero-ETL integration with Amazon Redshift」（以下、zero-ETL）が正式版となったことを発表しました。 参考：［速報］Amazon AuroraのOLTPとRedshiftのDWHを統合する「Amazon Aurora zero-ETL integration with Amazon Redshift」発表。AWS re:Invent 2022 Amazon Auroraは高速なトランザクション処理を特徴とするリレーショナルデータベースであり、Amazon Redshiftは大規模データの高速分析を特徴とするデータウェアハウスのサービスです。ze
DynamoDBとAmazon Redshiftなど複数のデータベースを、1つのNewSQL「TiDB」で統合に成功［PR］
DynamoDBとAmazon Redshiftなど複数のデータベースを、1つのNewSQL「TiDB」で統合に成功［PR］ 現在、企業で使われているデータベースの主な役割は、会計や経理、受発注管理、製造管理など、社内業務を適切に管理することで経営を支援するためにデータを記録、分析するための基盤でしょう。 しかしそれに加えて現在急拡大しているのが、顧客との取引やコミュニケーションの履歴やアンケート結果、ソーシャルメディアのデータなど、さまざまな種類の膨大なデータを蓄積し分析することで、適切かつ効果的な顧客や顧客候補とのエンゲージメントを実現するためのデータの蓄積と分析基盤としての役割です。 データを活用して企業と顧客とのエンゲージメントを高めるサービス「MicoCloud」を提供するMicoworks社は、まさにこうした新しいデータベース基盤の実現と利用によって急成長している企業の1つです
dbtでCIを実現するために、Github ActionsでAWSのVPC越えしたい。 - KAYAC engineers' blog
この記事はTech KAYAC Advent Calendar 2023の8日目の記事です。 こんにちわ。その他事業部SREチームの@mashiikeです。 最近、風変わりな記事を連投しているのですが、今回も風変わりです。 ひとことで要約すると、 私は！Github Actionsから！Redshiftにアクセスしたいんだ！！！ です。 TL;DR dbtのCIを実現したい。ローカルのunit-testはできてるんだが、Github ActionsからRedshiftへのアクセスに難がある。 Github ActionsからRedshiftにアクセスするために頑張ってみた。 kayac/ecspressoで踏み台となるECS Taskを立ち上げる。 fujiwara/ecstaでportforwardingする。 mashiike/redshift-credentials で一時認証情報を
日本ケンタッキー・フライド・チキン株式会社｜可用性の高いシステム設計、高い分散処理性能を持つシステム開発 日本ケンタッキー・フライド・チキン株式会社「ケンタッキーフライドチキン 公式アプリ」のリニューアルを担当し、UX/UI設計～アプリ開発、コンテンツ運用をご支援させていただいております。 ＜プロジェクト詳細＞ One to One・パーソナライズドマーケティングという構想を実現するためのCRM強化を目的とした開発を実施しました。 本開発では、システム全体には「マイクロサービスアーキテクチャ」を採用し、各システムが疎結合となることで、今後も進化発展していくデジタルマーケティング基盤として、可用性の高いシステム設計となっています。 プラットフォームにおいては、全国の店舗から集約した膨大な購入データに対し、数十分でチキンマイル（※後述）を付与することが可能な高い分散処理性能を持つマイルプラット
Excel 365からノーコードでSalesforceやkintone、Snowflakeなど150以上のデータソースに双方向接続可能、CData Connect Cloudが新機能
Excel 365からノーコードでSalesforceやkintone、Snowflakeなど150以上のデータソースに双方向接続可能、CData Connect Cloudが新機能 CData Software Japanは、同社が提供するクラウドサービスCData Connect Cloudの新機能として、Webブラウザで利用するExcel 365からノーコードでSalesforceやkintone、Snowflake、Amazon Redshift、MySQL、PostgreSQL、SAP HANAなど150以上のデータソースに双方向で接続可能にした「CData Connect Cloud for Excel 365」を発表しました。 単にExcel 365の機能を用いてさまざまなサービスからデータを取得して分析や加工ができるだけでなく、Excel 365で書き換えたり追加したりした
さがらです。 ここ１～２年は新しい製品のリリースが落ち着いてきた印象ですが、Modern Data Stack界隈ではたくさんのデータカタログ製品が存在しています。 私も２年くらい前に色々触って調査したものの、この２年間での各製品のアップデートが凄まじく「どの製品がどの機能を持っているんだっけ…？」と知識が怪しくなってきてしまっている状況です。 そこで、今回改めて各製品の公式ドキュメントをベースに、最近のデータカタログの各種機能の有無を確認してみたので、本記事でまとめてみます。 ※注意事項：各製品のアップデートのスピードは本当に早いため、半年も経てば現時点で出来ていなかったことが出来ているようになっている可能性が高いです。最新の情報はご自身で確認の上、本記事は参考程度にご利用ください。 比較対象のデータカタログ 比較対象としては、以下のデータカタログを比較します。 SaaS Atlan S
長年IT企業に勤めているとさまざまな失敗を目にします。Redditで「Worst Data Engineering Mistake youve seen?(これまでに見た中で最悪のデータエンジニアリングの失敗は何でしたか？)」というスレッドが立っており、多数のエンジニアが自分の経験を語りました。 Worst Data Engineering Mistake youve seen? : dataengineering https://reddit.com/r/dataengineering/comments/16vhp70/worst_data_engineering_mistake_youve_seen/ スレッドを作成したInevitable-Quality15さんも下記の通り自身の経験を投稿しています。 「私はDatabricksを導入したばかりの会社で働き始めましたが、それがどのよう
クラスメソッド データアナリティクス通信(AWSデータ分析編) – 2023年7~9月合併号 | DevelopersIO
データアナリティクス事業本部 コンサルティングチームの石川です。コンサルティングチームメンバーを中心に、日々AWSのアナリティクス関連サービスのアップデートとそのブログを追っています。 先月、先々月は業務多忙のため、合併号とさせていただきます。（ゴメンナサイ m(_ _)m） Amazon Redshiftは、Redshift Serverlessのスケジューラやシングルサインオンの対応、 Amazon Forecastとの統合、QUALIFY句のサポートを開始しました。AWS Glueは、AWS Glue for RayがGAになった他に、AWS Glue for Apache Spark 向け Snowflake 接続の一般提供開始、Amazon CodeWhisperer をサポートするようになりました。Amazon QuickSightは、CI/CDを可能にするアセットのデプロイを
AWSコスト異常検知を導入したら、『人にお願いする』トイルが発生したのでSlackBotを作って解消した - KAYAC engineers' blog
SREチームの池田(@mashiike)です。SRE連載の５月号になります。 AWSのコストについては、多くの方がすごく気にしていると思います。 カヤックでもAWSのコストの変動に関しては敏感に気にしています。 そんな方々の心のお供になる機能が、 AWSコスト異常検知(AWS Cost Anomaly Detection) です。 今回は、このコスト異常検知にまつわるトイル削減の取り組みを紹介します。 背景 AWSコスト異常検知は、AWS マネジメントコンソールの中では『Billing and Cost Management』配下にある機能になります。 この機能を使うことでAWSで発生したコストに関して、通常とは異なるコストの発生を検知することができます。 コスト異常検知自体については、CureApp テックブログ様のZennの記事がわかりやすくまとまっているので、そちらを参照いただければ
レギュレーション（1.03.1）配信のお知らせ : ARMORED CORE VI OFFICIAL SITE | アーマード・コア６ オフィシャルサイト
ゲームのバランス調整と不具合修正のための、レギュレーション（1.03.1）を配信いたしました。 お手数ですが、最新のレギュレーションを適用したうえでお楽しみください。 対象プラットフォーム PlayStation 4 / PlayStation 5 / Xbox One / Xbox Series X|S / Steam 最新レギュレーションに含まれる主な項目 バランス調整【武器パーツ】 炸裂弾投射機「DF-ET-09 TAI-YANG-SHOU」 有効射程 / 総弾数 / リロード時間 を上方修正 リニアライフル「LR-036 CURTIS」 射撃反動 / チャージ時間 を上方修正 リニアライフル「LR-037 HARRIS」 チャージ攻撃力 / チャージ時間 / 冷却性能 を上方修正 ショットガン「SG-026 HALDEMAN」 直撃補正 を下方修正 ショットガン「SG-027 ZI
近年の初期宇宙の観測により、誕生から数億年後の宇宙にはすでに大規模な銀河や銀河団が存在していたことがわかってきたものの、銀河がそこまで進化するには時間が足りないという新たな問題が浮上しています。オタワ大学のRajendra Gupta氏は、これを解決するための「CCC+TLハイブリッドモデル（CCC + TL hybrid model）」を提唱しました。もしもこのモデルが正しければ、宇宙は今から約267億年前に誕生したということになります。 現在の宇宙は誕生から137億8700万年（±2000万年）が経過していると考えられています。この推定年齢は過去から現在に至る様々な観測を積み重ねた結果であり、その集大成は宇宙モデル「Λ（ラムダ）-CDMモデル」として確立されています。しかし、初期宇宙の観測が進むにつれて、当時の宇宙の様子と宇宙の推定年齢には大きな食い違いがあることも判明しています。 【
【開催報告】AWSで実践！Analytics Modernization ～事例祭り編～ | Amazon Web Services
Amazon Web Services ブログ 【開催報告】AWSで実践！Analytics Modernization ～事例祭り編～ 2023 年 5 月 18 日に「AWS で実践！ Analytics Modernization ～事例祭り編～」を開催しました。今回の事例祭りでは AWS の Analytics サービスをご利用いただいている ミーク株式会社様、ニッセイ情報テクノロジー株式会社様、 ビットバンク株式会社 様、株式会社 Gunosy Gunosy Tech Lab DR&MLOps 様、にご登壇いただきました。本ブログでは当日の各発表内容を紹介いたします。 Amazon OpenSearch Serverless のご紹介 アマゾン ウェブ サービス ジャパン合同会社 ソリューションアーキテクト 深見 修平 資料ダウンロード AWS の深見からは 2023 年 2 月
クラスメソッド データアナリティクス通信(AWSデータ分析編) – 2023年12月号 | DevelopersIO
データアナリティクス事業本部 コンサルティングチームの石川です。コンサルティングチームメンバーを中心に、日々AWSのアナリティクス関連サービスのアップデートとそのブログを追っています。 明日からre:Invent2023が始まります！ ということで、今回は re:Invent2023 が始まる11/27までのアップデートを紹介します。今年のre:Invent2023 アナリティクス関連のセッションについて、事前にチェックすることをおすすめします！ Amazon Redshift 新機能・アップデート 2023/11/01 - Amazon Redshift マルチ AZ が RA3 クラスター向けに一般提供開始 昨年のre:Invent2022に発表された Amazon Redshift RA3 クラスターのマルチ AZ 配置がついに一般提供（GA）になりました。Redshiftを複数のア
[登壇レポート]「防衛への一歩！AWSアカウントを不正利用から守るための必須防止対策ナビ」というタイトルでDevelopersIO 2023に登壇しました #DevIO2023 | DevelopersIO
こんにちは！AWS事業本部のおつまみです。 みなさん、AWS不正利用対策していますか？ AWSを安全に使うために、不正利用対策は避けては通ることができません。 今回は弊社年1の一大イベントであるDevelopersIO 2023でAWS不正利用対策について登壇したので、その内容を共有します！ 登壇動画 登壇資料 前提 セッション概要 今回のセッションの概要は以下のとおりです。 被害総額が膨らむAWSアカウント不正利用。脅威は常にあなたの身近に潜んでいます…。本セッションでは、アクセスキー漏洩やパスワード流出による不正利用から身を守るための防止対策をお伝えします。今日からできる実践的な知識で、あなたが大切にしているAWSアカウントを守り抜く力を身につけましょう！ というわけで、今回はAWSアカウントで不正利用を起こさせないための超初級のセキュリティ対策のお話しです。 セッションのテーマ セッ
![[登壇レポート]「防衛への一歩！AWSアカウントを不正利用から守るための必須防止対策ナビ」というタイトルでDevelopersIO 2023に登壇しました #DevIO2023 | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/ae4ad44b9fc4a03f08079943ac833c126bf3a95e/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2023%2F07%2Fdevio2023-aws-abuse-protection.png)
Amazon Aurora MySQL zero-ETL integration with Amazon Redshift is now generally available | Amazon Web Services
AWS News Blog Amazon Aurora MySQL zero-ETL integration with Amazon Redshift is now generally available “Data is at the center of every application, process, and business decision,” wrote Swami Sivasubramanian, VP of Database, Analytics, and Machine Learning at AWS, and I couldn’t agree more. A common pattern customers use today is to build data pipelines to move data from Amazon Aurora to Amazon R
冒頭2023年現在、Generative AIの台頭により”Data is new oil.”という言葉の重みが日に日に増してきている。そんな中、企業向けデータマネジメントを担うツールであった”データカタログ”にも転機が訪れている。ここ数年の欧米動向を見ていると、旧来データカタログと自身を呼んでいた海外ベンダーが、Active Metadata PlatformやData Intelligence Platformへと自身を再定義するに至っている。以前の記事では、前者について説明を行った。本日は、よりエンタープライズ企業へとフォーカスを当てた取り組みである後者について、特に国内状況についての考察を行う。 “Intelligence”とは？Data Intelligenceと似た名前に、Business Intelligenceという概念がある。今となっては”BIツール”として慣れ親しまれ、
株式会社primeNumberでChief Product Officerを務めている小林寛和と申します。 私は新卒から今までデータエンジニアとしてキャリアを歩んできました。新卒で入った事業会社ではデータ分析基盤の新規構築をリードし、現在ではtroccoというデータエンジニアのためのサービスを立ち上げてプロダクトの責任者を務めています。 キャリアの大半をデータエンジニアとして過ごし、さらに現在ではそれらの方に向けてサービスを提供している立場として、これからデータエンジニアになろうとしている方に最初に学んでほしい3つのポイントをまとめてみました。 なお、本記事では以下のような方を想定しております。 これからデータエンジニアになろうとしている これからデータ分析基盤を新規に立ち上げようとしている データエンジニアリングの必修科目とは データエンジニアリングの必修科目を考えるために、まずはどのよ
AWS announces Amazon Aurora MySQL zero-ETL integration with Amazon Redshift (Public Preview)
Amazon Aurora MySQL zero-ETL integration with Amazon Redshift is now available in public preview. This feature enables near real-time analytics and machine learning (ML) on petabytes of transactional data stored in Amazon Aurora MySQL-Compatible Edition. Data written into Aurora is available in Amazon Redshift within seconds, so you can quickly act on it without having to build and maintain comple
「銀河が先かブラックホールが先か」長年の疑問に挑む新たな研究結果
銀河の中心部には巨大なブラックホールが存在すると考えられています。そうなると必然的に生じるのが「銀河が先か、ブラックホールが先か」という疑問です。これまでは銀河が形成された後にブラックホールが誕生したというのが定説でした。 しかし、ソルボンヌ大学のJoseph Silk氏などの研究チームは、「ジェイムズ・ウェッブ宇宙望遠鏡」による初期宇宙の観測データとシミュレーション結果を組み合わせた結果、銀河とブラックホールはほぼ同時に誕生し、ブラックホールが銀河の星形成を加速したとする研究結果を発表しました。これはウェッブ宇宙望遠鏡の観測で示された初期の銀河が予想より多く存在する可能性を裏付ける成果です。 【▲図1: 初期宇宙の銀河の活動の模式図。中心部のブラックホールの活動が活発化すると、その放射によって周りのガスが押しのけられ、恒星の形成が促されます（Credit: Roberto Molar C
New – AWS DMS Serverless: Automatically Provisions and Scales Capacity for Migration and Data Replication | Amazon Web Services
AWS News Blog New – AWS DMS Serverless: Automatically Provisions and Scales Capacity for Migration and Data Replication With the vast amount of data being created today, organizations are moving to the cloud to take advantage of the security, reliability, and performance of fully managed database services. To facilitate database and analytics migrations, you can use AWS Database Migration Service
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
クックパッドを退職することになりました。
Apache Iceberg とは何か - 流沙河鎮
【2024年】AWS全サービスまとめ | DevelopersIO
3年間Stripe Connectを運用した経験を共有します - エムスリーテックブログ
DuckDBでお手軽！データフェデレーション - Techtouch Developers Blog
クローズしたサービスの管理画面を静的サイトにする - クックパッド開発者ブログ
複雑なデータベースの知識は一切不要、気にするのはエンドポイントだけ 開発の生産性を高める「TiDB Serverless」の各種機能
AS59128 のフロー情報収集と Amazon Athena での分析 - KMC活動ブログ
転職活動の記録〜クラウドと英語〜 - fu3ak1's tech days
実績紹介(日本ケンタッキー・フライド・チキン様 オフィシャルアプリ) | ゆめみ
最近のデータカタログの各種機能の有無を確認してみた（2024年4月時点） | DevelopersIO
さまざまなデータ分析エンジニアが目撃したこれまでで最悪の失敗は？
宇宙の年齢は267億歳？ 早すぎる初期銀河の発達を説明できる新たな理論モデルを提唱
データインテリジェンスの動向を呟く｜Rytm / Quollio
データエンジニアが最初に学ぶべき3つのポイント：「ETL」「データモデリング」「ワークフロー」 | gihyo.jp