インプットのすゝめ | 外道父の匠
絶賛成長期にあるだろう若手エンジニアは、どういう流れで自身の成長を促したら良いのだろうか、とふと思いつつ口頭で説明してみたけどよくわからんくなったので整理してみたいお気持ちです。 当ブログではアウトプットの効用みたいなものは書いてきましたが、インプットそのものについてはお初なので、自身を振り返る良い機会にもなりそうです。 はじめに これは私が二十数年間、プログラマー・インフラ・SRE といったエンジニアとして通ってきた中で、どのようにインプットをしてきたかを整理してみるチラ裏です。 自分は一般(?)と比べれば少々特殊な経歴で、情報学を学んだことも、新卒研修を受けたことも、IT系資格も、転職したこともない…… ほぼ独学による野良エンジニアとして生息してきましたので、あまり参考にはならないかもしれません。 それでも一応長く生き抜いてきたエンジニアの経験として、インターネットに数多くある参考例の
おはようございます!こんにちは!場合によってはこんばんわ! SREチームマネージャーの藤原です。 今年の3月からSREチームの中で、勉強会を定期的に実施するようになりました。 本エントリでは勉強会を開催するにあたって考えたことと、実際の進め方についての事例解説です。 勉強会を通じて実現したいことの説明から、テーマ設定、効果最大化のための開催形態と頻度、現時点(2024/4・5時点)の結果について解説しています。 勉強会を通じて実現したいこと チーム内勉強会を通じて実現したいこととして、以下を設定していました。 チーム・個人としてのレベルアップ 積極的な議論への参加 相互理解 チームとしての目線合わせ 勉強会を開催するからには何かしらのスキルや考え方を身に付けたいはずです。 また、学習効果を最大化するためにも、積極的な議論への参加を実現したいと考えました。 さらには、勉強会の中での議論を通じ
2.3k{icon} {views} 複数のLLM（GPT/Claude3）とArxivの検索APIをRAGで統合し、論文サーベイの自動生成を作りました。検索結果の前処理や、サーベイ特有のプロンプトエンジニアリングやソートが重要で、最適化手法として古くからある巡回セールスマン問題（TSP）が有効に機能しました。また、生成部分ではGPTよりClaude3の明確な有効性を確認できました。 できたもの Arxivの検索APIを使って検索拡張生成（RAG）したらサーベイを自動生成できた やっていること Arxivの検索ワードをGPT-4-Turboで生成 ArxivのAPIを叩いてヒューリスティックでフィルタリング OpenAIのEmbedding APIを叩く Embeddingに対して巡回セールスマン問題（TSP）を解いてソートをかける 論文の要旨をGPT-3.5-Turboで要約 ソートした
フロントエンドから Amazon S3 にマルチパートアップロードしたい - カミナシ エンジニアブログ
はじめに Presigned URL（*) などで、Amazon S3 へのアップロード処理を実装していると、大きなサイズのファイルをアップロードしようとしたときに、以下のような課題に直面することがあります。 一回のPUT リクエストでアップロードできるサイズの上限が 5GB まで 単一の HTTP リクエストでアップロードするため、大きなサイズをアップロードしようとしたときに問題が起きる。例えば、アップロードの処理の途中で失敗したとき、最初からやり直しになる。 このようなときに活用したいのが、マルチパートアップロードです。マルチパートアップロードとは、その名の通り、アップロード対象のオブジェクトを小分けにしてアップロードする方法です。 AWS の SDK には、マルチパートアップロードが簡単に行えるような API が用意されているものの、多くは、S3 にアップロードを行うことができる I
HashiCorp 製品導入の背景と今後の展望｜イオンスマートテクノロジーのDX ｜AEON TECH HUB
イオンスマートテクノロジー CTO室SREチームの香西が、「Cloud Native Week 2024冬」に登壇しました。HashiCorp製品導入の背景と今後の展望ということで、HCP Terraformを導入した背景などをまとめています。導入当時に抱えていた課題は何だったのか？HashiCorp製品を活用しながらどのように改善していったか？文末の資料と動画では、HashiCorp Japan・村田氏のプレゼン内容もご覧いただけます。
Steve Albini, Storied Producer and Icon of the Rock Underground, Dies at 61
Steve Albini, Storied Producer and Icon of the Rock Underground, Dies at 61 The Shellac and Big Black frontman, who recorded classic albums by Nirvana, Pixies, PJ Harvey, and more, died of a heart attack Steve Albini, an icon of indie rock as both a producer and performer, died on Tuesday, May 7, of a heart attack, staff at his recording studio, Electrical Audio, confirmed to Pitchfork. As well as
「楽」する前のTerraformバージョンアップ方針と運用整理（とポエム） - 東京ガス内製開発チーム Tech Blog
はじめに、はじめまして。リビング戦略部SREチームのあおしょん（本名：青木）と申します。 2024年4月1日から弊チームにジョインしたピチピチの新人*1です。 入社から約一ヶ月過ぎまして、現在も盛りだくさんの情報量と圧倒的当事者意識を持っている弊社の優秀なエンジニアたちに日々圧倒されながらも一刻も早く事業に貢献出来るように歩を進めています。 大きな貢献が出来ている、とは未だ胸を張って言えないのですが入社したてで業務知識が無くてもまずは小さい貢献からコツコツと始めてみよう、ということで弊チームにおけるTerraformバージョンアップの方針と運用について整理したのでご紹介いたします。 ご紹介の前に申し上げておきたいこととして、今回はバージョンアップの運用をこんなテッキーなことをしてクールに自動化してやったぜ～ワイルドだろ～という内容ではございません。あくまで現状はこうなっているからこういうこ
Source:imgflip.comAs I write this on the 25th of April, I am still reeling from the announcement of IBM’s acquisition of Hashicorp. When I first heard the rumours yesterday, I was concerned about the future of possibly my favourite Infrastructure-as-code (IaC) tool. It has long been obvious that Hashicorp has been struggling to make money, making a $274 million loss in 2023. This undoubtedly led t
feature flag管理にAWS AppConfigを導入した - Cluster Tech Blog
昔のflag管理 AWS AppConfigの導入 feature flagの管理 feature flagの利用 まとめ ソフトウェアエンジニアの浦川です。 clusterではサービス開発にfeature flagが活用されており、常時10+個程度のflagが並行して使われています。 これまでflagはgoのコードとしてハードコードされていたのですが、AWS AppConfigを利用してコードを修正することなく動的に変更できるようにしました。 昔のflag管理 ハードコードされたflagは1つのstructにまとめて定義されていて // feature flagを集めたもの type FeatureFlag struct { IsAvatarXxx bool // アバターを良い感じにする IsEventXxx bool // イベントを良い感じにする // (大量のフラグ) } app
IBMによるHashiCorp買収、注目は“Red Hat製品とのシナジー”とBSLライセンスの扱い IBMとHashiCorpは4月24日（米国時間）、IBMが約64億ドルでHashiCorpを買収するという契約を両社が締結したことを発表しました。IBMは1株あたり現金35ドルを支払い、買収はすべて手持ちの現金で行われます。買収発表前日のHashiCorpの株価は24.88ドルでしたので、10ドル以上のプレミアムが乗せられたことになります。 IBMのリリース IBM to Acquire HashiCorp, Inc. Creating a Comprehensive End-to-End Hybrid Cloud Platform HashiCorpのブログ HashiCorp joins IBM to accelerate multi-cloud automation Has
AWS App Runner 振り返り 2023～決別・ECSを使うぞ～ - koudenpaのブログ
AWS Containers Advent Calendar 2023の4日目です。 qiita.com AWS App RunnerはAWSで手軽にコンテナを動かせるサービスで、2021年にGAしてから緩やかに使用しつつ所感を書いてきた。 AWS App Runner はおもちゃなのでそれ以上の用途には使ってはならない - koudenpaのブログ Laravel を AWS App Runner で動かしてみる - koudenpaのブログ AWS App Runner 振り返り 2022 - koudenpaのブログ 去年のAWS App Runnerのカレンダー | Advent Calendar 2022 - Qiitaではサービス内容の振り返りをしたのだが、今年は記事のタイトルにも書いた通りApp Runnerを自分の中でどう位置付けたのかの整理記事とした。正直サービス内容には
AWSの生成AIアシスタント「Amazon Q」、開発支援「Q Developer」やアプリ自動構築「Q Apps」を提供 | IT Leaders
IT Leaders トップ ＞ テクノロジー一覧 ＞ 開発ツール／プラットフォーム ＞ 新製品・サービス ＞ AWSの生成AIアシスタント「Amazon Q」、開発支援「Q Developer」やアプリ自動構築「Q Apps」を提供 開発ツール／プラットフォーム 開発ツール／プラットフォーム記事一覧へ [新製品・サービス] AWSの生成AIアシスタント「Amazon Q」、開発支援「Q Developer」やアプリ自動構築「Q Apps」を提供 2024年5月2日(木)日川 佳三（IT Leaders編集部） リスト 米Amazon Web Services（AWS）は2024年4月30日（米国現地時間）、生成AIアシスタント「Amazon Q」の一般提供を開始したと発表した。ソフトウェアコードを自動生成して開発作業を支援する「Amazon Q Developer」、ユーザーのデータ活用
GitHub、Dependabotの基本コンポーネントdependabot-coreをOSSとして利用可能に GitHubは2024年5月13日、リポジトリ内の依存関係を監視しチェックするツールDependabotの基本コンポーネントdependabot-coreを、MITライセンスにもとづくオープンソースとして利用可能にしたことを発表した。 dependabot-core is now open source with an MIT license -The Github Blog 📣 Dependabot is now open source!https://t.co/RXpQG38AiD — GitHub (@github) May 14, 2024 Dependabotは、リポジトリ内の依存関係のアップデートの有無を検知して、自動でプルリクエストを発行したり、アラートの通知を
Join our community of software engineering leaders and aspirational developers. Always stay in-the-know by getting the most important news and exclusive content delivered fresh to your inbox to learn more about at-scale software development.
Google Cloud Next'24 にて Google Cloudの生成 AI エコシステムはなぜ良いのか？について発表しました｜吉田 拓真 / スリーシェイク
Google Cloud Next'24 にて Google Cloudの生成 AI エコシステムはなぜ良いのか？について発表しました Google Cloud Next'24のJapan Sessionにて、生成AIがエンジニアリングだけでなく、エンジニアリングがコアになるビジネス（SIer, ISVベンダー,SaaSベンダー）自体をどう変えていくのかについて登壇してきましたので、その話をしたいと思います。 生成AIはエンジニア不足を解消し、新しいビジネスモデルを提供する生成AIは予想以上に我々の日々の業務を変えようとしています。 例えばGemini単体だけでなく、Gemini Code AssistやGemini in Databasesなどを併用していくことで少人数で複雑なプロジェクトを短期間で回してく体制を構築し、更に早期にエンジニアを育成していくスキームが構築することができますね
OpenTofu 1.7.0 is out with State Encryption, Dynamic Provider-Defined Functions, and more | OpenTofu
April 30, 2024OpenTofu 1.7.0 is out with State Encryption, Dynamic Provider-Defined Functions, and more In the last few months since our first stable release the OpenTofu community and the core team have worked hand in hand to bring functionality to OpenTofu that has been requested for years. We are proud to announce the immediate availability of OpenTofu 1.7.0, bringing you the following highligh
[アップデート] Knowledge bases for Amazon Bedrock が東京リージョンでサポートされました | DevelopersIO
[アップデート] Knowledge bases for Amazon Bedrock が東京リージョンでサポートされました Knowledge bases for Amazon Bedrock が東京リージョンでサポートされました。東京リージョンの現状のおさらいと、リージョン(モデル)を使い分けて回答を生成してみました。 こんにちは！ AWS 事業本部コンサルティング部のたかくに（@takakuni_）です。 ついに、 Knowledge bases for Amazon Bedrock が東京リージョンでサポートされました。 ドキュメントにも Knowlege base の列に Yes と記載されていますね。 Supported AWS Regions - Amazon Bedrock そこで今回は、東京リージョンでナレッジベースを作成してみたいと思います。 東京リージョンをおさらいす
![[アップデート] Knowledge bases for Amazon Bedrock が東京リージョンでサポートされました | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/5fc5d99a3e7a01fd348d908da8951bc0b3ca082b/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2023%2F11%2Famazon-bedrock.png)
新刊「Terraformの教科書」の要点をまとめてみた
本記事では、2024/3/21に発売された 「Terraformの教科書」 を解説します💡 概要 Terraformの技術書はそこまで多くないので、貴重な1冊です。直近ではオライリーで出版されたくらいなので、現状は本書と双璧といった感じでしょうか。全体的な内容としては、Terraformの仕組みから実際の利用の仕方までが記載されてます。応用的な話はあまりないので、基礎をしっかり固めてくれているというイメージです。仕組みのところはこういう機会でないとなかなか目を向けられないので、とてもありがたいです。もともとはアソシエイト試験を意識して書かれたものらしく、各章の最後には予想問題もあったりしました。 （若干の）注意点 若干の注意点として、クラウドは3大クラウドのAWS、Google Cloud、Azureすべてが意識され網羅的に書かれています。とはいえ、ほとんどのサンプルで3つすべてのコード
Oracle goes vegan: Dumps Terraform for OpenTofu OCI tells customers to shift to latest update built on open source. We guess OpenTofu is enterprise-ready! Oracle has swapped Terraform for the open-source fork OpenTofu under the hood of its Oracle E-Business Suite (EBS) Cloud Manager. It is now telling customers they “must” make the shift to its new OpenTofu-based version of the migration/provision
はじめに 2022年9月から約1年半勤めた株式会社DeNA（以下DeNA）を4/26(金)で退職しましたので、その退職エントリーを書こうと思います。 ※正式には5/31(金)退職で、4/26(金)最終出社となりました。（ちなみに私のゴールデンウィークは37連休です） DeNAで何をやってたの？ 肩書き上は「クラウドアーキテクト」として、モバゲーのアプリ開発部署にてAWSの管理や関連サービスのアーキテクチャ設計、及びIaC(Infrastructure as Code, 業務ではServerless FrameworkやAWS CDK)を用いたインフラ構築、運用管理、及び一部開発・テストなんかをメインでやってました（TypeScript/Jest/Node.js） その他、一部イベント登壇＆支援なんかをやりました（YAPC:2023, YAPC:2024, JAWS-UG四国お遍路など） 何
Enhancing Network Resilience with Istio on Amazon EKS | Amazon Web Services
AWS Open Source Blog Enhancing Network Resilience with Istio on Amazon EKS This is the third blog post of our “Istio on EKS” series, where we will continue to explore Istio’s network resilience capabilities and demonstrate how to set up and configure these features on Amazon Elastic Kubernetes Service (Amazon EKS). Istio equips microservices with a robust set of features designed to maintain respo
2024年4月くらいのAWS最新情報ブログとかをキャッチアップする – AWSトレンドチェック勉強会用資料 | DevelopersIO
こんにちは、臼田です。 みなさん、AWSの最新情報はキャッチアップできていますか？(挨拶 社内で行っているAWSトレンドチェック勉強会の資料をブログにしました。 AWSトレンドチェック勉強会とは、「日々たくさん出るAWSの最新情報とかをブログでキャッチアップして、みんなでトレンディになろう」をテーマに実施している社内勉強会です。 このブログサイトであるDevelopersIOには日々ありとあらゆるブログが投稿されますが、その中でもAWSのアップデートを中心に私の独断と偏見で面白いと思ったもの(あと自分のブログの宣伝)をピックアップして、だいたい月1で簡単に紹介しています。 4月は68本ピックアップしました。引き続きAmazon QやBedRockのアップデートがたくさんありますので注目です。 ちなみにAWSの最新情報をキャッチアップするだけなら週刊AWSがおすすめですが、Developer
関連キーワード XML | データ データセンターを効率的に管理するには、「XML」（Extensible Markup Language）や「YAML」（YAML Ain't Markup Language）といった「データシリアライズ言語」が鍵になる。データシリアライズ言語は、さまざまな形式のデータを、機械が理解できる形式に変換（シリアライズ）するための言語だ。データシリアライズ言語を活用することで、IT管理者はデータの自動処理や構造化に関するメリットを享受できる。 XMLとYAMLの違いを知ることは、システム設定作業に適したツール選択の近道になるはずだ。本連載はXMLとYAMLの違いや用例を解説し、アプリケーション開発における自動化の可能性を広げる。 XMLとYAMLの違い 実はあれにも使われている「XML」とは 併せて読みたいお薦め記事 システム管理を支える技術 ソフトウェア部品表
GKE CronJobとcloud-sdk-goでElasticCloudのスケーリングを自動化しコスト削減した - 10X Product Blog
はじめに 前提 背景と課題 対応方針 StailerのElasticsearchに関する特性 要件 スケールイン・アウトではなくスケールアップ・ダウン リソース負荷トリガーではなくスケジュールトリガー 設計 cloud-sdk-goでの処理 モニタリング おわりに はじめに こんにちは、検索エンジニアの安達(id:kotaroooo0)です。 10Xで検索基盤・検索機能の開発運用をしています。 最近は推薦システムの開発もちょっとやり始めました。 負荷に合わせてElasticsearch(ElasticCloud)をスケーリングする機能を作りコスト削減したので、その取り組みについて経緯と内容を紹介します。 前提 背景と課題 10Xでは小売チェーン向けECプラットフォームStailerにおいて、検索機能の開発運用にElasticsearchを利用してしています。 Elasticsearchクラ
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
チーム内勉強会の進め方事例 - MNTSQ Techブログ
Arxiv RAGによる論文サーベイの自動生成 | Shikoan's ML Blog
The beginning of the end for Terraform?
IBMによるHashiCorp買収、注目は“Red Hat製品とのシナジー”とBSLライセンスの扱い | gihyo.jp
GitHub、Dependabotの基本コンポーネントdependabot-coreをOSSとして利用可能に | gihyo.jp
OpenTofu Amiable to a Terraform Reconciliation
Oracle goes vegan: Dumps Terraform for OpenTofu
【退職エントリー】株式会社DeNAを退職しました - echo("備忘録");
「XML」と「YAML」の違いとは？ 意外と身近なデータシリアライズ言語