オンプレNFSサーバーからAWS S3へ無停止マイグレーション 〜双方向リアルタイム同期処理の自前構築〜 - LIVESENSE ENGINEER BLOG
概要 オンプレNFSサーバー 移行対象アプリケーション 無停止マイグレーションの選択と段取り 双方向リアルタイム同期処理の自前実装 背景: AWS DataSyncの利用を断念 設計: 同期処理の構成要素と実装 初回のフル同期と同期漏れの確認 循環更新の防止 NFSからS3方向への同期 S3からNFS方向への同期 ファイル操作順序の一貫性と削除操作のリスク S3 Bucket更新イベントはフォルダの粒度でも発生する 同期漏れは手動でリカバリ 移行後 これから 概要 テクノロジカルマーケティング部インフラストラクチャーグループの春日です。 弊社ではアルバイト求人サイトの マッハバイト を運用しており、2023年9月現在オンプレからAWSへの移行が進んでいます。 上記移行プロジェクトの一環として、マッハバイトの求人画像ファイルが保存されているオンプレNFSサーバーのデータをAWS S3 Buc
こんにちは、かたいなかです。 私が所属している採用広報チームでは、テックブログの運営以外にも外部登壇の応援も行っています。今まで、ブログに比べてなかなか勢いがつかなかったのですが、外部登壇を積極的に行う新しいメンバーの加入もあり、外部登壇もだんだん盛り上がってきました。 今回の記事では、採用広報チームで今までやってうまく行かなかった施策等も交えながら、現在の状況を共有します。 外部登壇を応援したい でも、外部登壇を後押しするのは難しかった・・・ 社内LT大会 CFPブーム 状況が変わった2023下半期 社内メンバーが運営する勉強会の開催 積極的に登壇する新メンバー これから 外部登壇を応援したい 採用広報チームとして、外部登壇を推進したいというのは定期的に意見が上がっていました。 採用につなげるという文脈では、イベントで直接交流しながら、どんな人が働いているかを具体的な例としてイメージして
SREとPlatform Engineerの違いを3つのポイントで理解する | sreake.com | 株式会社スリーシェイク
はじめに プラットフォームエンジニアリング（Platform Engineering）とサイト信頼性エンジニアリング（SRE, Site Reliability Engineering）はともに、ITインフラとアプリケーションの運用に関わる分野ですが、それぞれに独自の焦点とアプローチがあります。 Gartnerの報告によれば、Platform Engineeringは、自動化と開発者の経験を中心に据え、アプリケーションのデリバリーを迅速化し、ビジネス価値を効率よく生成することを目的としています。 この手法は、製品チームが顧客に対して価値をより速やかに提供することを前提としています。 参考資料: What Is Platform Engineering? What Team Structure is Right for DevOps to Flourish? 道を照らす: プラットフォーム
このストーリーは、Engineering Manager Advent Calendar 2023 の1日目の記事です。 Engineering Manager になって1年たったウォンテッドリーで Engineering Manager というタイトルが自分についてから今日で1年と3ヶ月を数えます。実際にはその半年ほど前からそれ相当の業務をしていましたが、タイトルが付くということは自分の仕事に名前がつくということであり自分のメンタリティーにもチームメンバーのメンタリティにも影響を与えるようになります。そこで自分はちょうど今が2年目に入ったタイミングだと認識しています。 2年目に入って自分の1年目を振り返ると様々な反省と失敗談があります。もちろん自慢したい話や楽しかった話もたくさんありますが、それよりも失敗と反省にフォーカスするほうが共有することで誰かに学びを提供できるかもしれないと考えて
AWS Certified DevOps Engineer - Professional(DOP-C02) 合格体験記 - Qiita
はじめに 少し前にDVA、SOAと取得したので、将来的に6冠を目指すということで、そのままの流れでDOPを受験しました。 スコア 852/1000 無事に合格できました！ 初の「Professional」資格でしたが、やはりAsocciateの資格と比較して難しい。。。 合格体験記などで、SAPより簡単と記載する方も多いですが、文章量も問題のレベル感もAsocciateで出題されていた内容より深い内容が問われ、自分の理解力が低いところをピンポイントで問われたりするなど、なんとか合格はしたものの勉強期間、計画を含めて、力不足を痛感した試験でした。 受験対策 書籍 なし 調べてはみましたが、DOPの対策本的なものは出ていませんでした。 Web問題集 10問単位で実施できるので、4～5周くらい実施しました。 空いてる時間などにちょっとずつ消化してました。 テスト受験前のAWS公式模擬試験で結構悲
これは Livesense Advent Calendar 2023 DAY 24 の記事です。 リブセンス インフラエンジニアのsheep_san_whiteです。お酒とロードバイクが大好きなおじさんです。 現在、リブセンスではオンプレミス環境からAWS環境への移行を進めています。移行が必要な対象は沢山ありますが、今回は非エンジニアがクエリを実行する基盤の移行について書きます。 非エンジニアがクエリを実行する基盤が作られたきっかけ 毎月4時間のCSV取得作業 管理画面で取得できないクエリを実行したい場合のフローが煩雑 広いデータ参照のリスク 移行前のクエリ実行基盤について 移行前のクエリ実行基盤の構成 移行前のクエリ実行基盤が抱えていた課題 原因がよくわからない状態で半年に1回完全に壊れてしまう 1回の復旧に半日持っていかれる 移行後のクエリ実行基盤について 移行後のクエリ実行基盤の構成
IntroductionAndroid のアプリをデモして自由に触らせたいという要望があった。 まんま 独自のクラウド エミュレータを作成する の内容なんだけど、これは Google Compute Engine (GCE) で、コンソールを通じて提供される代物。 だけど要望は、 **Amazon Web Services (AWS)**。 なので、GCE で使われている仕組みを手組する必要がある。 幸い、これらは https://github.com/google/android-emulator-container-scripts として提供されている。 が、調べたところ、日本語の記事は Android Emulator Container Scriptsを使ってDocker上でAndroidエミュレータを動かす くらい。 で、上の指示通りにやればできそうな気がするんだけど、なんか順番
【Zscaler】ZCCってなんだ？！概要・設定編【Zscaler Client Connector】｜技術ブログ｜C&S ENGINEER VOICE
【Zscaler】ZCCってなんだ？！概要・設定編【Zscaler Client Connector】 みなさん、こんにちは！ Zscalerには全てのプロダクトの中心となる ZCC：Zscaler Client Connectorと呼ばれるクライアントがあります。端末にインストールすることでインターネットやアプリケーションに安全にアクセスできるとても便利な優れものです。今回は概要と設定の方法をご紹介します。 ■押さえるべき３つのポイント ZCCを知るために押さえるべきポイントが３つあります。ZCCの概要、メリットをざっくりと理解できるポイントとしてご紹介します。 端末にインストールするクライアント ZIA, ZPA, ZDX共通 手軽かつ安全 端末にインストールするクライアント ZCCは、Zscalerの各プロダクトをご利用いただくにあたり端末にインストールするクライアントです。インスト
こんにちは。CircleCI カスタマーサクセスチームの Chisato です。最近個人的に幸せを感じた出来事は、育てているレモンの花が咲いたことです。今年２回目の開花で、とても良い香りがします。今回は、インサイト（以下 Insights）についてご紹介します... ただ、今回は Insight では具体的なコスト増の要因が特定できなかったため、「誰が」CircleCI のジョブを多く走らせているのかを調査しました。 具体的な調査方法としては、CircleCI API v2 で pipeline の実行履歴を取得しました。(https://circleci.com/docs/api/v2/index.html#operation/listPipelines) 実行例 (過去の pipeline 実行履歴を一気に取得するコマンド): for i in `seq 500`; do echo $
Are you prepared to join the X team and help build the ultimate real-time information-sharing app, revolutionizing how people connect? At X, we're on a mission to become a trusted global digital public square, committed to minimal censorship within legal boundaries. Our goal is to empower every user to freely create and share ideas, fostering open public discourse without barriers. Join us in shap
Qiita Engineer Festa 2023とは、2023年6月14日から7月21日まで期間限定で展開される記事投稿キャンペーンです。 豪華プレゼント付きの記事投稿キャンペーンや、Organizationでいいねを競い合う対抗戦、ライブ配信イベントなどをご用意しています。 また、イベントに参加してくれた方への賞品もございます！ ご自宅から、オフィスから、全国各地より皆様のご参加をお待ちしております。 一緒に熱い夏を楽しみましょう！
こんにちは。FLINTERSのカレンダー | Advent Calendar 2022 - Qiita 24日目を担当します、宮下です。 はじめに 弊社が開発を手掛けているマンガアプリGANMA!ではサービスの改善やトラブルシューティングなどのためにGoogleアナリティクス4(GA4)を利用してユーザーの行動履歴を収集しています。 特にiOS, Android向けのアプリではGoogle Analytics for Firebaseを利用してイベントを送信しています。 (以下、Googleアナリティクス4とGoogle Analytics for Firebaseを特に区別せずGA4と呼びます。) GA4では自動的に収集されるイベントの他に、独自のイベントをカスタムイベントによって計測することが出来ます。 例えば、GANMA!ではマンガの原稿ページを閲覧した・広告をタップした・プレミアム
Redshiftのメタデータをドキュメント化するツールをdmemoからSchemaSpyに移行した - LIVESENSE ENGINEER BLOG
データプラットフォームグループの毛利です。全社横断のデータ基盤であるLivesense Analytics（以降LA）の開発、運用を行っています。LAではDWHとしてAWS Redshiftを採用しており、社内の誰でも利用できるようにしています。 今回はRedshiftのメタデータ*1をドキュメント化するツールを、dmemoからSchemaSpyに移行した話について紹介していきます。 これまでのドキュメントツール dmemoとは 運用課題 これからのドキュメントツール SchemaSpyとは なぜSchemaSpyを選んだか Schemaspyへの移行で引っかかったこと テーブルコメントの移行 Redshift Spectrumの対応 複数スキーマの対応 おわりに これまでのドキュメントツール dmemoとは LAでは、誰もがデータの内容を理解できるようにするためにメタデータをドキュメント
はじめに こんにちは。コミューンでTechLeadをしているまつむらと申します。 今回は直近で私が取り組んだ取り組んだコミューンの技術的負債「水平スケーリング問題」の解消についてご紹介します。 発生した問題 水平スケーリング問題とは？ ひとことで言ってしまうと、単一のボトルネックにより水平スケーリングを行ってもパフォーマンスやスループットが改善しない状況です。 実際に発生していたケースについてもう少し具体的に書くと ある処理において、とても寿命の長いデータベース（RDB）のトランザクションが貼られている その処理の前半において、あるデータベースのテーブル（レコード）をロックしている 別のプロセスが同様の処理をしようとしても、データベースのロック待ちが発生する ということが発生していました。 このような状態では、水平スケーリングしても（すなわちサーバ台数を増やしても）データベースのロック待ち
転職ドラフトでエンジニアをしている verdy_266 です。 リブセンスではほとんどのプロダクトが Ruby を使って実装されており、5/11-13 に開催された RubyKaigi 2023 に弊社のエンジニアメンバーで参加してきました。 この記事では、昨年に引き続き、RubyKaigi に参加したエンジニアでセッションの振り返りを行った模様をお伝えします。 昨年の記事はこちらです。 made.livesense.co.jp 転職ドラフトでブースを運営した話についてはこちらをご覧ください。 made.livesense.co.jp 今回参加したエンジニアは、以下の8名です。 マッハバイト：ayumu838, kimihiro031 転職会議 ：ikea-dress 転職ドラフト：iwtn, yamitani, yk, arakawa, verdy_266 最も印象に残ったセッションは
The Pragmatic Engineer | Gergely Orosz | Substack
The Pragmatic EngineerBig Tech and startups, from the inside. Highly relevant for software engineers and managers, useful for those working in tech.
Hatena Engineer Seminar #27 「パフォーマンスチューニング編」をオンラインで開催しました #hatenatech - Hatena Developer Blog
2023年11月16日（木）に、 Hatena Engineer Seminar #27 をオンライン開催しました。ご参加いただいたみなさま、ありがとうございました。 このエントリーでは、当日のアーカイブ動画や公開資料をご紹介します。 Hatena Engineer Seminar #27 について 発表概要と資料 OpenTelemetry の Trace を中心にしたパフォーマンス改善 Mackerelチーム エンジニア id:rmatsuoka はてなブログのブログ表示に必要なJSを1/6にした話 ブログチーム エンジニア id:nanimono_demonai さいごに Hatena Engineer Seminar #27 について Hatena Engineer Seminar は、はてなのサービスを開発する上で、エンジニアがどのような事を考えているのか、どのような働き方をして
イオングループ エンジニア採用サイト | AEON Engineer Recruitment
イオングループのエンジニア採用サイトです。イオンではデジタル投資に力をいれており、ソフトウェアエンジニアの採用にも力をいれています。デジタルの力によって日本の小売を変え、社会まで変革していきたい。そんなイオンの挑戦に力を貸していただける方を募集しています。このサイトでは、イオンスマートテクノロジー株式会社、イオンネクスト株式会社、イオンアイビス株式会社の情報をまとめてお伝えしています。
Why I'm skeptical of low-code - Nick Scialli | Senior Software Engineer
I’m skeptical of low-code. When I was doing some software consulting, I would get clients who had been drawn to low-code all the time for the promise of fast development time and low maintenance cost. The client ended up not being happy for one of a few reasons: They wanted truly custom functionality that the low-code solution could not handle. A lot of low-code solutions seem to hit about 80% of
これは Livesense Advent Calendar 2023 DAY 2 の記事です。 こんにちは。転職ドラフトでエンジニアをしている @verdy_266 です。 今日は、多くの会社員が避けては通れないであろう目標設定についての話をします。 ちょうど1年前くらいに『ワンストップ目標設定』という本を読み、多くの学びを得ました。この本で学んだことを実践するとともに、弊社の中で議論を重ねていくうちに、我ながらいい目標設定の仕方をしているなと感じることが増えたので、その知見についてまとめたいと思います。 booth.pm すでに上司と来年の目標について話し合っているという方もいらっしゃるでしょうし、プライベートで2024年の目標を立てようとしている方もいらっしゃると思います。仕事にもプライベートにも活かせる内容かと思いますので、ぜひご覧ください。 なぜ目標を立てるのか もちろん会社員です
はじめに 取得してからだいぶ経っていますが、Google Cloud認定資格の中では、Professional Cloud Architectに次いで、Professional Data Engineerを受験する方が多いのかなと思い要点をまとめてみました。 本記事を読んだだけで合格できる、ということを保証するものではありませんので、ご了承ください。 もくじ Professional Data Engineerについて 要点 勉強法 まとめ Professional Data Engineerについて 本資格ではデータ処理システムの設計や構築、運用に関することが問われます。問題は50～60問の選択式であり、試験時間は2時間、受験費用は$200 (税別) です。 試験ページでは、以下のことが評価されるとあります。 データ処理システムの設計 機械学習モデルの運用化 ソリューションの品質の確保
まえがき書いてたらめっちゃ長くなった リブセンスにおけるEMとはなんなのか 転職会議におけるEMとはなんなのか EMの必須業務じゃないけどやってるやつ 目標設定・評価 1on1 スクラムマスター エンジニア採用・採用広報 事業部全体の戦略・行動方針決定のために必要な開発関連の情報整理、事業部内への共有 転職会議の開発組織課題の検討、改善案の立案 会社全体のエンジニア組織づくり、育成 リブセンスでEMとして働く魅力 周りに悩みを共有、サポートしあえるEMがいる エンジニアもエンジニアじゃない人も開発組織の文化づくり、イベント開催などに前向き プレイングマネージャーやプレイヤーへの転向に寛容 直近の転職会議の組織課題 さいごに こんにちは！転職会議事業部でエンジニアリングマネージャーをやっている落合です。 いつも社内では自己紹介のたびに「転職会議の背景芸人としてオンライン会議のバーチャル背景で
リブセンスインフラエンジニアの中野(etsxxx)です。VPoEという立場でもあります。 最近はルビコン出張が忙しかったのですが、やっと落ち着いたので、徐々にスターフィールドの旅に出ています。相変わらずガラクタばかり集めて売り捌く行商状態です。 はじめに リブセンスでは多くの事業部で、AWSのリソースをTerraformでコード管理しています。 マッハバイトのAWS移行が進むにつれてECS Scheduled TaskやAWS Backupなどの利用が増え、TerraformにはAWS Cron式によるスケジュールの記載が増えてきました。 TerraformにおけるAWS Cron式の記述例 schedule_expression: cron(55 * ? * 1-2,4-5 *) ところがこのAWS Cron式。ただでさえCron式は読み書きしにくい代物なのに、AWSの書式(AWS Cr
採用ファネルを意識すると、テックブログの記事は書きやすくなるのでは？という話 - LIVESENSE ENGINEER BLOG
これは 技術広報 Advent Calendar 2023 DAY 09 の記事です。 こんにちは。株式会社リブセンスで採用広報をしております @verdy_266 です。普段は転職ドラフトのエンジニアとして勤務する傍ら、採用広報チームの一員として、業務時間の一部を使ってブログを執筆・校正したり、外部登壇周りの環境整備をしたりするなど、弊社のアウトプット環境を良くするための活動をしています。 さて、今回は、今年の弊社採用広報チームの取り組みとして、弊社のアウトプット活動と採用ファネルを関連づけてみた話をします。 リブセンスには採用広報チームがあります まずは、弊社採用広報チームの紹介をさせてください。 コロナ禍の影響を受け、会社全体としてあまり元気がなかった2021年。弊社テックブログも編集担当がほとんど個人で頑張っている状態で、2020年に至っては年間で記事4本という有様でした。テックブ
Since first publication, this article has been updated with responses from Shimano. The updates can be found in the editor's note at the bottom of the article. For quite a few years now, we've been hearing stories of cyclists whose Shimano Hollowtech cranksets were snapping underneath them, and felt it was a problem that was too big to ignore. We published a number of articles highlighting the iss
By Gergely Orosz, the author of The Pragmatic Engineer Newsletter and Building Mobile Apps at Scale The Software Engineer's Guidebook Navigating senior, tech lead, staff and principal positions at tech companies and startups. An Amazon #1 Best Seller. “From performance reviews to P95 latency, from team dynamics to testing, Gergely demystifies all aspects of a software career. This book is well nam
It's been almost 2 years since I moved to a team lead role, then to a full-time engineering management position after the expansion of our team. I've been a front-end developer for 7 years before that, and initially I took the "advanced individual contributor" career track before doing the management turnaround. How's it been? Bumpy, but fun. In this article, I'll share the things I love and hate
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
採用広報チームで外部登壇を応援したくて頑張っている話 - LIVESENSE ENGINEER BLOG
Engineering Manager 1年目失敗談 | Wantedly Engineer Blog
非エンジニアがクエリを実行するための基盤を移行した話 - LIVESENSE ENGINEER BLOG
開発メモ その298 Ubuntu 22.04.1 で Android Emulator を動かし GUI 表示する · A certain engineer "COMPLEX"
CircleCI の費用が突如 1.5 倍になった話 | Wantedly Engineer Blog
Staff/Senior Web Engineer (Japan)
Qiita Engineer Festa 2023 - Qiita
GA4のカスタムイベントをコードで管理する話 - FLINTERS Engineer's Blog
コミューン流技術的負債との立ち向かい方 - commmune Engineer Blog
RubyKaigi 2023 に参加しました - LIVESENSE ENGINEER BLOG
モチベーション高く行動するための目標設定 - LIVESENSE ENGINEER BLOG
GCP認定Professional Data Engineer受験対策 - Qiita
転職会議のエンジニアリングマネージャーのおしごと - LIVESENSE ENGINEER BLOG
AWS Cron式のlintを行い可読性を上げる - LIVESENSE ENGINEER BLOG
Investigating Shimano’s snapping cranksets: What happened, unanswered questions and an engineer's report
【AI駆動開発】ついに全自動でアプリ開発に成功！GPT Engineerの威力そしてChatGPTの真価とは #ChatGPT #プログラミング #AI-Driven-Development - クリエーションライン株式会社
The Software Engineer's Guidebook
From engineer to manager: what I love, what I hate