エンジニアはもっと図を書こう - 生涯未熟
たまには軽い話題をば。 自分の中で信頼できるエンジニアかどうか？を見極めるひとつの指標で「込み入った議論の時に図を書くかどうか」というのがあります。 今までの経験上、図を書く派のエンジニアは割と良い感じの人が多かったので採用している指標なのですが、何故これが機能しているかというのを改めて考えてみた。 他者の認知負荷を理解している コンテクストを合わせることにコストをかけられる意識がある 自分の思考の整理するツールとして図を扱えている ザッと挙げましたが、この３つが機能している要因なのかなという気がしています. 他者の認知負荷を理解している あれやこれやエンジニア間で技術議論している中で、「Aさんはこの領域に詳しいけどBさんはこの領域にはほどほど詳しいくらいだな」という個々のレベル差に応じて認知の負荷がかかります。ただでさえ議論していると結構なスピードで話が展開されていくので、認知負荷が更に
協調的なデータ利活用に向けたデータマネジメント・フレームワークを策定しました （METI/経済産業省）
経済産業省では、サイバー空間とフィジカル空間が高度に融合した産業社会におけるデータの信頼性確保の考え方を整理した「協調的なデータ利活用に向けたデータマネジメント・フレームワーク ～データによる価値創造の信頼性確保に向けた新たなアプローチ」を策定しました。 1．背景・趣旨 経済産業省では、令和元年7月31日 に「『第3層：サイバー空間におけるつながり』の信頼性確保に向けたセキュリティ対策検討タスクフォース」を設置し、データの信頼性確保に求められる要件について検討を行ってきました。 サイバー空間とフィジカル空間が高度に融合した産業社会においては、データがサイバー空間を自由に流通し、多様なデータが新たなデータを生み出して付加価値を創出することが可能になります。そうしたサイバー空間のつながりにおいては、データそのものが正しいことが重要な前提であり、付加価値の創出（バリュークリエイション）の基礎とな
業務でDocker Composeを使うことになった人のためのマニュアル。
いろんな会社でdockerが使われてきている昨今、なんとなく使ってる人も多いかと思います。 そこで、自分が業務などで利用しているコマンドや説明を書こうと思います。 私のレベルは本番ではdockerを使ってサーバーを立ててる民ではないので、そこまで詳しくないことをご了承ください。 前提 dockerほんのちょっとだけ分かる Docker Desktopをすでに入れている状態 ローカルで開発している環境をごにょごにょしたい向け 前提認識 コンテナとイメージの違いを理解してないとこのあとの話は把握しにくいかもしれません。 イメージはビルドされたもの(もしくはスナップショット)で、コンテナはイメージを動かしているインスタンスと考えると良いでしょう。 イメージが消えない限りはコンテナを作るのは速いことを覚えておくと良いでしょう。 docker-composeって何よ docker-composeは複
Airflowをdocker-composeで実装した時に気をつけたこと - Qiita
個人的な勉強でAirflowを実装したので、その時に気づいたことを書きます1。 同じような問題ではまった人が減れば幸いです。 前提 LocalExecutorを使う MySQLコンテナーとAirflowコンテナー AirflowからRedshiftにアクセス Dockerイメージ python:3.7.7ベースでairflow==1.10.10をインストール Dockerfileを自分で書いてみるため ついでにentrypoint.shも 学習目的なので、puckel/docker-airflowは遠慮したい めちゃくちゃ参考にはする 公式Dockerイメージのmasterやlatestはバージョンが2.0で開発版2 AIRFLOW_EXTRAS airflowを拡張するためのプラグインで、MySQLなどのDB系からGCPへのアクセスなどがある。 公式のDockerfileでは以下の通り、
データエンジニアリングの背景を踏まえてdbt（Data Build Tool）を少し深く理解してみる - Qiita
概要 dbt（Data Build tool）を、前提知識となるデータエンジニアリングにおける現状を踏まえて、どういったツールであるかを説明します。dbtがデータエンジニアリングのあるべき姿としてデザインされており、共有されることが少ないデータエンジニアリングのナレッジを含むため、dbtを利用しない場合でも本記事の内容は有益な情報となっております。 dbtの概要については、下記の記事で整理しています。 データエンジニアリングの技術背景 ストレージコンピューティングの分離が可能なデータ処理エンジン（Spark、Presto等）がデータ分析基盤のデータストアとして用いられるようになってきています。従来であればデータレイクではデータの管理が困難であったが、レイクハウスフォーマット（Delta Lake、Hudi、Iceberg等）の開発によりデータレイクにACID特性を持たせられるようになり、デ
docker composeで環境変数が設定されていない場合にエラーにする - kdnakt blog
docker-composeの使い方（というかシェルスクリプトの書き方）をまた一つ学んだのでまとめておく。 [環境変数が未設定ならエラー終了したい] [docker-composeの変数置換を利用する] [まとめ] [環境変数が未設定ならエラー終了したい] とあるコマンドを実行して実行結果のファイルを取得する必要があった。 ただし、コマンドを実行するのは自分だけではなく、チームメンバーに依頼する可能性もあった。その場合、以下の点を考慮する必要性が出てくる。 コマンドを実行するOSがWindowsかLinuxか（チームメンバーは各自好きなOSを利用している） チームメンバーの端末上で、コマンドが依存している設定ファイルに意図しない変更が加えられていないか ということで、クリーンな環境を用意して、コマンドを実行するために、Dockerを利用することにした。 実際に使ったDockerfileは事
機械学習なdockerfileを書くときに気をつけとくと良いこと - nykergoto’s blog
みなさん機械学習系の環境構築はどうやってますか? 僕は最近は Docker を使った管理を行っています。 特に師匠も居なかったので、ぐぐったり人のイメージを見たり手探りで docker をつかいつかいしている中で、最初からやっとけばよかったなーということがいくつかあるのでメモとして残しておきます。 大きく2つです。 キャッシュは消す テストを書く キャッシュは消す ライブラリをいろいろと install すると大抵の場合ダウンロードしたファイルを保存されている場合が多いです。何かのタイミングで再びそのライブラリをインストールする際にはダウンロードしたファイルを使って、素早くインストールすることができます (この仕組みがキャッシュです)。 キャッシュがあると容量が重くなるという欠点があります。重たいイメージは pull に単に時間がかかりますから、システムとしてデプロイする時にトラフィックが
Apache Airflow : 10 rules to make it work ( scale )
if you are not careful your shortcuts will cost you a lot afterwardsAirflow permissive approach will let you schedule any custom code (jobs) but you will create a spaghetti stack if you do not follow very strict SEPARATION OF CONCERN design between the airflow dags and your jobs. Airflow allow you to run your jobs without isolation with the framework itselfAt the origin Airflow was sort of a “supe
なぜシェルスクリプトで高度なデータ管理にSQLiteを使うべきなのか？ ～ UNIX/POSIXコマンドの欠点をSQLで解決する
なぜシェルスクリプトで高度なデータ管理にSQLiteを使うべきなのか？ ～ UNIX/POSIXコマンドの欠点をSQLで解決するShellScriptUNIXSQLitePOSIXQiitadelika 「利用者は数十億人！？ SQLiteはどこが凄いデータベース管理システムなのか調べてみた」の続きです。 はじめに 複雑な構造のデータを扱うのであればシェルスクリプトや Unix (POSIX) コマンドでデータ管理を行うのは避けるべきだと思います。解決不可能な問題が多いからです。しかしそれでも何かしらの理由でやろうと考える（やらなければいけない）のであれば SQLite を使うのをおすすめします。シェルスクリプトや Unix コマンドは行単位の単純なテキストデータをシーケンシャルにデータ処理するのが前提となっており、改行や空白が含まれるデータや複雑な構造のデータ扱うのは苦手です。またシェル
ログ調査でよく使うコマンドの基礎知識 - Qiita
ログの調査はサーバーを運用する上で欠かせません。 この記事ではログの調査によく使うコマンドの使い方を記載しています。 基礎編 次のようなログファイルを例に各コマンドを説明していきます。 order.log(左から注文番号、注文者名、注文方法、注文サイズ、注文数) 注文1 ミロゴス太郎 店舗注文 Lサイズ 15 注文2 ミロゴス二郎 宅配注文 Mサイズ 25 注文3 ミロゴス三郎 宅配注文 Sサイズ 46 注文4 ミロゴス太郎 店舗注文 XLサイズ 80 注文5 ミロゴス太郎 宅配注文 Sサイズ 39 注文6 ミロゴス三郎 店舗注文 Mサイズ 53 注文7 ミロゴス二郎 店舗注文 Mサイズ 22 注文8 ミロゴス四郎 宅配注文 LLサイズ 68 注文9 ミロゴス五郎 店舗注文 Sサイズ 42 注文10 ミロゴス太郎 宅配注文 Sサイズ 39 ❯ cat order.log # ファイルの中身
ログ調査でよく使うコマンドの基礎知識 - Qiita
ログの調査はサーバーを運用する上で欠かせません。 この記事ではログの調査によく使うコマンドの使い方を記載しています。 基礎編 次のようなログファイルを例に各コマンドを説明していきます。 order.log(左から注文番号、注文者名、注文方法、注文サイズ、注文数) 注文1 ミロゴス太郎 店舗注文 Lサイズ 15 注文2 ミロゴス二郎 宅配注文 Mサイズ 25 注文3 ミロゴス三郎 宅配注文 Sサイズ 46 注文4 ミロゴス太郎 店舗注文 XLサイズ 80 注文5 ミロゴス太郎 宅配注文 Sサイズ 39 注文6 ミロゴス三郎 店舗注文 Mサイズ 53 注文7 ミロゴス二郎 店舗注文 Mサイズ 22 注文8 ミロゴス四郎 宅配注文 LLサイズ 68 注文9 ミロゴス五郎 店舗注文 Sサイズ 42 注文10 ミロゴス太郎 宅配注文 Sサイズ 39 ❯ cat order.log # ファイルの中身
ソフトウェア開発の見積もり入門
見積もりとは？ Wikipediaによると見積もりとは、以下のようにあります。 見積（みつもり。見積り、見積もりとも書く）とは、金額・量・期間・行動を前もって概算すること。見積もること。あらましの計算をすること。また、その計算。目算。「所要時間を見積る」、「一日の来客者数をざっと見積もった」など、おおよその感覚で数字の見当をつける場合の口語体表現でも使われる。 Wikipedia このように見積もりとは、なにかを行う前に事前にその結果を予想しておくことを言います。 見積もりを使うケースは、ソフトウェア開発に限った話ではありませんが、製造業であるソフトウェア開発においては『見積もり』というタスクは様々なケースで登場します。 見積もりが苦手な人は多い ソフトウェア開発では、「この機能を開発するときにどのくらいで完成できますか？」といったケースが見積もりのシチュエーションとしては多いかと思います
新しいメンバーがジョインしたときのAWSトレーニング/ハンズオン - Qiita
概要 新しくジョインしたメンバー向けに独自でトレーニングメニューを作成し、最新の情報に追従してアップデートしていくのはコストがかかる面もあります。 AWSは公開されているトレーニングが豊富なので、私のチームではそれを活用しています。良さそうなハンズオンを適宜さがしてきて「作ったものを説明&デモ」「手順の存在しないオリジナル追加課題」という工程を加えています。 今のところ省力で効果的と感じているので、流れやハンズオンの探し方をまとめてみました。 流れ 経験や勉強していることを改めてヒアリング。担当予定のシステムのアーキテクチャを説明し、理解度をお互いに確認。 レベルと補完しておきたいサービスに応じたハンズオンを探す トレーニングの実施 ゴールの設定 フェーズ① ハンズオンを一通り完了させる 作ったものをデモを交えて説明&QA。 ゴールの設定 フェーズ② フェーズ①で作ったものに対してオリジナ
GitLabで学んだ最高の働き方。気持ちよく働くための組織と個人のテクニック（前編）。デブサミ2022
今日は「GitLabで学んだ最高の働き方」ということで発表していきたいと思います。 私、伊藤と佐々木はGitLabでソリューションアーキテクトをやっている者です。 GitLabは、オンプレミス用のソフトウェアと、GitLab.comも長年やっておりますのでぜひ使ってください。去年めでたく上場しましたので、さらにいろんな機能を追加して強力なDevOpsプラットフォームとして展開していきたいと思っています。 このセッションで共有したい内容の背景、これは個人的にGitLab社に参画した理由のひとつでもあるのですが、製品が魅力的であることともうひとつ、GitLabはご存じの通り、ご存じない方もいるかもしれませんが、従業員全員がリモートワークをしている企業です。 そこなら最先端のやり方での働きができるのではないか、という仮説が私の中にありまして、入社しました。 で、実際どうだったかというと、はい、最
システム運用アンチパターン
上層部がDevOpsに理解のない組織で働き、組織構造を変える権限を持っていない開発者であっても、チームにDevOpsを導入するための現実的な方法を紹介します。 重厚な承認プロセス、可視化されていない運用、プロセスの最後でのみ行われるソフトウェアテスト、ノイズだらけのアラート、インシデントから学習しない習慣、時間外のデプロイ、情報のため込みなどを取り上げ、ソフトウェアシステムの開発運用が滞るチームや組織に共通してみられる陥りがちな状況や犯しがちな間違いをアンチパターンとして紹介します。そして管理職やマネージャでなく、エンジニアが実行し、繰り返すことで改善できる具体的な行動を解説します。 組織で必要とされる変化を、エンジニアが行動することで実現する本書は、ソフトウェアシステムをよりよく開発運用したいエンジニア必携の一冊です。 目 次 序文 本書について 1章 DevOpsを構成するもの 1.1
複数行にマッチさせる正規表現 | You Look Too Cool
JavaScriptで複数行にマッチさせる方法が分かりません。 やむを得ず次のように改行を「@」などの文字に変換してからマッチさせていました。
VARCHARの末尾の空白は比較時に無視される - Qiita
redshiftの公式ドキュメントを読んでて知ったのですが、そうみたいです。 MySQLでも同じ挙動でした。 恥ずかしながら最近初めて知ったので、勢いで書きました。。。 以下、redshiftで検証してみます。 どういうことか こんなデータがあったとします。 > \d purchase Table "public.purchase" Column | Type | Modifiers -----------+-----------------------------+----------- date | timestamp without time zone | userid | character varying(12) | productid | character varying(12) | cnt | integer | > select * from purchase; date
Apache Superset の可視化例紹介 - GiXo Ltd.
この記事は GiXo アドベントカレンダー の 9 日目の記事です。 昨日は、SPA の First View 表示速度を改善するでした。 Technology Div.の幸田です。 本記事では、OSSのBIツールであるApache Superset（以下Superset）を使った可視化をご紹介します。 はじめに 弊社でBusiness Intelligence（BI）ツールといえばTableau一択ですが、今年は珍しく他のBIツールに触れる機会がありました。その中でも私が特に時間をかけたのがSupersetです。 Supersetに関する記事は公式ドキュメント含めて環境構築系が多く、グラフ作成に関するものが少ないため、やりたかったグラフ作成方法の半分以上を独力で確立しました。Tableauとの比較のためにグラフを作りこむ必要があったのですが、欲しい情報をネットの海から拾えたことはあまりあ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
チームの仕事はまわっていたけど、メンバーはそれぞれモヤモヤを抱えていた話──40名の大規模開発チームで1on1ログを公開してみた / opened 1on1 logs
Airflowを広告データのワークフローエンジンとして運用してみた話
