脳に収まるコードの書き方
Mark Seemann 著、吉羽 龍太郎、原田 騎郎 訳、Robert C. Martin まえがき TOPICS 発行年月日 2024年06月 PRINT LENGTH 312 ISBN 978-4-8144-0079-9 原書 Code That Fits in Your Head FORMAT Print PDF EPUB ソフトウェアは複雑さを増すばかりですが、人間の脳は限られた複雑さしか扱えません。ソフトウェアが思い通りに動くようするには、脳に収まり、人間が理解できるコードを書く必要があります。 本書は、拡張を続けても行き詰ることなくコードを書き、複雑さを回避するための実践的な方法を解説します。最初のコードを書き始めるところから機能を追加していくところまでを解説し、効率的で持続可能なペースを保ちながら、横断的な問題への対処やトラブルシューティング、最適化を行なう方法を説明します
DB設計書の管理が楽になるDBML入門 – DBMLの書き方,dbdiagram.io, dbdocs の紹介 – | SIOS Tech. Lab
こんにちは！サイオステクノロジーの安藤 浩です。DB設計書の生成が容易にできるDBMLをご紹介します。DBMLの入門として、DBMLの書き方、ER図生成方法、Github actionsでCIを実行して閲覧する方法をご紹介させていただきます。 DBMLとは DBML は DataBase Markup Language の略でDB構造を定義するために設計された言語です。 DB構造に焦点を当てており、可読性の高い言語です。 dbdiagram.io や dbdocs.io などを利用することでDBドキュメントの生成が可能です。 コードベースで図を生成できる点でPlantUMLと似ていますね。 DBMLの書き方 テーブルの書き方 まずはテーブルの定義の例をもとにDBMLの記法を紹介していきます。users というテーブルを作成してみます。コードは以下のようになります。 Table users
技術的負債という言葉がある。もともとは、「楽するために導入したが、メンテにコストがかかるようになってしまった技術や構成」くらいの意味合いで使われているように思う。しかし、そもそも全部が負債ではないか、というのがこのメモの趣旨である。 負債 同僚とSlackで会話していると、「けっきょくどの言語を利用しても負債になるときはなるし、大抵負債になる」といった話になった。言われてみればそうで、基本的にコードというものは書いたそばから負債になっていく。去年書いたコードのことも思い出せない。 そんな中で思ったのだが、そもそも、負債になるコードと負債にならないコードとがあったり、技術が「負債化する」のではなく、コードや技術そのものが負債なのではないか。そして、どの言語で書こうが負債からは逃れることができない。負債にならないコードは存在しない。ゆえに、コードや技術は無ければ無いほど良い、ということになる。
データ基盤のためのリーダブルSQL
これは何？ 私tenajimaがデータ基盤のパイプラインを作るとき、レビューするときに意識している点を言語化したものです データ基盤を作る上での考え方の一つに役立てていただければ幸いです この記事の前提 dbtを使ったデータ基盤構築を念頭に置いて書いています、dbtの記法が出てきます CTEsが使える環境を想定しています 記事内でデータエンジニアもアナリティクスエンジニアも総称してデータエンジニアと呼んでいます データ基盤を「使う側」のクエリと「作る側」のクエリの違い 最近ではファーストキャリアからデータエンジニアの方も出てきているかもしれませんが、データサイエンティスト、アナリスト、ソフトウェアエンジニアを経験してデータエンジニアを行っている人が一般的と考えています。 特にデータサイエンティスト、アナリストからデータエンジニアへの転向は私の周りでは多いように感じており、その方達は(過去の
tl;dr はじめに DuckDB とは DuckDB では何が読めるのか 使ってみる S3 上のJSON を読んでみる リレーショナルデータベース 他ツールではなく DuckDB を使うメリット しくじりポイント （特にリリースされたばかりの）バージョンには気をつける S3 のオブジェクト数が多い場合不都合がありがち スレッドの調整が必要な場合も Redshift には未対応 終わりに 付録 MySQL のデータを読み込む例の MySQL 側の準備 tl;dr DuckDB 便利だよ。分析以外でも使えるよ 色々な場所のデータを閲覧・結合できるよ。標準SQLも使えるよ ただし、細かい落とし穴は色々あるので気をつけてね はじめに2023年4月にデータエンジニアとして入社したmin（@not_rogue）です。暖かくなるにつれ、YouTube で見た南伊豆ロングトレイル | 松崎町に行く機運が
全社データ活用基盤をTreasureDataからBigQueryへ移行しました - Leverages データ戦略ブログ
はじめに こんにちは。データエンジニアリンググループの森下です。今回は、私がプロジェクトマネージャーとして約3年間かけて実施した、TreasureDataからBigQueryへの全社データ活用基盤移行プロジェクトについてお話します。このプロジェクトは、全社で1日あたり数千件のクエリが実行されるデータ基盤を移行するという大規模なもので、関係者の数は200〜300人に上りました。プロジェクト期間中は、データ活用基盤の技術調査から始まり、関係者への説明や調整、データ移行、クエリ移行、ETLやReverse ETLに使用する各種ツールの導入など、本当に多くのタスクがありました。 プロジェクト背景: TreasureData導入とその課題 TreasureData導入の背景 2024年時点ではGoogle BigQueryを使用していますが、その前の環境が導入された背景を説明します。 2018年12
テスト自動化のために作られたIDE「Aqua」、JetBrainsが正式公開。Webインスペクタ、HTTPクライアント、テストランナー、デバッガーなど統合。個人向けは無料
テスト自動化のために作られたIDE「Aqua」、JetBrainsが正式公開。Webインスペクタ、HTTPクライアント、テストランナー、デバッガーなど統合。個人向けは無料 JetBrainsは、テスト自動化のためのテストコード作成や自動テストの実行などに最適化した統合開発環境「Aqua」の正式版を公開しました（β版登場時の機能紹介）。 Aquaはテスト自動化でよく使われるJava、Python 、JavaScript、TypeScript、Kotlin、SQLなどの言語と、Selenium、Playwright、Cypressなどの主要なフレームワークをサポート。 クラスやシンボルなどを認識するスマート検索や、安全な名前の変更と削除、メソッドの抽出、変数の導入、変数またはメソッドのインライン化などのリファクタリング支援機能も備えています。 JUnit、TestNG、Pytest、Jest、
Introducing pg_timeseries: Open-source time-series extension for PostgreSQL May 20, 2024 • 6 min read We are excited to launch pg_timeseries: a PostgreSQL extension focused on creating a cohesive user experience around the creation, maintenance, and use of time-series tables. You can now use pg_timeseries to create time-series tables, configure the compression and retention of older data, monitor
こんちには。 データアナリティクス事業本部 機械学習チームの中村(nokomoro3)です。 Quaryというエンジニア向けのBIツールが気になったので使ってみました。 GitHub - quarylabs/quary: Open-source BI for engineers VSCodeの拡張機能やCLIが準備されており、以下のことができます。 データベースへの接続 dbtに類似した機能 sqlファイルとしてmodelを記述可能、schemaもyamlファイルで記述可能 schemaはGUIで操作もでき、リネージも表示可能 また簡単なグラフなどもyamlファイルで管理可能 対応ソースはBigQueryやSnowflakeなどとなっていますので、今回はBigQueryで試してみようと思います。 BigQuery側の準備 前準備として、以下のページにある ml-latest-small.z
AWS 運用におけるベストプラクティスが学べる【Cloud Operations on AWS】を受講してみた | DevelopersIO
こんにちは、AWS事業本部オペレーション部の清水です。 AWS Certified SysOps Administrator - Associate 認定を取得するべく、「Cloud Operations on AWS」を受講してきました。 今回のトレーニングはドライランになり、試験的にまず社内向けに実施されました。今後は一般の皆様向けにご提供されるコースになります。 本コースの受講をお考え中の方へ、お役に立てば幸いです。 AWS認定トレーニングとは？ 以下のブログに、弊社AWS認定トレーニング講師の平野のほうで執筆した各トレーニングの詳細が記載されています。 私が今回受講したのは、まだドライランのためこちらの図には載っておりません。（多分、今後掲載されるはずです） 前提条件 AWS Technical Essentials コースの修了 ソフトウェア開発またはシステム管理の経験 コマンド
Oracle、「Oracle Database 23ai」を発表 AIベクトル検索に対応、SQLでBoolean型を追加
Oracleは2024年5月4日（米国時間）、コンバージドデータベースの最新バージョン「Oracle Database 23ai」（旧称：Oracle Database 23c）を発表した。Oracle Database 23aiでは、AI（人工知能）に焦点を当て、製品名を23cから23aiに変更したとしている。 Oracle Database 23aiは「Oracle Exadata Cloud@Customer」「OCI Exadata Database Service」「OCI Base Database Service」「Azure Oracle Database Service」で利用できる。自律型データベース「Oracle Autonomous Database」を無料で提供する「Always Free」版でも同バージョンを利用可能で、「Autonomous Database
ITエンジニアの仕事をすると障害はつきものです。 障害は情報セキュリティの３要素である、機密性、完全性、可用性 のいずれかが、確保できない状態だと捉えられます。 なかでもダントツに多いのが、可用性の事故です。 可用性とは許可された者が、必要な時に必要な情報にアクセスできることを確実にすることです。 可用性を損ねる要因として多いのは、ネットワークの不調やサーバー機器のリソース不足など、インフラに起因したものがほとんどです。これらは突発的に起きることもありますが、システムの稼働当初から起きることも多くあります。本当はシステムを構築する段階で、可用性に関わる検証をしておくのが望ましいのですが、実際はそういう工程を経るプロジェクトは少ないと思います。 わたしが構築したシステムではじめて障害を起こしたのは、入社二年目の 1992年 です。それ以降も、直接的、間接的に関わらず、何度も障害を経験してます
【セキュリティ ニュース】「Zabbix」のサーバに深刻な脆弱性 - 3月の更新で修正済み（1ページ目 / 全1ページ）：Security NEXT
「Zabbix」のサーバに深刻な脆弱性が明らかとなった。3月のアップデートで修正済みだという。 現地時間5月17日にセキュリティアドバイザリが公開され、脆弱性「CVE-2024-22120」について明らかにしたもの。同脆弱性に関する詳細や実証コードが公開されている。 スクリプトのコマンド実行後に追加される監査ログの処理において、タイムベースでブラインドSQLインジェクションが可能。データベースから任意の値を取得したり、ユーザーから管理者への権限昇格が可能となるほか、リモートからコマンドを実行されるおそれもある。 共通脆弱性評価システム「CVSSv3.1」のベーススコアは「9.1」、重要度は4段階中もっとも高い「クリティカル（Critical）」とレーティングされている。 「同6.4.12」「同6.0.27」および以前のバージョンに影響があり、現地時間3月25日にリリースされた「同6.4.1
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
すべてのコードやライブラリ自体が技術的負債である / 高利率な技術と低利率な技術 - Lambdaカクテル
DuckDBでお手軽！データフェデレーション - Techtouch Developers Blog
Introducing pg_timeseries: Open-source time-series extension for PostgreSQL | Tembo
エンジニア向けのBIツール、QuaryをBigQueryに接続して使ってみた | DevelopersIO
棚卸を効率化するためにシステムの可用性を損ねた思い出 - 叡智の三猿