NoSQLデータモデリング技法.markdown #NoSQLデータモデリング技法 原文：NoSQL Data Modeling Techniques « Highly Scalable Blog I translated this article for study. contact matope[dot]ono[gmail] if any problem. NoSQLデータベースはスケーラビリティ、パフォーマンス、一貫性といった様々な非機能要件から比較される。NoSQLのこの側面は実践と理論の両面からよく研究されている。ある種の非機能特性はNoSQLを利用する主な動機であり、NoSQLシステムによく適用されるCAP定理がそうであるように分散システムの基本的原則だからだ。一方で、NoSQLデータモデリングはあまり研究されておらず、リレーショナルデータベースに見られるようなシステマティック
はじめに バックエンドエンジニアは、プログラミングの中で特にイメージがわきにくい分野である。簡単に言えば、バックエンドエンジニアはユーザから見えない部分にあるシステムである。(例えば、ユーザ認証やデータベース設計・操作・運用などが例として挙げられる) 例えば、ECサイトを運用する際に、ユーザから見えるUIだけを作っても作動しない。バックエンドになるシステムの構築も必要なのだ。 今回はバックエンド開発を理解する上で必要な10の知識を徹底解説する。その中で、個人の見解に過ぎないが初心者にオススメのバックエンドのフレームワークを3選紹介する。あくまで一個人の見解に過ぎないが、今回の記事を通してバックエンドの学習方法またはその魅力を十分に理解していただければ非常に幸いである。 本題に入る前に、本記事における「バックエンド」はあくまで認証やデータベースなどシステムやソフトウェアの裏側で動作しているも
DevOpsの負の側面について
トランスクリプト Protsenko氏：私の名前はMykytaです。Netflixで働いています。私の仕事は基本的に、他の開発者が遅くまで職場に残らなくてもいいようにすることです。彼らが午後5時に退社しても生産的であることが私の実現したいことです。私はプラットフォーム組織、つまり生産性エンジニアリング部門で働いており、他のエンジニアのために労力を抽象化しようとしているのです。エンジニアが同じ退屈な技術的問題に何度も対処するのではなく、ビジネス上の問題の解決に集中できるようにします。 いくつか質問させてください。あなたたちのうち何人が、自分で作って自分で動かすという哲学を実践している会社で働いてますか？生産現場との間にゲートキーパーがいないこと、機能や修正をより早く提供できることに満足している人はどれくらいいますか？本番環境で発生したインシデントに対処しているときに、どうすればいいのか分から
達人出版会
探検! Python Flask Robert Picard, 濱野 司(訳) BareMetalで遊ぶ Raspberry Pi 西永俊文 なるほどUnixプロセス ― Rubyで学ぶUnixの基礎 Jesse Storimer, 島田浩二(翻訳), 角谷信太郎(翻訳) 知る、読む、使う！ オープンソースライセンス 可知豊 きつねさんでもわかるLLVM 柏木餅子, 風薬 R／RStudioでやさしく学ぶプログラミングとデータ分析 掌田津耶乃 データサイエンティストのための特徴量エンジニアリング Soledad Galli(著), 松田晃一(訳) 実践力をアップする Pythonによるアルゴリズムの教科書 クジラ飛行机 スッキリわかるサーブレット＆JSP入門 第4版 国本 大悟(著), 株式会社フレアリンク(監修) 徹底攻略 基本情報技術者教科書 令和6年度 株式会社わくわくスタディワール
MongoDBが時系列データ対応、サーバレス対応、HTTPS経由でのAPI操作対応など機能強化を相次いで発表
MongoDBが時系列データ対応、サーバレス対応、HTTPS経由でのAPI操作対応など機能強化を相次いで発表 NoSQLデータベースには、MongoDBに代表されるドキュメントデータベース、InterSystems IRISに代表されるオブジェクトデータベース、Neo4jに代表されるグラフデータベース、Redisに代表されるキーバリューストアなど、さまざまな製品があります。 ガートナーが発表したNoSQL専業ベンダに関する調査結果によると、NoSQL市場の中で過去5年において圧倒的に高い成長率を見せ、市場のリーダーとなっているのがMongoDBです。 ガートナーは2016年に発表したクラウドサービス「MongoDB Atlas」がこの成長を支えてきた大きな要因だと分析しています。 そのMongoDBはMongoDBは、6月7日から9日にかけて米ニューヨークで開催されたイベント「MongoD
グラフモデルとSoEとGraphQL / TECH STAND #7 GraphQL 2022/03/03 に行われた stand.fmさん主催の TECH STAND #7 にて上記のタイトルで登壇しました。 今回の内容は GraphQLの採用を検討するにあたって、RESTとの違い、BFFとの違いをデータの観点から言語化したかった Hasuraが良いという意見と, Apolloやgraphql-ruby, gqlgenなどのハンドライティングなGraphQLが良いという意見の違いがどこから生まれているかの考察がしたかった データ指向アプリケーションデザイン(2017年リリース)にSoEやGraphQLへの言及がないため, 今だとこういう内容が書かれているんじゃないかという考察がしたかった をモチベーションに調査・検討しました。 発表のハイライトはこちらです。 以下発表内容です。一部発表時
達人出版会
探検! Python Flask Robert Picard, 濱野 司(訳) BareMetalで遊ぶ Raspberry Pi 西永俊文 なるほどUnixプロセス ― Rubyで学ぶUnixの基礎 Jesse Storimer, 島田浩二(翻訳), 角谷信太郎(翻訳) 知る、読む、使う！ オープンソースライセンス 可知豊 きつねさんでもわかるLLVM 柏木餅子, 風薬 デザインディレクション・ブック 橋本 陽夫 現場のプロがやさしく書いたWebサイトの分析・改善の教科書【改訂3版 GA4対応】 小川 卓 解釈可能なAI Ajay Thampi(著), 松田晃一(翻訳) PowerPoint 目指せ達人 基本&活用術 Office 2021 & Microsoft 365対応 PowerPoint基本＆活用術編集部 ランサムウェア対策 実践ガイド 田中啓介, 山重徹 TODによるサステナ
達人出版会
探検! Python Flask Robert Picard, 濱野 司(訳) BareMetalで遊ぶ Raspberry Pi 西永俊文 なるほどUnixプロセス ― Rubyで学ぶUnixの基礎 Jesse Storimer, 島田浩二(翻訳), 角谷信太郎(翻訳) 知る、読む、使う！ オープンソースライセンス 可知豊 きつねさんでもわかるLLVM 柏木餅子, 風薬 R／RStudioでやさしく学ぶプログラミングとデータ分析 掌田津耶乃 データサイエンティストのための特徴量エンジニアリング Soledad Galli(著), 松田晃一(訳) 実践力をアップする Pythonによるアルゴリズムの教科書 クジラ飛行机 スッキリわかるサーブレット＆JSP入門 第4版 国本 大悟(著), 株式会社フレアリンク(監修) 徹底攻略 基本情報技術者教科書 令和6年度 株式会社わくわくスタディワール
オープンソースを促進することを目的とする組織「Open Source Initiative」が、アメリカの連邦地方裁判所で「『オープンソースライセンスの下でライセンスされていないソフトウェア』がオープンソースであると主張することは虚偽の宣伝に当たる」という判決が下ったことを明らかにしました。 Case No. 5:18-cv-07182-EJD ORDER GRANTING PLAINTIFFS’MOTION FOR PARTIAL SUMMARY JUDGMENT; DENYING DEFENDANTS’ CROSS-MOTION FOR SUMMARY JUDGMENT (PDFファイル)https://storage.courtlistener.com/recap/gov.uscourts.cand.335295/gov.uscourts.cand.335295.118.0.pdf
キャリアって何だ？ 自分らしい強みを活かし、蓄積することで、到達するありたい姿 Will：何がしたいのか Can：何ができるのか Must：何を求められているのか スキルの寿命は短くなり、キャリアの形成期間は長期化の傾向にある。 自らのキャリアアンカーを知る 長期的な方向性の道しるべとして「キャリアアンカー」を活用する。 エドガー・H・シャイン（Edgar Henry Schein）博士によって提唱されたキャリア理論 築き上げてきたキャリアに基づいた、生涯にわたってぶれない自己欲求・または自己が望む価値観 まずは「セルフアセスメント（40問）」を実施し自分のタイプを把握しておく 8つの分類（専門・職能別 / 全般管理 / 保障・安定 / 起業家的創造性 / 自律と独立 / 社会への貢献 / ワークライフバランス / 純粋なチャレンジ） ※注意：8つの分類とは違うキャリアアンカーを持つ人もい
［速報］Google Cloudが「Gemini Code Assist」発表。最新のAIによるコーディング支援、Stack Overflowのナレッジも統合。Google Cloud Next '24
Google Cloudは、日本時間4月10日未明から開催中のイベント「Google Cloud Next '24」で、最新のAIによるコーディング支援サービス「Gemini Code Assist」を発表しました。 Gemini Code Assistは、GitHub CopilotやAWS CodeWhispererなどと競合するサービスと位置づけられます。 Gemini Code Assistは最新AIモデル「Gemini」採用 Google Cloudは昨年（2023年）12月にAIによるコード補完やコード生成などを実現する「Duet AI for Developers」を正式リリースしています。今回発表されたGemini Code Assistは、同社の最新AIモデルである「Gemini」を採用したDuet AI for Developersの進化版だと説明されています。 参考：
達人出版会
探検! Python Flask Robert Picard, 濱野 司(訳) BareMetalで遊ぶ Raspberry Pi 西永俊文 なるほどUnixプロセス ― Rubyで学ぶUnixの基礎 Jesse Storimer, 島田浩二(翻訳), 角谷信太郎(翻訳) 知る、読む、使う！ オープンソースライセンス 可知豊 きつねさんでもわかるLLVM 柏木餅子, 風薬 R／RStudioでやさしく学ぶプログラミングとデータ分析 掌田津耶乃 データサイエンティストのための特徴量エンジニアリング Soledad Galli(著), 松田晃一(訳) 実践力をアップする Pythonによるアルゴリズムの教科書 クジラ飛行机 スッキリわかるサーブレット＆JSP入門 第4版 国本 大悟(著), 株式会社フレアリンク(監修) 徹底攻略 基本情報技術者教科書 令和6年度 株式会社わくわくスタディワール
RAG（Retrieval Augmented Generation）は大規模言語モデル（LLM）の性能を改善するための手法の1つであり、質問に対する回答を生成する際に、外部知識源から情報を取り込みます。 これにより、LLM 自体で学習できる情報量に制限されることなく、より正確で詳細な回答を生成することができます。 よく使われているRAGでは、外部知識源として検索エンジンにテキストをインデックスしておき、質問に関連するテキストをベクトル検索や全文検索を用いて取得します。しかし、構造化データを扱うことには苦労するため、質問によっては回答が不十分、あるいはまったく回答できないことに繋がります。 これらの問題を克服するために、ナレッジグラフを用いたRAGが構築されることがあります。ナレッジグラフでは、エンティティとその間の関係がグラフ構造で表現されており、単純な検索を用いた場合には回答できないよ
Neo4jは、最も人気のあるオープンソースのグラフデータベースです。 このシリーズでは、Dockerを使って、Neo4jを試していきたいと思います。 今回は、Dockerを使ったNeo4jのセットアップとユーザの作成について解説していきたいと思います。 目次 DockerでNeo4jを起動！ 初回ログイン！ ユーザを追加してみる！ 「system」データベースに切り替え トライアル用のユーザを追加 作成したユーザで再ログイン サンプルコード まとめ DockerでNeo4jを起動！ docker-compose.ymlを追加して、以下のような設定を追加してください。 version: '3' services: neo4j: image: neo4j restart: always ports: - 57474:7474 - 57687:7687 volumes: - ./volumes/
オープンソースのグラフデータベース「Neo4j 4.0」正式版リリース。リアクティブアーキテクチャを新採用 オープンソースのグラフデータベースであるNeo4jの最新版「Neo4j Graph Database 4.0」正式版がリリースされました。 Introducing Neo4j Graph Database 4.0 [GA Release] – by @jimwebber, Chief Scientist @Neo4jhttps://t.co/X8csuFuEFC#GraphDatabase #Neo4j — Neo4j (@neo4j) February 4, 2020 一般に、リレーショナルデータベースではテーブルのあいだで関係が設定されますが、グラフデータベースではデータひとつひとつがほかのデータとの関係を持てます。 また、あるデータとデータとの関係において重要度や距離、評価、時
今回紹介する言語は、グラフデータベースのNeo4jで使う問い合わせ言語のCypherです。Cypherは一般的なデータベースを操作するSQLと同等の機能をグラフデータベースで扱えるように設計されたものです。グラフデータベースは見た目も面白く、データ管理だけでなく視覚化の点でも役立ちます。 Cypherで3と5の公倍数を表示したところ Cypherとは 以前、本連載では一般的なデータベース(RDBMS)で使えるSQLについて紹介しました。SQLはデータベースの問い合わせ言語であり、簡単なコマンドによりデータの挿入、変更、削除、検索を行います。 同じように、Cypherを使うことでグラフデータベースを操作できます。CypherはもともとNeo4jのために設計されましたが、2015年にオープンソースのプロジェクトとしても公開されています。 グラフデータベースNeo4jとは なお、Neo4jという
はじめに この記事はAuth.jsがどのようなものか，どのように実装すればいいかなどをドキュメントを要約しながら紹介するものです． Auth.jsは2024/02/19現在ドキュメント整備中です．現在のドキュメントとは内容が異なる場合があります．この記事では旧ドキュメントの内容も交えて解説しています． Auth.jsとは？ (https://authjs.dev/ より) Auth.js is a complete open-source authentication solution for web applications. Check out the live demos of Auth.js in action: Next.js SvelteKit SolidStart Auth.jsはwebアプリのための完全なオープンソース認証ソリューションです．その特徴として， 簡単に OAu
Google Cloud Next '22で発表された全 123 項目 | Google Cloud 公式ブログ
※この投稿は米国時間 2022 年 10 月 15 日に、Google Cloud blog に投稿されたものの抄訳です。 今週、世界中の都市で Google Cloud Next '22を開催し、皆様に重要なニュースやお知らせをご紹介できたことを嬉しく思います。ニューヨーク市の開会基調講演から 24 時間のライブ配信が始まり、その後西海岸に移動し、カリフォルニア州サニーベールの Google Cloud 本社から「Top 10 Cloud Predictions」のデベロッパー基調講演が行われました。Next '22はその後太平洋を渡り、東京（日本）、バンガロール（インド）へと移り、ミュンヘン（ドイツ）で終了しました。グローバルなイベント、Innovators Hive にご参加いただいた何千人ものデベロッパーの皆様に感謝いたします。ぜひ、すべてのブレイクアウト セッションをご確認くださ
無料のフルマネージドなグラフデータベース「Neo4j AuraDB Free」発表。5万ノード、17万5000リレーションシップまで利用可能
無料のフルマネージドなグラフデータベース「Neo4j AuraDB Free」発表。5万ノード、17万5000リレーションシップまで利用可能 Neo4j社は、同社が提供する代表的なグラフデータベース製品のマネージドサービス「Neo4j AuraDB」の無料版「Neo4j AuraDB Free」を発表しました。 We’re excited to announce that everyone can now use Neo4j AuraDB Free, and get started without a credit card!https://t.co/ZT4tw2VB3U#GraphDatabase #Cloud #Neo4j — Neo4j (@neo4j) November 3, 2021 Neo4j AuraDBは、オープンソースのグラフデータベースとして知られる「Neo4j」を、ク
Commando VMとは 「Commando VM（Complete Mandiant Offensive VM）」とは、ペネトレーション・テストやレッドチームの担当者をサポートすることに焦点を当てたWindows OSディストリビューションです。 サイバーセキュリティ企業のFireEye（ファイア・アイ）が立ち上げたプロジェクトです。 ペネトレーションテストに特化したディストリビューションとして、Kali LinuxやParrot Security Linuxが人気です。これらは、いずれもLinux OSをベースとしたディストリビューションです。 これに対して、Command VMは、Windows OSをベースとしたディストリビューションです。 このため、Windows OSおよびActive Directoryをネイティブサポートし、ファイル共有をより簡単に（かつインタラクティブに
BlueTeam CheatSheet * Log4Shell* | Last updated: 2021-12-20 2238 UTC
20211210-TLP-WHITE_LOG4J.md Security Advisories / Bulletins / vendors Responses linked to Log4Shell (CVE-2021-44228) Errors, typos, something to say ? If you want to add a link, comment or send it to me Feel free to report any mistake directly below in the comment or in DM on Twitter @SwitHak Other great resources Royce Williams list sorted by vendors responses Royce List Very detailed list NCSC-N
自然言語処理(NER, RE)を使ってニュースデータから知識グラフを構築してみました - GMOインターネットグループ グループ研究開発本部
2022.04.07 自然言語処理(NER, RE)を使ってニュースデータから知識グラフを構築してみました はじめに こんにちは、次世代システム研究室のC.Wです。 知識グラフは近年流行始めた概念で、お恥ずかしいのですが今年に入ってから知識グラフの概念を知りました。その思想を分かればわかるほど高い興味が湧いていきて、これこそがデータの最終的な形式ではないのかと思い始めています。 ただ構築しやすくないのが知識グラフの問題であって、自然言語処理を使って一発の自動作成ができるとすごく嬉しいと思ったので今回のテーマを研究しました。それでは始めましょう。 TL；DR ニュースデータからグラフDBに落とすまでを一通り試して、結果は微妙だった 自然言語処理の結果がグラフの意義性を左右している （言ってみれば当たり前のことです！） 知識グラフの概要 知識グラフとは、グラフ構造のデータモデルまたはトポロジを
Dark Side of DevOps
Transcript Protsenko: My name is Mykyta. I work at Netflix. My job is basically making sure that other developers don't have to stay at work late. I call it a win when they can leave at 5 p.m., and still be productive. I work in the platform organization, namely in productivity engineering, where we try to abstract toil away for the rest of engineers. Where we try to make sure that the engineers c
JJUG CCC 2023 Fall ( #jjug_ccc ) - セッション資料の一覧 - 地平線に行く
JJUG CCC 2023 Fallに参加しました！ 前回よりも参加者が大幅に増えて、ワイワイと盛り上がった中でいろんな話が聞けて楽しかったです！ 特に、一足先に次回の Java 22 でリリース予定の Foreign Function & Memory API と String Template の話があって、使えるようになるのが楽しみになりました。 あと、今回「バイナリビューアを使ってクラスファイルを読んでみよう！」というテーマで登壇しました。 思ったよりもたくさんの人に聞いてもらえて、そして楽しんでいただけたようで、嬉しかったです。前日まで、これ分かりにくいけどどうしたら…と悩みながら内容を練った甲斐がありました。 準備は大変でしたが、また機会があれば頑張ります！ さて、最後にいつものを。 今回、残念ながら時間がかぶってしまって参加できなかったセッションがいっぱいあったので、あとで読
Datomic Cloud を半年運用した感想｜hden
こんにちは、株式会社トレタで Clojure を書いている鄧（でん）です。 2021 年 7 月より新規事業をして飲食店向けのセルフオーダーシステムを開発しており、そのバックエンドに Datomic Cloud と Clojure を採用しました。 採用理由は幾つかありますが、主に履歴、監査ログ、変更通知周りの機能要件がマッチしていると考えており、現状 Datomic と親和性が最も高い Clojure も共に採用しました。 良かったところ、気に入ったところ直感的なデータモデリングができる データモデリングをする際には意外とデータベース自体の制限や思想に影響されることがあると思います。例えば MySQL や PostgreSQL などのリレーショナルデータベース（RDB）に慣れている人であればリレーショナルな情報を表現するときに 1:1、1:n、n:1、n:n の関係性をテーブル構造として
Become part of a community passionate about building better apps. Introducing Ristretto: A High-Performance Go Cache This post made it to the top of Golang subreddit and is trending in top 10 on the front page of Hacker News. Do engage in discussion there and show us love by giving us a star. With over six months of research and development, we’re proud to announce the initial release of Ristretto
本記事は DMMグループ Advent Calendar 2019 の11日目の投稿です。 先日12/10は @mimickn さんの neo4jでグラフ同士の差分を取る でした。 はじめに DMM.com VR研究室の クレウス(kleus_balut) です。 2018年2月からVRChatユーザーで、2019年4月からDMM.com VR研究室配属、 2019年8月末にリリースしたVRゲーム BOW MAN では、UI実装を中心に担当しました。 個人では VIVEBatteryInfo という、VRソーシャル向けのVRオーバーレイツールを開発/頒布しています。 VR向けUI/UXについて VRのコンテンツでは「VRならでは」を求めがちですが、UI/UXもそうであるとは限りません。 むしろ、旧来のUI (本記事では以下「2D-UI」) をそのままVR空間に3Dオブジェクトとして配置した
JPCERT/CCでは、イベントログの分析をサポートするツール「LogonTracer」の最新バージョン1.6をリリースしました。これまでのLogonTracerは、複数のインシデントを同時に調査する機能はありませんでしたが、今回のアップデートで複数のログを管理する機能を追加しました。さらに、Sigmaを使ってイベントログの中から不審なログの有無を調査する機能を追加しました。 今回は、このアップデートについて紹介します。その他のアップデート内容については下記のリリースをご覧ください。 https://github.com/JPCERTCC/LogonTracer/releases/tag/v1.6.0 ログ管理機能 複数のインシデントを調査する場合、各インシデントで別々のログ管理を行ったり、複数インシデントを同時に調査したいことがあります。LogonTracerでは、ケースという単位でログ
オープンソースのデータ・ディスカバリーおよびメタデータ・エンジン「Amundsen」の概要紹介＆クイックスタート実践 | DevelopersIO
以前購入した下記書籍『AWSで始めるデータレイク』を切っ掛けにこの書籍を題材にした読書会を始めた、というのはエントリ内でも言及していました。その読書会も今月末の第24回を以て無事最終回を迎える予定です。ほぼ週2回(1回1時間)のペースで駆け抜けた形となりましたが、様々なトピックで大いに盛り上がる内容となりました。 その中でも盛り上がったトピックが『データカタログ』でした。書籍ではAWS Glueのデータカタログが言及・紹介されていましたが、Glueデータカタログ機能そのものの話から、『データカタログ』に求めるもの、また『俺達の欲しいデータカタログ機能はこういうものなのだ』というディスカッションは参加者各位の経験やノウハウ等も相まって熱量が最も多く、また様々な示唆に飛んだ知見を共有することが出来てとても有意義な時間となりました。これだけでも読書会をやった価値があったな、と思った次第です。 そ
Dockerは2023年10月3日から10月5日に開催されたDockerCon 2023で、「Neo4j」「LangChain」「Ollama」とともに「GenAI Stack」を発表した。 GenAI Stackは、Dockerおよび生成AI（GenAI）分野の先端技術を結集したもので、開発者はわずか数クリックでGenAI Stackをデプロイし、生成AIを活用したアプリケーションを開発、構築できるという。 GenAI Stackの特徴は GenAI Stackを利用することで、AI／機械学習（ML）モデルの統合を簡素化し、生成AI技術を容易に利用できる。Ollama、Neo4jなど生成AIによるアプリケーション開発に必要な開発環境が、Dockerコンテナで連携可能な状態で提供される。 関連記事 「生成AI」と「ローコード／ノーコード開発ツール」は相性が良い？ 日立ソリューションズが導入
At DockerCon 2023, with partners Neo4j, LangChain, and Ollama, we announced a new GenAI Stack. We have brought together the top technologies in the generative artificial intelligence (GenAI) space to build a solution that allows developers to deploy a full GenAI stack with only a few clicks. The maintainers of curl, the popular command-line tool and library for transferring data with URLs, will re
週刊Railsウォッチ（20191008後編）Ruby 2.7のInteger#[]でバイナリチェック、rubyzip gemは強力、13KBのJavaScriptゲームほか｜TechRacho by BPS株式会社
2019.10.08 週刊Railsウォッチ（20191008後編）Ruby 2.7のInteger#[]でバイナリチェック、rubyzip gemは強力、13KBのJavaScriptゲームほか こんにちは、hachi8833です。今夜のノーベル賞は物理学賞ですね。 各記事冒頭には⚓でパーマリンクを置いてあります: 社内やTwitterでの議論などにどうぞ 「つっつきボイス」はRailsウォッチ公開前ドラフトを（鍋のように）社内有志でつっついたときの会話の再構成です👄 毎月第一木曜日に「公開つっつき会」を開催しています: お気軽にご応募ください 今回も第15回公開つっつき会を元にお送りします。 ⚓Ruby ⚓Ruby 2.7でInteger#[]にrangeを扱う機能が追加（Ruby Weeklyより） 訂正（2019/10/09）: 見出しに「にrangeを扱う機能」を追加しました
![週刊Railsウォッチ（20191008後編）Ruby 2.7のInteger#[]でバイナリチェック、rubyzip gemは強力、13KBのJavaScriptゲームほか｜TechRacho by BPS株式会社](https://cdn-ak-scissors.b.st-hatena.com/image/square/e261e6d74656a4bb6568a00ee1851e326ee9dc1b/height=288;version=1;width=512/https%3A%2F%2Ftechracho.bpsinc.jp%2Fwp-content%2Fuploads%2F2019%2F10%2Frailswatch_20191008_eyecatch.png)
2019年3月19日、Data Engineering Meetupが主催するイベント「Data Engineering Meetup #1」が開催されました。データの収集や管理、処理、可視化など、データエンジニアリングに関する技術の情報を共有する本イベント。データエンジニアリングの最前線で活躍するエンジニアたちが集い、自身の知見を共有します。プレゼンテーション「Spark 2.4 & 3.0 - What's next? - 」に登壇したのは、株式会社エヌ・ティ・ティ・データの猿田浩輔氏。講演資料はこちら Accelerator Aware Scheduling 猿田浩輔氏（以下、猿田）：Barrier Execution Modeのお話はここまでで、次はAccelerator Aware Schedulingですね。最近Project Hydrogenの中ではこの機能の議論が活発で、S
SecurityGitHub Security Lab audited DataHub: Here’s what they foundThe GitHub Security Lab audited DataHub, an open source metadata platform, and discovered several vulnerabilities in the platform's authentication and authorization modules. These vulnerabilities could have enabled an attacker to bypass authentication and gain access to sensitive data stored on the platform. At GitHub, we really ca
開催期間: 2020.8.28 - 2020.9.10 Kindleストアの出版社横断プログラミング書籍セール 700冊以上が対象 50%ポイント還元 or 50%オフ (対象外のも含まれていますのでご注意を) 出版社別対象作品リスト: インプレス / 日経PB / SBクリエイティブ / マイナビ出版 / 秀和システム / 翔泳社 / 近代科学社 / MdN / NextPublishing (セール対象外多め) 本ページはキンセリの特設ページです アマゾンに当セールの対象作品一覧ページが存在しないので作成しました （間違い等ありましたら運営者までお知らせくだされば幸いです） 沈黙のWebライティング —Webマーケッター ボーンの激闘— 沈黙のWebマーケティング −Webマーケッター ボーンの逆襲− ディレクターズ・エディション アルゴリズムイントロダクション 第3版 総合版：世界標
Against SQL
TLDR The relational model is great: A shared universal data model allows cooperation between programs written in many different languages, running on different machines and with different lifespans. Normalization allows updating data without worrying about forgetting to update derived data. Physical data independence allows changing data-structures and query plans without having to change all of y
GitHub - ardatan/graphql-mesh: 🕸️ GraphQL Mesh - The Graph of Everything - Federated architecture for any API service
https://www.graphql-mesh.com GraphQL Mesh allows you to use GraphQL query language to access data in remote APIs that don't run GraphQL (and also ones that do run GraphQL). It can be used as a gateway to other services or run as a local GraphQL schema that aggregates data from remote APIs. The goal of GraphQL Mesh is to let developers easily access services that are written in other APIs specs (su
名寄せの仕組み - astamuse Lab
この記事は 自然言語処理 Advent Calendar 2020 の25日目の記事です。 こんにちは、rinoguchi です。今年の4月に こちらの記事 を書いて以来、半年ぶりの投稿になります。 当社では、特許・研究課題・論文など多くの知的財産データを保持しています。これらのデータを活用するには、データに含まれる同一組織・同一人物に対して同一IDを付与してデータをグルーピングすることが必要であり、この作業のことを名寄せと呼んでいます。 今回はこの名寄せの仕組みについて紹介したいと思います。 大まかな処理フロー 当社では名寄せ処理を、まずそれぞれのデータソース（例えば特許や論文など）の中で実行し、次に異なるデータソース間で実行することで、最終的に組織ID・人物IDに対して特許・研究課題・論文などを紐づけたデータを生成しています。 とはいえ、データソース内名寄せもデータソース間名寄せも仕組
Spark+AI Summit 2019参加レポート at San Francisco — Spark3.0/Koalas/MLflow/Delta Lake
こんにちは，NTTの山室です． 今回の記事は4/23–25にサンフランシスコで開催されたSpark+AI Summitの参加レポートになります．興味のある情報への良い足がかりになることを目的に，個人的にチェックした内容を浅く広めに取り上げます． 以下の公式サイトに大半の発表資料と動画が公開されていますので，興味がある方はそちらも併せて参照してください． Spark+AI Summit 2019 Agenda Summitの翌日に訪問した会場近くのDatabricks社Spark+AI Summitは現在年に2回アメリカ西海岸とヨーロッパで開催されているDatabricks（Sparkの作者が在籍する企業）主催のイベントです．特に毎年サンフランシスコで開催されるSummitは規模が大きく，今回世界中から5,000人を超える参加者が集まったそうです． この記事では個人的に興味を持った以下の内容
GitHub - amundsen-io/amundsen: Amundsen is a metadata driven application for improving the productivity of data analysts, data scientists and engineers when interacting with data.
Amundsen is a data discovery and metadata engine for improving the productivity of data analysts, data scientists and engineers when interacting with data. It does that today by indexing data resources (tables, dashboards, streams, etc.) and powering a page-rank style search based on usage patterns (e.g. highly queried tables show up earlier than less queried tables). Think of it as Google search
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
NoSQLデータモデリング技法 · GitHub
バックエンド開発の基本を理解するために必要な10の知識 2022年版
データ指向アプリケーションデザインから見るGraphQL
「ソフトウェアがオープンソースでないのにオープンソースをうたうのは虚偽広告に当たる」という判決が下る
サイバーセキュリティ領域で生き抜くためのキャリア論 - Qiita
ナレッジグラフを用いたRAGの改善 - Ahogrammer
【Neo4j】Dockerで試すNeo4j【第１回／セットアップ編】 - mlog
オープンソースのグラフデータベース「Neo4j 4.0」正式版リリース。リアクティブアーキテクチャを新採用
世界のプログラミング言語(39) グラフデータベースをCypherでデータを視覚化してデータを再発見しよう
Auth.jsを完全に理解する (基本編) #1 - Qiita
敵対的思考を支援するWindows ディストリビューション - Commando VM - Qiita
Introducing Ristretto: A High-Performance Go Cache - Dgraph Blog
VR向けUI/UXの検討と、その歴史 - Qiita
LogonTracer v1.6 リリース - JPCERT/CC Eyes
Docker、生成AIアプリの開発環境構築を容易にする「GenAI Stack」を発表
Introducing Dockercast – the Docker Podcast | Docker Blog
新しいグラフ処理ライブラリ「Spark Graph」とは何か？ Apache Spark 2.4 & 3.0の新機能を解説 Part2
GitHub Security Lab audited DataHub: Here's what they found
【Kindle】夏のプログラミング書 合同フェア (2020/8/28から9/10まで)