働いてみないとわかりにくいIT業界の構造 SI系・プロダクト系それぞれで異なる“求められる能力”と“キャリアパス” 総工費4億円のラボから生中継！CTOが語る、これからのエンジニアに求められる技術 #1/3 ウイングアーク１ｓｔ・CTO 島澤甲氏 島澤甲氏：みなさんこんにちは。私はウイングアークでCTOをしている、島澤と申します。このセッションでは、これから技術者を目指されているみなさんに対してなにかヒントになるようなものを伝えられたらいいかなと思っています。 （スライドを示して）まずウイングアークですが、私たちは、帳票やBIと呼ばれるところでトップシェアを占めています。今日は、「このセッションは会社の宣伝をしなくてもいいよね」という話をしたら「別にかまわん」ということだったので、会社の宣伝はもうしません。気になる方はちょっとホームページを見てもらえればと思います。業績などもありますが、順
SQL滅ぶべし | ドクセル
SQL • リレーショナルデータベースシステムと会話するための言語 • 1970年 Codd が RDB モデルと同時に提案 (Alpha言語) • 1974年 Chamberlin と Boyce が改良 • 元々は SEQUEL (Structured English Query Language) だったが、商標登録されていた • 読み方は エスキューエル とそのまま読む (Glliespie 2012)
最近、LLMにWeb Backendを書かせて遊ぶ、Hanabiというサービスを作っています。その開発過程で、前に試したLLMをAPIとして振る舞わせるアプローチを再検討したので、記事としてまとめました。 一年ちょっと前、私はChatGPTをWebフレームワークにしようと試みました...が、残念ながら全く実用的ではありませんでした。しかし、あれから一年、LLMは目覚ましい進歩で進化を遂げました。価格は下がり、速度も上がり、記憶容量の増加やRAGの発展など、もはや別物レベルで進化しています。 いまならもうちょっと実用的なヤツが作れるんじゃねってことで、色々な手法を面白がった再検討したまとめです。 余談ですが、一年前はLLM=ChatGPTという状況でしたね...懐かしい。ちょうどvicuna13Bが出た頃ですかね? ↓去年の記事(できれば読んでほしい)↓ 出来たもの 全部プロンプトに入れちゃ
結論 お手軽モノリスならAutoIncrementが効率的だしこれでいいよ アプリケーション側で主キーを生成したい場合はLUIDを作る必要があるよ。GUIDで大は小を兼ねよう 主キーでGUIDを使うならULIDよりもUUIDv7がおすすめだよ ただし分散されているエンジンによってはUUIDv4の方が効率的になる場合もあるよ 主キーは原則公開しない方がいいよ UUIDv7やULIDはユニーク性を持ったInstant(timestamp)としても使えるよ 分散されたシステムでは厳密な時系列性を担保することはできないよ、あきらめてロックをかけつつ連番を一か所で生成しよう RDBのPrimary Key(主キー)とは？ MySQL、PostgresQLなどのRDBでは各レコードを識別するために一意な値を必要とします。これをPrimary Key(主キー)と呼びます。別のカラムにUNIQUEなInd
CQRS設計パターンをモダナイズする
CQRSとは CQRS（Command Query Responsibility Segregation、コマンド・クエリ責務分離）は、ソフトウェアアーキテクチャパターンの一つで、つまりシステムのコマンド部分をクエリ部分から分離します。基本的な考え方は、データの書き込み操作（コマンド）と読み取り操作（クエリ）を異なるモデルで扱うことです。これにより、スケーラビリティ/パフォーマンス/セキュリティの観点で柔軟な設計が可能となり、クエリ要件に合わせて最適化が実現できます。 CQRSの基本構成としては、 コマンドモデル（書き込みモデル）：データの作成、更新、削除といった書き込み操作を担当します。このモデルは、データの整合性と一貫性を確保するために最適化されています。 クエリモデル（読み取りモデル）：データの読み取り操作を担当します。このモデルは、クエリのパフォーマンスを最大化するために最適化され
SNSを通じた「ギブ&テイク型情報収集術」と、後悔しない技術選定を叶える方法【DBエンジニア｜こば】 レバテックラボ（レバテックLAB）
SNSを通じた「ギブ&テイク型情報収集術」と、後悔しない技術選定を叶える方法【DBエンジニア｜こば】 2024年5月8日 データベースエンジニア／DBソムリエ こば -Koba as a DB engineer-（@tzkb／小林隆浩） 基盤担当のエンジニアとして様々なプロジェクトで経験を積み、中でもデータベースに関する設計、運用、トラブルシューティング等を専門とする。得意とするDBMSはOracle DatabaseおよびPostgreSQL。オライリー社刊行・書籍「詳説 データベース」監訳者。itmediaにてクラウドネイティブなDBやNewSQLに関する連載を持つ。 X Zenn Qiita connpass SpeakerDeck 技術や業界など仕事についての情報収集の基盤として多くのエンジニアを支えていたTwitter（現X）が、以前とは異なる姿となってゆく今、必要な情報を過不足
導入 こんにちは、株式会社ナレッジセンスの須藤英寿です。普段はエンジニアとして、LLMを使用したチャットのサービスを提供しており、とりわけRAGシステムの改善は日々の課題になっています。 本記事では、Pinterest社のエンジニアチームが紹介していた、実運用環境におけるText-to-SQLの構築方法に関する記事の紹介をします。 Text-to-SQLを実際の運用レベルで実現するための手法が解説されているので、その内容を解説、そして考察していきたいと思います。 なおこの手法には特に名前などは設定されていなかったので、以降Pinterest社の提案するText-to-SQLをPinterest Text-to-SQLと呼称します。 サマリー Pinterest Text-to-SQLは、RAGのシステムを最適化することで 検索に必要なTableのより正確な抽出 実際に使用されている値に準拠
AIにフォーカスしたRDB「Oracle Database 23ai」正式リリース。AI用のベクトルサーチなど可能に
AIにフォーカスしたRDB「Oracle Database 23ai」正式リリース。AI用のベクトルサーチなど可能に オラクルはAIにフォーカスしたデータベース「Oracle Database 23ai」の正式リリースを発表しました。 Oracle Database 23aiは、昨年（2023年）9月にリリースされた「Oracle Database 23c」にAI関連をはじめとする新機能を追加した上で、「23c」の名前を変更したものだと説明されています。 参考：［速報］Oracle Database 23cが正式リリース。JavaScriptストアドプロシージャ、DBに自然言語で問い合わせなど新機能。Oracle CloudWorld 2023開幕 Bring #AI algorithms to where your data lives with Oracle Database 23ai
私たちはなぜNewSQLを使うのかTiDB選定5社が語る選定理由と活用LT【イベントレポート】 - Findy Tools
公開日 2024/05/24更新日 2024/05/24私たちはなぜNewSQLを使うのかTiDB選定5社が語る選定理由と活用LT【イベントレポート】 近年データベースが急速に進化し、開発にも大きな影響を与えています。そこでファインディでは「私たちはなぜNewSQLを使うのか TiDBを選定・導入した5社が語る選定と活用」と題したイベントを開催。PingCAPの日下さん、LINEヤフーの佐伯さん、アイスタイルの鈴木さん、DMM .comのpospomeさん、コロプラの曽我さん、さくらインターネットの江草さんをお招きし、NewSQLの一つである TiDBについて語っていただきました。 ■パネリスト 日下 太智さん / @ksk_tic PingCAP株式会社 プロダクトマネージャー / シニアソリューションアーキテクト SIerにて国内外問わずEC/小売/製造/サービス/メディア/出版など様
データ利活用の推進が行われている昨今、多種多様な企業が散見されているデータの統合を目的としたデータ基盤を構築し、データ利活用できる環境を整備しています。 一方、データ基盤を統合したのは良いけれど、どのようなデータが入っているのか探せず、データ利活用につながらないといった課題が生まれています。 そのような状況の中、データの意味の管理をする「メタデータ管理」が注目を集めています。メタデータの管理・整備の継続をすることでデータ利活用を促すことができます。 本記事では、このメタデータについて、大きく分けて3つのことを説明します。 1つ目は、そもそもメタデータとは何か、2つ目は、メタデータ管理をどのように進めたらよいか、3つ目は、継続してメタデータ管理を続けるための方法です。 日頃データ利活用に携わっており、メタデータ管理に取り組みたいと思っている方々に、本記事を参考にしていただけると幸いです。 こ
ポケモンプログラミングしてるといくつかの有名どころのサイトからデータを収集することになる。具体的には以下のようなサイト。 ポケモン徹底攻略 言わずと知れた、ポケモン情報の総本山。 PokéAPI ポケモンのデータをRESTで提供してくれるサイト。最近はGraphQLもやってるらしい。英語。 ポケモンバトルデータベース ポケモンホームで閲覧できるような、ランクバトルに関する情報を閲覧できるウェブサイト。 それぞれ便利なのだけど、難儀するのがポケモンのIDにそれぞれ互換性がないこと。No.25 ピカチュウのようにポケモンには全国図鑑番号というのが振られていて、基本的にはこれでいいのだけど、リージョンフォーム（同種のポケモンでも登場する地方によって姿や能力が違う）やフォルム（同じ個体でも持たせるアイテムなどによって姿や能力が違う）違いがあり、これのナンバリング方法が統一されていないということだ。
RubyKaigi 2024に参加してきました。 今回参加までに紆余曲折あったので、一時は参加を諦めていたんですが、何とか無事参加することが出来ました。 2011年に初参加して以来休まず参加していたので、ついに連続参加が途絶えるのかと思ってましたが、無事連続参加を達成できて嬉しい限りです。 今回はそういう事情もあってか、コミュニティとの繋がりを強く感じることができたRubyKaigiでした。 色々思いが溢れてしまって、技術的に楽しかったこと、自分が嬉しかったこと、参加前の事情とか全部書いてたらえらい分量になってしまいました。気が向いたら目に付いたところだけ読んでくださいw 参加前 そもそも何があったかというと、大体去年の12月ぐらいから咳が止まらなくなり、更に年明けぐらいに高熱が出た上で咳が出続けている状態でした。 余りに咳が酷かったので、喉に傷が付いた後胃酸が逆流したりして声帯の近くに潰
Amazon MemoryDB for Redisの論文がSIGMOD 2024で採択されたので読んでみた | DevelopersIO
Amazon MemoryDBではトランザクションログサービスへの耐久性のオフロード、スナップショット用にephemeralクラスタを作成、形式手法(TLA+)で一貫性の検証などが活躍しています Amazon MemoryDB for RedisはAWSが2021年から提供するRedis互換でありながら高速なパフォーマンスと耐久性を兼ね備えたエンタープライズなインメモリデータベースです。このAmazon MemoryDBの仕組みについて説明した論文が、2024年6月にチリ・サンティアゴで開催される国際的なデータベース学会の「SIGMOD/PODS 2024」で採択されました。 The 2024 ACM SIGMOD/PODS Conference: Santiago, Chile - Welcome Amazon MemoryDB: A fast and durable memory-fi
兵庫県の西播磨県民局長だった男性（６０）が斎藤元彦知事らの言動を「違法行為」などと指摘する文書を作成し、停職処分を受けた問題で、斎藤氏は８日の定例会見で、名誉毀損（きそん）罪での告訴などについて「考えていない」と述べた。これまで「法的手続きを進めている」としていたが、撤回した。文書で指摘された自身のパワハラ疑惑などについては説明を避けた。 男性は３月、知事や幹部職員に関する疑惑を記載した文書を報道機関や県議などに配布。同月２７日の会見で、斎藤氏は「（文書の内容には）職員らの信用失墜、名誉毀損など法的課題がある。被害届や告訴も含めて法的手続きを進めている」と明言していた。 疑惑の真偽について、斎藤氏は第三者による調査を否定。県の人事当局が内部調査するとし、県は今月７日、文書内容の核心的な部分が事実ではないとして男性を停職３カ月の懲戒処分とした。 この日の会見で斎藤氏は、人事当局による内部調査
Difyで生成AIアプリケーション入門 後編：自作プログラムで機能追加して生成AIの指向性と精度を高める | フューチャー技術ブログ
概要前回に引き続き Dify と Anthropic Claude （OpenAI でも OpenRouter 経由の何かでもOK）を使って簡単に生成AIアプリケーションを構築する方法をご紹介します。 チュートリアル3：セルフレビュー機能付きのSQL生成AIチャットbot前編のチュートリアル1で作ったSQL生成チャットbotをベースに、セルフレビュー機能を追加し、間違ったSQL文や存在しないテーブルやカラムを使用しようとした時に自動でやり直すように改修します。 DB用意SQLの実行環境が必要になりますが、ちょうど Dify が使用している DB（Postgresql） サービスがあるので、これにホストOSからアクセスできるようにします。別でDBを用意できる場合はそちらでもOKです。 docker-compose.yml で以下の行をアンコメントしてください。 docker-compoese
NotionのデータベースビューテーブルにcURLからData APIで行を追加してみた | DevelopersIO
Notionのデータベースビューテーブルのレコードの追加は、親ページに子ページを追加して実現されています Notionのデータベースビューテーブルでは、レコードの追加は親ページ(データベース)に子ページ(レコード)を追加して実現されています。 呼び出すAPIは https://api.notion.com/v1/pages への POST リクエストであり、APIに利用するインテグレーションには「コンテンツを挿入」機能が必要です。 初手でインテグレーションの挿入権限不要、データベースの更新APIを検討して回り道してしまったので、知見を共有します。 RDBへのSQL操作でも、レコード追加はテーブルへの更新(ALTER)ではなく、テーブルへのレコード追加(INSERT)なので、このようなAPI操作は自然です。 なお、 Notionのテーブルはシンプルテーブルとデータベースビューテーブルの2種類
ITエンジニアの仕事をすると障害はつきものです。 障害は情報セキュリティの３要素である、機密性、完全性、可用性 のいずれかが、確保できない状態だと捉えられます。 なかでもダントツに多いのが、可用性の事故です。 可用性とは許可された者が、必要な時に必要な情報にアクセスできることを確実にすることです。 可用性を損ねる要因として多いのは、ネットワークの不調やサーバー機器のリソース不足など、インフラに起因したものがほとんどです。これらは突発的に起きることもありますが、システムの稼働当初から起きることも多くあります。本当はシステムを構築する段階で、可用性に関わる検証をしておくのが望ましいのですが、実際はそういう工程を経るプロジェクトは少ないと思います。 わたしが構築したシステムではじめて障害を起こしたのは、入社二年目の 1992年 です。それ以降も、直接的、間接的に関わらず、何度も障害を経験してます
2024年度のサイバーエージェント新卒社内研修で「データベースの歴史」の話をしました | CyberAgent Developers Blog
こんにちは。 AI事業本部の協業リテールメディアdivでバックエンドエンジニアをしている yassun7010 といいます。 先日、 AI 事業本部の新人研修で「データアプリケーション」の講師を同じチームの 千葉 と担当しました。 今回の記事では、主に私が担当した「データベースの歴史」の章の講義資料を公開し、資料を作成する際に考えていたこと・伝えたかったことを話します。 「データベースの歴史」で説明されている内容は、AI事業本部の新卒研修で毎年取り上げられているものです。こういった研修の資料は、同じテーマであっても講師をする人の好みが反映されやすく、今年の資料も先人が作られた昨年の資料を参考にしつつ、私が好きな話題を多く取り入れたものに仕上がりました。 SlideShare でも公開しています。 今年の構成は、データベースを RDS・NoSQL・NewSQL として分け、下記のような構成を
こんにちは、データプラットフォームチームの鳥山（@to_lz1）です。 Classiでは、2019年ごろからデータ基盤に「ソクラテス」の愛称をつけて運用を続けています。初期の構成は2021年に書かれたエントリ*1にも詳しいですが、数年の間に進化したことも増えてきました。 大きな変化の一例として、最近、私たちのチームではdbt*2を導入してジョブ間の依存管理やメタデータの管理を改善しました。 本記事ではこの取り組みをピックアップして紹介します。また、進化したソクラテスの構成図をアップデートするとともに、Classiデータプラットフォームチームの最新版の雰囲気もお伝えできればと思います。 dbt移行前の構成 ジョブ間の依存管理がつらい メタデータの管理がつらい 過去との差分と、移行への機運 周辺ツールのエコシステムが整った エンジニア以外のメンバーがPull Requestを出すことが減った
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
働いてみないとわかりにくいIT業界の構造 SI系・プロダクト系それぞれで異なる“求められる能力”と“キャリアパス”
LLMをWebフレームワークにしたら、未来が見えた #2024
RDBの主キー、UUID使った方がいいの？(DDD, CleanArchitecture対応)
Pinterest社で運用されているText-to-SQLを理解する
データ利活用を推進するのためのメタデータ管理術 | 日本発のデータカタログ「COMETA」
全ポケモンの名寄せデータ POKEMON_ALL.json を作った - 詩と創作・思索のひろば
RubyKaigi 2024に参加できて本当に良かった - joker1007’s diary
兵庫県知事が「違法行為」告発文書問題で法的手続きを撤回 自身の疑惑は説明せず
棚卸を効率化するためにシステムの可用性を損ねた思い出 - 叡智の三猿
dbtを導入した話、そしてClassiのデータ基盤「ソクラテス」の現在地 - Classi開発者ブログ