LINE株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。 LINEヤフー Tech Blog はじめに こんにちは、Data Platform室IU Devチームの島村です。 Data Platform室では、約400ペタバイトのデータ分析基盤を運用しております。このData Platformは、「Information Universe」(以下、IU) と呼ばれており、LINEの様々なアプリケーションから生成されるデータをLINE社員が活用できるように、データの収集、処理、分析、可視化を提供しています。私が所属するIU Devチームでは、「IU Web」を開発しています IU Webは、IUのデータを安全にかつ効率的に活用できるようにするData Catalog機能を提供しており、LINEグループのあらゆるサービスか
GitHub - japan-opendata/awesome-japan-opendata: Awesome Japan Open Data - 日本のオープンデータ情報一覧・まとめ
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
AWSのフランクフルトAZ障害、消火システム誤作動により入室遮断、復旧対応が出来ず Data Center Cafe 2021.06.128,166 views 空気循環システムの故障により、AWSのフランクフルトのアベイラビリティゾーンが3時間にわたり停止しました。通常では日常的に行われている作業が、消火システムが作動したことで不可となり、状況が悪化したようです。 問題は消火システムが空気中の酸素を除去してしまったため、約1時間の間、スタッフは復旧作業でデータホールに立ち入ることができず、停止時間が長引いたことです。Amazon Web Servicesのステータスページによると、現在はすべてのシステムが正常に動作しているとしています。なお、今回は1つの アベイラビリティゾーン での障害であったため、お客様への影響は限定的であったとのことです。 入室抑制システム障害は13：18PDT（日
Overview of The Modern Data Stack / モダンデータスタック概論
顧客に価値を届け続けられる プロダクトであるために ~B2B SaaSにおいてプロダクトビジョン・戦略を改めて 策定するまでの道のり~
Transformerによる時系列データ予測のご紹介 - Platinum Data Blog by BrainPad
本記事は、当社オウンドメディア「Doors」に移転しました。 約5秒後に自動的にリダイレクトします。 発展を続ける「自然言語処理」技術。その中でも幅広く使用される深層学習モデルTransformerは、自然言語処理以外の音楽生成や物体検出などの領域でも適用できます。本ブログでは、 Transformerを時系列データに適用する方法をご紹介します。 こんにちは、AIソリューションサービス部の井出と申します。 この記事では、特に自然言語処理分野で幅広く使用される深層学習モデルTransformerを時系列データへ適用する方法に関してご紹介します。 以前の記事では、Transformerの構造や特徴などについて、自然言語処理分野の機械翻訳を例としてご紹介しております。はじめに、こちらの記事をご一読していただくことで、より本記事でご紹介する内容に対する理解が深まるかと思います。 Transform
IoT と時系列データと Elasticsearch | Data Pipeline Casual Talk Vol.4
IoT と時系列データと Elasticsearch Data Pipeline Casual Talk Vol.4 株式会社ソラコム ソリューションアーキテクト 今井 雄太Read less
Amazon AuroraのデータをリアルタイムにGoogle BigQueryに連携してみた / Realtime data linkage from Amazon Aurora to Google BigQuery
Amazon AuroraのデータをリアルタイムにGoogle BigQueryに連携してみた / Realtime data linkage from Amazon Aurora to Google BigQuery
import { Redis } from '@upstash/redis' const redis = new Redis({ url: 'https://obi-wan-kenobi-31346.upstash.io', token: 'TOKEN', }) const data = await redis.set('foo', 'bar');// Producer import { Kafka } from "@upstash/kafka" const kafka = new Kafka({ url: "https://dart-vader-9500-eu1-rest-kafka.upstash.io", username: "USERNAME", password: "PASSWORD", }) const p = kafka.producer() const res = awai
Serverless Postgres Every database is a fully managed Postgres instance
Dolt is a SQL database that you can fork, clone, branch, merge, push and pull just like a Git repository. Connect to Dolt just like any MySQL database to read or modify schema and data. Version control functionality is exposed in SQL via system tables, functions, and procedures. Or, use the Git-like command line interface to import CSV files, commit your changes, push them to a remote, or merge yo
Azure OpenAI Service On Your Data の仕組みと使う上で気を付けるべきポイント
はじめに Microsoft Build 2023 で発表された Azure OpenAI Service の On Your Data のパブリックプレビューが開始 しました。体感的には On Your Data は日本国内の全 Azure OpenAI Service ユーザーのうち 8 ～ 9 割程度のユーザーが待ち望んでいた機能ではないかと感じます。(ryohtaka 調べ) What's new in Azure OpenAI Service - June 2023 New easy way to add your data to Azure OpenAI Service (YouTube) しかし、実際に On Your Data を活用するためには気を付けるべきポイントが数多く存在しており、正確な期待値を持ったうえで使うことが非常に重要になってきます。そこで、本記事では On
GitHub - AppFlowy-IO/AppFlowy: AppFlowy is an open-source alternative to Notion. You are in charge of your data and customizations. Built with Flutter and Rust.
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
The Four Innovation Phases of Netflix’s Trillions Scale Real-time Data Infrastructure
My name is Zhenzhong Xu. I joined Netflix in 2015 as a founding engineer on the Real-time Data Infrastructure team and later led the Stream Processing Engines team. I developed an interest in real-time data in the early 2010s, and ever since believe there is much value yet to be uncovered. Netflix was a fantastic place to be surrounded by many amazing colleagues. I can’t be more proud of everyone
BGP in the Data Centerを読みました (2/6) : Chapter 2 - How BGP Has Been Adapted to the Data Center - baron tech blog
cumulusnetworks.com 今回は2章についてまとめました。 内容はeBGPのDCへの適用であり、RFC 7938に示されているものです。 データセンタネットワーク全般については、”Cloud-Native Data Center Networking” を読むのがおすすめです。 筆者が同じ方で、 "BGP in the Data Center" に記載されている内容も含まれています。 この本はCumulus Networksにより無償で公開されています。 ぜひ読んでみてください。 Download your copy of latest book by Dinesh Dutt, "Cloud Native Data Center Networking." It's a 400-page must-read for all network architects, develop
Go 言語 には data race が存在する
Go 言語 には data race が存在する “Gomium Browser” writeup from Google CTF 2019 Finals @hama7230
GitHub - pyrustic/jesth: Human-readable versatile data format
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
webサービスに関わるうえで読んでおいてうれしかった本20選 - Data Analystのメモ帳
タイトルのとおりです。自分の備忘録というか個人的なまとめ。 統計学とか機械学習とかプログラミングの本を紹介している人はたくさんいるので、それ以外の分野において読んでおいてよかったと感じた本を並べました。 ほとんどがいろんな場所で紹介されるような本ばかりですが、名著はそれだけの価値があるのでやっぱり読んでおくべきだとおもってます。 それぞれの感想とか書きたいんですけど無限に時間が溶けそうなのでとりあえずリストアップだけ。 プロダクトマネジメント・マーケティング たぶん、この分野の本を一番読んできました。市場を理解するという意味ではプロダクトマネジメントとマーケティングは同じなのでひとまとめにしています。Lean Analyticsはデータの話が中心なんですが考え方の軸はプロダクトマネジメントなのでここに入れました。どれか1冊を選ぶならINSPIREDかな。 1. Lean Analytics
dbtを活用したデータ基盤の 論理・物理設計の現在地と振り返り / data warehouse logic design by using dbt
GitHub Next | Flat Data
Flat explores how to make it easy to work with data in git and GitHub. It builds on the “git scraping” approach pioneered by Simon Willison to offer a simple pattern for bringing working datasets into your repositories and versioning them, because developing against local datasets is faster and easier than working with data over the wire.
※ChatGPTと言っていますが、正確にはOpenAIの「code-davinci-003」というGPT-3のモデルを使っています。 ChatGPT、すごいですよね！ 質問すれば、ある程度のことはいい感じの返答をしてくれますね。 例えば「〜と似た文章を作って。」メッセージをChatGPTに投げることで、似たような文章を生成できます。 入力： import openai openai.api_key = key ＃keyはopenaiのページから取得してください。 model_engine = "text-davinci-003" prompt = """ 「MatrixFlowは、AIの開発に特化したノーコード開発のプラットフォームです。 画面上でブロックを動かすという視覚的な操作だけでAIを開発できます。 様々な課題や要望に応じたAIモデルのテンプレートが用意されているため、テンプレート
GitHub - otya128/web-bml: Data broadcasting browser for Japanese TV
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
Distance Measures. Image by the author.Many algorithms, whether supervised or unsupervised, make use of distance measures. These measures, such as euclidean distance or cosine similarity, can often be found in algorithms such as k-NN, UMAP, HDBSCAN, etc.
データアーキテクト（データ整備人）の概観とこれからの展望と課題 / maemuki_data_seibinin01
グループのメンバーになっていただくと新しいイベントが公開された際にご連絡が行きます（登録無料） https://analytics-and-intelligence.connpass.com/ しんゆう＠データ分析とインテリジェンス ブログ ：https://analytics-and-intelligence.net/ Twitter：https://twitter.com/data_analyst_
GitHub - google/intermock: Mocking library to create mock objects with fake data for TypeScript interfaces
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
BGP in the Data Centerを読みました (1/6) : Chapter 1 - Introduction to Data Center Networks - baron tech blog
BGPを採用したデータセンタ (DC) 内のIP Fabricに関して、"BGP in the Data Center" を読んだので、備忘録のためにまとめます。 書籍はCumulus Networksのサイトでダウンロードできます。 cumulusnetworks.com Chapter 6まであるのですが、今回はChapter 1についてまとめました。 今後Chapter 6までまとめていきたいと思います。 データセンタネットワーク全般については、”Cloud-Native Data Center Networking” を読むのがおすすめです。 筆者が同じ方で、 "BGP in the Data Center" に記載されている内容も含まれています。 この本はCumulus Networksにより無償で公開されています。 ぜひ読んでみてください。 Download your copy
import useSWR from 'swr' function Profile() { const { data, error, isLoading } = useSWR('/api/user', fetcher) if (error) return <div>failed to load</div> if (isLoading) return <div>loading...</div> return <div>hello {data.name}!</div> } In this example, the useSWR hook accepts a key string and a fetcher function. key is a unique identifier of the data (normally the API URL) and will be passed to f
AI活用やデータ分析をする前に知っておきたい！エンタープライズデータアーキテクチャ入門/ What You Need to Know Before Using AI and Analyzing Data! Introduction to Enterprise Data Architecture
次のイベントの投影資料です。 https://studyco.connpass.com/event/251782/
ゲームのマスタデータ特有の3つの困難と、カヤックでの解決方法 / How to solve three problems when handling the master-data of mobile games
マスタデータNight #1 https://masterdata.connpass.com/event/155533/
GitHub - TomWright/dasel: Select, put and delete data from JSON, TOML, YAML, XML and CSV files with a single tool. Supports conversion between formats and can be used as a Go package.
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
GitHub - TanStack/query: 🤖 Powerful asynchronous state management, server-state utilities and data fetching for the web. TS/JS, React Query, Solid Query, Svelte Query and Vue Query.
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
GitHub - microsoft/Data-Science-For-Beginners: 10 Weeks, 20 Lessons, Data Science for All!
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
Breck, Eric, et al. "Data validation for machine learning." Conference on Systems and Machine Learning (SysML). https://mlsys.org/Conferences/2019/doc/2019/167.pdf . 2019. 読み手のコンテキスト現職で機械学習予測モデルをプロダクトに投入する様になって3年程経った。そうもなると開発時に想定していた訓練データの分布と現状の分布が乖離して、予測の動作不良を引き起すケースがしばしば見られる様になった。明らかな予測の不具合として目立っていなくとも性能が落ちている部分はもっとあるはずで、これに早く気づいて対応したいモチベーションがある。かつ運用専任メンバーはいないので、できるだけ運用は手を抜きたい。概要著者らはData Validat
概要 WebAssembly 逆アセンブル1 と Rust 製の WebAssembly オプティマイザの twiggy を駆使して、WebAssembly ファイル中の data セクションのサイズ削減を図る 対象読者 WebAssembly を極限まで小さくするための、いかなる苦労を厭わない人 この記事中に、ツールを使えば簡単に WebAssembly を極限まで小さくできる、魔法のような方法が紹介されていると期待していた人はブラウザバック推奨 WebAssembly Text Format にアレルギーのない人 使用ツール WebAssembly for VSCode Visual Studio Code 上で、次の機能を提供する拡張機能 WebAssembly を WebAssembly Text Format に変換する WebAssembly Text Format の色付け
multipart/form-data形式のファイルが突然アップロードに失敗する問題を仮説を立てながら解決する話
こんにちは、株式会社カミナシのエンジニア @imu です。 はじめに 突然ですがファイルアップロードに失敗することってありますよね？ カミナシレポートのプロダクトはオフライン機能を実装しており、オフラインで記録したデータをアップロードしたときに失敗するケースが、特定の条件下で起きるようになりました。そのため一部のお客様のデータが端末に残り続け、なんとかしてほしいとサポート依頼が発生しておりました。 私自身、半年ぶりにカミナシレポートのプロダクトに戻ってきたばかりで、リハビリのissueとなりました(笑) 今回は問題を解決するまでの仮説や、調査から解決までお話したいと思います！ ※オフライン対応をなぜしているのかは以前書いたこちらを参照いただければと思います。 kaminashi-developer.hatenablog.jp 結論 何が問題だったか結論だけ知りたい方はこちらへ 開発環境 g
Ship fast and manage your data with ease. Connect to Google Sheets.
Ship fast and manage your data with ease. Connect to Google Sheets.Use Google Sheets as your no-setup data store. Build fast and get a familiar interface for managing the data, with the open source Stein. Kick off projects or build prototypes, fastDon't bother yourself with the underlying bits and infrastructure. Focus on executing your idea. Web, mobile, desktop or IoT - Stein helps everything. C
LLMを効率的に再学習する手法(PEFT)を解説 - Platinum Data Blog by BrainPad
本記事は、当社オウンドメディア「Doors」に移転しました。 約5秒後に自動的にリダイレクトします。 このたびブレインパッドは、LLM/Generative AIに関する研究プロジェクトを立ち上げ、この「Platinum Data Blog」を通じてLLM/Generative AIに関するさまざまな情報を発信をしています。今回は、効率的にLLMのような事前学習済みモデルを再学習する手法(PEFT)についてご紹介します。 問題意識 ビジネスで利用する際に乗り越えるべき壁 PEFTとは何か？ PEFTのコンセプト分類 トークン追加型 Prefix Tuning P Tuning Prompt Tuning Adapter型 Adapter LoRA型 LoRA Ada LoRA まとめ 参考文献 こんにちは、アナリティクスサービス部の辻です。 今回は、LLMを効率的に再学習する手法として今後
アジア最大級の国際Scalaカンファレンスである「ScalaMatsuri2020」がオンラインで開催されました。そこでTreasure DataのTaro L. Saito 氏がScalaに関するいろいろなテクノロジーを紹介しました。まずは、バックエンドとフロントエンドの両方で使えるScalaについて。 趣味はオープンソースのプロジェクトを作ること Taro L. Saito氏：「Scala For Everything」というタイトルで発表します。簡単な自己紹介を。Treasure DataのSaitoといいます。Principal Software Engineerをしていて、今、カリフォルニア、アメリカの西海岸から発表しています。タイムゾーンの都合上、今こちらは夜の20時なんですけれども、ScalaMatsuriの運営の麻植さんが、タイムゾーンに配慮してくださったので、非常に感謝し
GitHub - PRQL/prql: PRQL is a modern language for transforming data — a simple, powerful, pipelined SQL replacement
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
本記事は、当社オウンドメディア「Doors」に移転しました。 約5秒後に自動的にリダイレクトします。 ブレインパッドは、LLM/Generative AIに関する研究プロジェクトを立ち上げ、この「Platinum Data Blog」を通じてLLM/Generative AIに関するさまざまな情報を発信をしています。今回は、プロンプトエンジニアリングをテーマに、1カ月ほど前に発表されたレビュー論文と関連論文を紹介します。 目次 今回のテーマ なぜプロンプトエンジニアリングが必要か？ プロンプトエンジニアリング：基礎編 抑えておきたい考え方 明確に、正確に ハルシネーションスノーボール (Hallucination snowball) 1.1 ユーザーの要求を明確化するタイプ 1.2 LLMの知識を引き出すタイプ 2.1 直列型：推論ミスを減らすタイプ 2.2 並列型：出力の堅牢さを高めるタ
ChatGPT (Advanced Data Analysis)でBNF式からパーサーを生成する - Taste of Tech Topics
こんにちは、最近ピアノを習い始めた安部です。 今回は、ChatGPTのAdvanced Data Analysis (旧Code Interpreter)にBNF式を与えてパーサーを作成してもらおうと思います。 BNF式のように機械的に解釈可能なものであれば、正確にコードを生成してくれるのではないでしょうか？ BNFでうまくいけば、その他の様々な形式のデータやフォーマットからパーサーを自動生成してくれることが期待できそうです。 1. BNFとは BNF（バッカス・ナウア記法）とは、プログラムの構文規則（文脈自由文法）を記述するための記法です。 正確な定義よりも具体例を見た方が早く理解できると思うので、例を示します。 『プログラム意味論』（横内寛文 著）の冒頭に登場する、非常に単純なプログラムを許容する言語の定義です。 <変数> ::= A | B | C | ... | Z <定数> ::
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
LINEの大規模なData PlatformにData Lineageを導入した話
AWSのフランクフルトAZ障害、消火システム誤作動により入室遮断、復旧対応が出来ず | Data Center Café
Upstash: Serverless Data Platform
Data platform for PostgreSQL - Xata
GitHub - dolthub/dolt: Dolt – Git for Data
データの価値を失わないためのData Reliability
ChatGPTで自然言語処理のData Augmentationやってみた。｜tdual
9 Distance Measures in Data Science
React Hooks for Data Fetching – SWR
Data validation for machine learning 読んだ
WebAssembly: data セクションの最適化 - Qiita
Scalaはバックエンドでもフロントエンドでも動く Treasure Dataのエンジニアが語るScalaの応用力の高さ
プロンプトエンジニアリングの基本と応用 - Platinum Data Blog by BrainPad