ElectricSQLでLocal-firstなアプリを作る | DevelopersIO
Introduction Electric は先日TechRadarで知ったフレームワークです。 このフレームワークはWebアプリ/モバイル用のlocal-first syncフレームワークです。 local-firstとは、Web/モバイルアプリがローカルにある組み込みDB(SQLite など） とやり取りし、大元となるDBとレプリケーションでデータが同期されるアーキテクチャです。 Electricは、ローカルDBにSQLite、大元のセントラルDBにPostgreSQLを使用します。 今回はElectric SQLでサンプルコードを動かしてみます。 Electric SQL? Electricは、Local-first のアプリを構築するためのシステムです。 ここにあるように、Electricを使うと、 リアクティブ、リアルタイム、Local-first なアプリをPostgres上で
Soda SQLとStreamlitでポータブルなデータ品質チェックツールを実装する
以前、Great Expectationsを使ったデータバリデーションの仕組みについての記事を書きました。 Great Expectationsはデータに対するテスト実行とプロファイリングを実行し、結果をHTMLで出力してくれる、高機能で便利なツールでした。しかし、環境の構築や設定の準備に手間が掛かり、スモールスタートでテストだけ始めたいというような場合は導入のコストがネックになると思います。 一方で、Great Expectationと同様に有名なツールとして、Soda SQLというものがあります。こちらは、コマンドラインツールで、pipでインストールしてYAMLでテストやプロファイリングの設定を記述すればすぐに実行することができます。 ただし、テストやプロファイリングの実行結果はJSONになるので、Webブラウザでレポートを見たいといった場合には、自前でその仕組みを実装する必要がありま
Streamlit 1.35.0の新機能紹介 - Qiita
Streamlitとは StreamlitはPython向けのWebアプリケーションフレームワークです。 Streamlitを使うとフロントエンドの知識ゼロでもデータを可視化するためのWebアプリケーションを簡単に作れます。以下のような機能が特徴。 変数を地の文に書くだけで、GUIに出力される(マジックコマンド) st.radioやst.text_inputのようなWidget APIを呼び出すだけで、GUIコンポーネントが生成される Streamlitの最新バージョン Streamlitの最新バージョンはChangelogで確認できます。 2024/1/31時点で最新バージョンは1.35.0です。 1.35.0では次がHighlightsとしてアナウンスされています。 チャートのSelection DataFrameのSelection st.logo また、st.page_linkにG
rails statsと企業価値 - algonote
開発スピードが遅いのか、作っているものの筋が悪いのか 前口上: rails statsで企業価値は測れるか？ rails stats はRailsリポジトリの統計情報が取れる便利コマンドです。LaravelでもLaravel Statsを使って php artisan stats で同様のことができます。 結構リポジトリの内情を丸裸にするコマンドで、モデルやコントローラーのサイズからアプリの規模感が掴めますし、コードとテストの割合からしっかりテストが書かれているかがわかります。 Webサービスの事業価値は大きく見れば売上や成長率、より細かく見ると業態やtoBかtoCか、どこの産業向けか、アクティブユーザー数などで決まります。一方でIPO以降の売上成長率は従業員数に比例しているという話もあり、ビジネススキームが決まってしまえば後は頭数に比例するとも言えそうです。 Four Keysなどの開発
国の機関サイトの残存率 | 特色あるコレクション（おすすめコンテンツ）｜国立国会図書館インターネット資料収集保存事業
ウェブサイトは時間の経過とともに新陳代謝が進んでいきます。WARPで集めた国の機関サイトの中から1,000万ファイルを抽出して、過去5年間の残存状況を分析しました。 URLの残存率 2010年から2014年の各年に存在したURLが2015年にどのくらい残っているかを示したのが以下のグラフです。残存率は年をさかのぼるにつれて低くなり、5年前（2010年）のURLは60％がなくなっているのがわかります。 内容の残存率 URLが残っていることと内容が残っていることは必ずしも同義ではありません。URLが同じで内容が変わる場合や、反対に同じ内容でURLが変わる場合もあるからです。 そこで、同じ内容が残っているかどうかについてハッシュ値による分析も行いました。ハッシュ値とは、電子ファイルを特定の計算方法で操作して得られる値で、ごく僅かでも内容が変わるとハッシュ値も変わるため、ファイルの内容が同じものか
RailsプロジェクトでのElasticsearchとの付き合い方について - AppBrew Tech Blog
こんにちは、AppBrewのエンジニアの吉野です。 前回の記事ではElasticsearchとはどういうものか、ということについて書きました。 tech.appbrew.io この記事では、 ①ローカルでのElasticsearchの環境構築 から、 ②Railsとどうつなぎ合わせるか ③実運用上での注意点など について書いていきたいと思います。 動作環境 Rails 4.2.8 Elasticsearch 2.4.5 ①ローカルでのElasticsearchの環境設定 開発するにあたり、ローカルで環境がほしいと思います。 ElasticSearchのAnalyzerは標準としていくつかありますが、日本語のTokenizeなどをするならば Analyzer として、kuromoji Analyzer、icu_normalizer あたりを入れていきましょう。 GUIはelasticsear
Rails tips: 遅いクエリのログをDB設定変更なしで取るコツ（翻訳）｜TechRacho by BPS株式会社
アプリの種類を問わず、遅いクエリのログを読むのはパフォーマンス向上のためのリファクタリングで弱い部分を発見するよい方法のひとつです。 以前の私は、遅いクエリのログというとデータベースエンジンで生成されたログのことが念頭にありました。しかし、データベースの遅いクエリのログを取る独自のメカニズムを作れることをご存知でしょうか？RailsのActiveSupport::Notificationsモジュールを使うと、指定のイベントをサブスクライブできます。イベントのひとつに sql.active_recordがあり、これはデータベース操作のたびにトリガされます。 次のような感じで使えます。 ActiveSupport::Notifications.subscribe('sql.active_record') do |name, start, finish, id, payload| # inter
ElasticsearchのIndexを本当の意味で無停止再構築する手法 - aeroastroの日記
※ この記事は Elastic stack (Elasticsearch) Advent Calendar 2017 の2日目の記事になります。 Elasticsearchを利用したサービスを運用している場合、既存機能の改修や仕様変更、新規機能の実装に伴い、運用中であってもindexや検索クエリを変更していくことは日々発生します。この際に、インデックスを再構築する必要性も出てきますが、インデックスを再構築し、そこに整合性のあるデータセットを準備するのには時間がかかります。その都度メンテナンスを行うのは非現実的であり、特に大規模サービスであれば準備にかかる時間自体も非現実的なものになりかねません。 このような問題への対処方法として、 Index Aliases を利用することで、透過的に無停止再構築を行うことが出来るというのは複数のブログ記事で紹介されています。これらはアプリケーションから直
PostgreSQLにmoney型というのがあるそうですよという話 - アクトインディ開発者ブログ
こんにちは。kanekoです。 私はいこーよの中でもWEBチケット販売に関するプロダクトのチームにいます。社内での呼び方はいくつかありますがここではプロダクトをticket、チームをチケットチームとします。 この記事の結論 結論を述べますとDBがPostgreSQLのrailsアプリでmoney型のカラムをもつテーブルを作成してあれこれ試してみたところよく分からないこともあったが楽しかった。という感じです。（ざっくり） money型との出会い ticketではDBにPostgreSQLを採用しています。 チケットチームは今年動き始めたチームで、アクトインディでは初のECサービスの開発をしています。 私自身も初めてなことがたくさんあり毎日が勉強です。そんな中「DBのお金(料金、手数料ect)の扱いって何が正解なのかしら？？」とふと検索したことがきっかけで、つい最近money型があると知りまし
検索画面をRails + elasticsearchで作るために考えたことや、やったこと - Qiita
はじめに こんにちは。転職会議チームでエンジニアをやっている @highwide です。 転職会議では、2016年に一部の検索画面をRails + elasticsearchで実装しました。その際、自分自身、アレコレ新しく学んだことが多かったので、今年のAdvent Calendarのネタにしたいと思います。 注意 Rails 4.2系/elasticsearch 2.4系の情報で書かれているところが多いため、ご参考にしていただく際は最新の情報と照らし合わせながら進めていただけると助かります。 ドキュメント設計 elasticsearchのドキュメント構造は以下のよう階層があります。 ちなみに学習を始めた際、 indexはRDBMSにおけるDATABASE、typeはRDBMSにおけるTABLE といった情報を目にしました。 確かに、階層構造を理解する上で誤った情報ではありませんが、RDB
時系列データの可視化に適したインフォグラフィックス作成について
既存の紙媒体におけるインフォグラフィックスの使用例として、新聞における時系列データを扱ったインフォグラフィックスの分類・分析を行った。 具体的には、朝日新聞縮刷版[東京] 2008年1月分/2009年1月分/2010年1月分の過去3年3ヶ月分の紙面から時系列データを扱ったインフォグラフィックスを抽出し、それぞれの構成要素によりタイプ別に分類、それぞれの出現頻度、紙面ジャンル別のデータを分析した。（但し、広告やセンター試験解答等の報道に直接関係のないものは含まず。) 分析結果として、新聞紙面に出現するインフォグラフィックスは6分類のうちチャートとグラフで全体の85%を占めており、グラフについては、折れ線グラフ50%、棒グラフ35%、複合グラフ15%(折れ線グラフと棒グラフ)の3種類で構成されており、チャートについては、年表78%、フローチャート16%、タイムライン6%(時間軸が横軸のもの)の
RailsのログをfluentdでBigQuery、あるいはS3に取り込む - kotaroito's notes
GCP BigQueryやAWS Athenaを実際に触る機会が欲しかったので、RailsのログをfluentdでBigQueryやS3に取り込んでみます。 とりあえず触ることが目的で、実用できるかはとりあえず脇においておきます。 なお、fluentd（td-agent）はOS Xに0.14.21 をインストールしています。 Rails fluent logger Railsのログはデフォルトでは log ディレクトリに出力されるため、これをfluentdで扱えるようにする必要があります。 ドキュメント Collecting and Analyzing Ruby on Rails Logs | Fluentd に従って、lograge と act-fluent-logger-rails を使ってみます。 ほぼドキュメント通りですが、以下のように設定しました。 config/applicat
【レポート】NEW LAUNCH! AWS AppSyncとGraphQLによるリアルタイム＆オフラインアプリケーションの開発 #reinvent #MBL404 | DevelopersIO
MBL404: NEW LAUNCH! Realtime and Offline application development using GraphQL with AppSync 本日発表された新サービス「AWS AppSync」のセッションを聴講したのでレポートします。スピーカーは以下のお二人です。 Karthik Saligrama Rechard Threlkeld オフラインとリアルタイムのユースケース すぐデータが欲しい アラート 新しいストーリー マルチプレイヤーゲーム チャット オフラインでもデータが欲しい ファイナンシャルトランザクション 新しい記事 ゲーム メッセージング GraphQLとは オープンなデータフェッチング仕様 != グラフデータベース NoSQL、リレーショナル、HTTP、etc. を使える 従来のデータフェッチでは、各APIにアクセス /posts
Developers Summit 2018 「Building Real-time Application With AWS AppSync 〜GraphQLの始め方〜」を聞きました - ヤマムギ
以下は、思ったことや気になったことをメモしていますので、必ずしも登壇者の発表内容やご意見ではないことを、ご承知おきください。 スピーカーはAWSJ SAの塚越さん AppSyncの概要 フルマネージドGraphQLサービス リアルタイムコラボレーション 同期を考慮したオフラインプログラミング 必要なデータのみ取得 複数データソースへのアクセス セキュアなデータ保持 リアルタイム性があるので、リアルなダッシュボード、複数ユーザーが共同編集、チャットなどに向いている。 2018年2月現在はパブリックプレビュー。 DynamoDB、Lambdaをデータソースに指定出来る。 IAMロールで権限を与えることも出来る。 Cognito UserPoolを使うことも出来るのでそのまま認可も出来るし外部IDでフェデレーションも出来る。 AppSyncからAPIキーを発行することも出来る。 コンフリクトをど
Textures.js
SVG patterns for Data Visualization Textures are useful for the selective perception of different categories View on Github Getting started -- from the top of d3.js -- var svg = d3.select("#example") .append("svg"); var t = textures.lines() .thicker(); svg.call(t); svg.append("circle") .attr("r", radius) .style("fill", t.url()); Lines
Apache DrillでnginxのLTSVログにドリドリとSQLを投げつける
さてみなさんApache Drillでドリドリしてますか? えっ、ドリドリしてない? あ、そういうぼくもドリドリしてないですよ〜。そんな感じですが、今日は「Apache Drillつかってみた」的な話です。 具体的には、Apache DrillでnginxのログをSQLで集計してエンドポイント別の平均値とか最大最小を出したりとか、レスポンスボディのサイズの平均を出したりとかそういう感じの使い方です。 はじめてのApache Drill なんでApache Drillを使ってみたかというと、昨日、社内で「Apache Drillを分散モードで使うのにZooKeeper必須なの…」みたいな謎のぼやき(?)が流れまして、あーApache Drillとかあったな〜とその存在を思い出したという感じなんです。 ちょうどその時、Webサービスのパフォーマンス分析をやるというタスクが手元にありまして。具体
Testing Elasticsearch in Rails
This year I began to work on a few projects in Rails. Besides feeling ten years late to the party, I found it was a smooth transition. Smooth, that is, until it came to integrating Elasticsearch. For those of you unfamiliar with Elasticsearch, it is a search engine of pure wizardry. It indexes documents and processes queries at mythical speed. For integration with Rails, there is even an official
Laravelで作る分析・分散処理アプリケーション その1 - ytake blog
先日のPHPカンファレンスやPHPカンファレンス関西、buildersconでお話しした内容を元にして、 Laravel(PHP)を使って分析処理の簡単な実装や、 ミドルウェアを組み合わせた分散処理の実装を紹介します。 本ブログのサンプルアプリケーションは下記になりますので、 コードやミドルウェアなどを参照ください。 github.com Laravelとkafka Connect、Elasticsearchの組み合わせ Apache Kafkaを使ったスケーラブルなアプリケーションの入門編です。 レコード量が多い複雑なコンテンツのデータや検索要件、Like検索など、 RDBMSの不得意な分野などを対応することも多いかと思いますが、 RDBMSとElasticsearchを併用しKafkaで複雑さを吸収して、 アプリケーションをスケールさせるようにしてみましょう。 データベースのテーブル設
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Streamlitを使ってデータカタログを作ってみた
Railsと考えるデータベースのインデックス戦略 - Speaker Deck
