GitHub - zylon-ai/private-gpt: Interact with your documents using the power of GPT, 100% privately, no data leaks
Install & usage docs: https://docs.privategpt.dev/ Join the community: Twitter & Discord PrivateGPT is a production-ready AI project that allows you to ask questions about your documents using the power of Large Language Models (LLMs), even in scenarios without an Internet connection. 100% private, no data leaves your execution environment at any point. The project provides an API offering all the
Caniuse and MDN compatibility data collaboration – Mozilla Hacks - the Web developer blog
Web developers spend a good amount of time making web compatibility decisions. Deciding whether or not to use a web platform feature often depends on its availability in web browsers. A brief history of compatibility data More than 10 years ago, @fyrd created the caniuse project, to help developers check feature availability across browsers. Over time, caniuse has evolved into the go-to resource t
Data & AIのサミットで発表された新機能：DatabricksのEnglish SDK for Apache Sparkを試してみた - Qiita
Data & AIのサミットで発表された新機能：DatabricksのEnglish SDK for Apache Sparkを試してみたDatabrickspyspark-ai はじめに DatabricksのイベントData & AI Summitで非常に興味深いソリューションが発表されました。 その名もEnglish SDK for Apache Spark. まだ開発の初期段階とのことですが、すでにGitにも公開されており、試すことができます。 早速、Databricks上で使ってみました。 ノートブック こちらにノートブックを公開しますので、Databricks環境にインポートしてお試しください。 サンプルノートブック 設定 pyspark-aiをインストールします。 LLMを指定します。OPEN AIを利用する場合、Secret Keyを取得し環境変数のOPENAI_API_K
Israeli data: How can efficacy vs. severe disease be strong when 60% of hospitalized are vaccinated?
Israeli data: How can efficacy vs. severe disease be strong when 60% of hospitalized are vaccinated? A surge involving the rapidly-transmitting Delta variant in heavily vaccinated countries has led to much hand-wringing that the vaccines are not effective against Delta, or vaccine effectivenss wanes after 4-6 months. This has fueled anti-vaccine sentiment suggesting the vaccines are not working, a
AWS Data Exchange で新型コロナウイルス（COVID-19）関連のデータセットが公開されています | DevelopersIO
AWS Data Exchange ってご存知でしょうか？ ざっくり説明するならば、「AMI」「コンテナ」「セキュリティ」に次ぐ、「データ」の AWS マーケットプレイスです。 Twitter で知ったのですが、新型コロナウイルス（COVID-19）関連で幾つかのデータセットが公開されているようですね。 I'm aware of several developers who are building apps, models, and tools that relate to COVID19 in some way. Here are some relevant data products (9 free and 1 paid) listed in AWS Data Exchange - https://t.co/uuV7FyCBhM : pic.twitter.com/7e395sJsd
When your data doesn’t fit in memory: the basic techniques
When your data doesn’t fit in memory: the basic techniques by Itamar Turner-Trauring Last updated 06 Jan 2023, originally created 08 Nov 2019 You’re writing software that processes data, and it works fine when you test it on a small sample file. But when you load the real data, your program crashes. The problem is that you don’t have enough memory—if you have 16GB of RAM, you can’t load a 100GB fi
COVID Data Tracker
Maps, charts, and data provided by CDC, updates Mondays and Fridays by 8 p.m. ET Maps, charts, and data provided by CDC, updates Mondays and Fridays by 8 p.m. ET
This is an updated version of a post we originally published in 2020. You can read the original version here. The growth of the data infrastructure industry has continued unabated since we published a set of reference architectures in late 2020. Nearly all key industry metrics hit record highs during the past year, and new product categories appeared faster than most data teams could reasonably ke
Bettina Forget on Twitter: "Data visualization insights: Land doesn't vote. People do. #USElection2020 https://t.co/MJWKPftOsx"
Data visualization insights: Land doesn't vote. People do. #USElection2020 https://t.co/MJWKPftOsx
Find your way with field data in the Web Vitals extension update Stay organized with collections Save and categorize content based on your preferences. The Web Vitals extension now shows you where your local experiences are in relation to real user experiences in the field. Core Web Vitals are the most important metrics to measure to understand your users' experiences, because when users have good
Data Meshとは何か？
Aboutこの記事は、「Data Mesh」について書かれたものです。参考文献に記載された内容をベースとして、個人的な感想や意見を加えたものです。 事例ではありません。 TL;DRData Mesh はデータ基盤の新しいアーキテクチャ原則であり、現在主流である中央集中型のデータ基盤と、そこから起こる問題への解決策です。Data Mesh はマイクロサービスと DDD から着想を得ており、データの生成・管理・提供を中央ではなくドメインごとに管理します。管理が分散することでスケーラビリティ・自律性を確保しつつ、統一的なガバナンスを保持できるアイデアです。主な想定読者Data Mesh が気になる方データ基盤を開発・保守するデータエンジニアデータマネジメントをより洗練させたいと感じている方Data Mesh の登場した背景 (WHY)詳細に入る前に、Data Mesh が前提に置く現代のデータ基
Building a recommendation engine inside... | Crunchy Data Blog
I'm a big fan of data in general. Data can tell you a lot about what users are doing and can help you gain all sorts of insights. One such aspect is in making recommendations based on past history or others that have made similar choices. In fact, years ago I wrote a small app to see if I could recommend wines based on how other ones were rated. It was a small app that I shared among just a handfu
「Always Data-Driven」を支えるデータサイエンスチーム。LINEの各事業の競争力を最大化するために意識していることとは
LINE株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。 LINEヤフー Tech Blog 2021年11月10日・11日の2日間にわたり、LINEのオンライン技術カンファレンス「LINE DEVELOPER DAY 2021」が開催されました。特別連載企画「DEVDAY21 +Interview」では、登壇者たちに発表内容をさらに深堀り、発表では触れられなかった関連の内容や裏話などについてインタビューします。今回の対象セッションは「データサイエンスによるLINE PayのLINE公式アカウントの情報受け取り体験の改善」です。 LINE PayのLINE公式アカウントは、新機能やキャンペーンなどの有益な情報を届ける重要なチャンネルですが、以前は必ずしも有用でない可能性があるメッセージをユーザーが高頻度で受信していると
Kaggle Data Science Bowl 2019 上位解法まとめ - ML_BearのKaggleな日常
編集履歴 '20/01/28: 3rd solutionを追加 これはなに？ Kaggleで10/24-1/23に開催されたData Science Bowl 2019コンペの上位解法まとめです。 1/27時点で公開されている10位以内の解法をまとめてみました。 Shake-up/downの激しいコンペでしたが、上位入賞されている方の解法には学ぶところが多く、上位に入るべくして入った方が多い印象でした。 流し読みしてまとめたので、間違っているところとかお気づきの点あればご指摘ください。 金メダル圏内のものがあと4つぐらい公開されていたので後で足そうと思います。 1st 1st place solution Stats private 0.568 / public 0.563 要約 LightGBMのシングルモデル(!) Foldごとにシードを変えた5Fold 詳細 Validation L
GitHub - awslabs/diagram-maker: A library to display an interactive editor for any graph-like data.
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
GitHub - nuvious/pam-duress: A Pluggable Authentication Module (PAM) which allows the establishment of alternate passwords that can be used to perform actions to clear sensitive data, notify IT/Security staff, close off sensitive network connections, etc
The PAM Duress is a module designed to allow users to generate 'duress' passwords that when used in place of their normal password will execute arbitrary scripts. This functionality could be used to allow someone pressed to give a password under coercion to provide a password that grants access but in the background runs scripts to clean up sensitive data, close connections to other networks to li
No raw data, no science: another possible source of the reproducibility crisis - Molecular Brain
Editorial Open access Published: 21 February 2020 No raw data, no science: another possible source of the reproducibility crisis Tsuyoshi Miyakawa1 Molecular Brain volume 13, Article number: 24 (2020) Cite this article A reproducibility crisis is a situation where many scientific studies cannot be reproduced. Inappropriate practices of science, such as HARKing, p-hacking, and selective reporting o
Home Data Developer Platform¶ A Data Platform Specification, open for adoption by any data platform developer. A modern way to run data engineering teams¶ Data teams are drained from continuously plumbing integrations and fragile pipelines, which leaves little to no time to focus on the real deal - data and data applications. Businesses that have a good grasp on data realise that today data makes
Yoav Weiss - yoav@mastodon.social on Twitter: "In Japan, the web is slower towards the end of the month due to data caps, resulting in reduced engagement https://t.co/rKWClaqWUD"
In Japan, the web is slower towards the end of the month due to data caps, resulting in reduced engagement https://t.co/rKWClaqWUD
GitHub - nucleuscloud/neosync: Open source data anonymization and synthetic data orchestration for developers. Create high fidelity synthetic data and sync it across your environments.
Neosync is an open-source, developer-first way to anonymize PII, generate synthetic data and sync environments for better testing, debugging and developer experience. Companies use Neosync to: Safely test code against production data - Anonymize sensitive production data in order to safely use it locally for a better testing and developer experience Easily reproduce production bugs locally - Anony
DevelopersIO 2022 Snowflakeトーク＆ディスカッション～Snowflake Summit’22の最新情報を現地参戦できなかった二人のData Superheroと一緒に学ぼう！#devio2022 | DevelopersIO
さがらです。 DevelopersIO 2022 〜技術で心を揺さぶる3日間〜の2日目、2022年7月27日にSnowflakeトーク＆ディスカッション～Snowflake Summit'22の最新情報を現地参戦できなかった二人のData Superheroと一緒に学ぼう！というタイトルで、Snowflake社のKTさん、弊社クラスメソッドの甲木、さがら、の3人で登壇しました。 本ブログではこの登壇内容について、紹介のあったSnowflakeの新機能を中心にまとめたいと思います。 登壇概要 概要 Snowflake社の最大のユーザーカンファレンスイベントである「Snowflake Summit」がラスベガスにて2022年6月13～16日の日程で開催されました。本セッションではSnowflake社のKT氏をお招きし、イベントに現地参戦できなかったData Supeheroesであるクラスメソ
Why am I writing this book? Maybe a major reason is an existential crisis. The feedback from readers is another important reason. I submitted a git repo with three Chapters of this book in PDF format to Hacker News, and surprisingly the repo got 500 stars in a week. I received a few emails expressing thanks and interests in more Chapters. About There has been considerable debate over choosing R vs
OpenIO | High Performance Object Storage for Big Data and AI
The Best Object Storage Offer on the Market OpenIO has joined OVHcloud, the leading European alternative cloud provider Learn more Object Storage on-prem, cloud-hosted, or at the edgeOpenIO is a software-defined open source object storage solution ideal for Big Data, HPC and AI. With its distributed grid architecture and unique self-learning ConsciousGrid™ technology, OpenIO scales easily without
GitHub - scratchdata/scratchdata: Scratch is a swiss army knife for big data.
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
GitHub - jakekgrog/GhostDB: GhostDB is a distributed, in-memory, general purpose key-value data store that delivers microsecond performance at any scale.
GhostDB stemmed from a University project. Due to the nature of these projects (time constraints etc.), we feel some corners were cut. For example, we opted for the memcached model of distribution to save on time as it was easier to implement. However, this wasn't the original vision of GhostDB. Myself and Connor also started new jobs and these took up a good chunk of our time. This combined with
Caution: This page is somewhat outdated and only exists for historical purposes. React 18 was released with support for concurrency. However, there is no “mode” anymore, and the new behavior is fully opt-in and only enabled when you use the new features. For up-to-date high-level information, refer to: React 18 Announcement Upgrading to React 18 React Conf 2021 Videos For details about concurrent
レッドブルの女性戦略家ハンナ・シュミッツとは？ フェルスタッペンを支えるその仕事と人となり | Formula1-Data / F1情報・ニュース速報解説
ミリ秒単位で結果が決まるF1において、その戦略的判断の一つひとつが勝敗を分ける事は全く珍しい事ではない。ハンガリーGPでの劇的勝利をお膳立てしたレッドブルのプリンシパル・ストラテジー・エンジニア、ハンナ・シュミッツ（Hannah Schmitz）とはどのような人物なのだろうか？ パワーユニットにトラブルが発生した事でマックス・フェルスタッペンが10番手と後手に回った予選を経て、レッドブルは事前のシミュレーションに基づき第1スティントをハードタイヤで走る戦略を立てていたが、フォーメーションラップを前に急遽、ソフトタイヤへの変更を決断した。 結果、シャルル・ルクレール（フェラーリ）が一時はラップをリードしながらも最終6位と転落した事に象徴されるように、ハードを投入したマシンは軒並みペースを失い、フェルスタッペンはカレンダーの中で最もオーバーテイクが難しいコースとして知られるハンガロリンクで大逆
September 17, 2020 VSCode Debug Visualizer is a VSCode extension that allows you to visualize data structures in your editor. This can be useful for visualizing watched values during debugging. I've found the extension can be helpful to visualize plots, tables, arrays, histograms and trees. Once the extension is installed, open some relevant scripts then navigate to the command palette and go to D
A Cheat Sheet and Some Recipes For Building Advanced RAG — LlamaIndex, Data Framework for LLM Applications
It’s the start of a new year and perhaps you’re looking to break into the RAG scene by building your very first RAG system. Or, maybe you’ve built Basic RAG systems and are now looking to enhance them to something more advanced in order to better handle your user’s queries and data structures. In either case, knowing where or how to begin may be a challenge in and of itself! If that’s true, then h
交差検証をしっかりして、n種類ためしてこの手法だけ既存手法を上回る精度になりました、すべて提案であって性能改善は検証されていないなどと正直に論文に書けばよいのでは無いかと思わなくもなく。
Netflix’s Polynote is a New Open Source Framework to Build Better Data Science Notebooks
Netflix’s Polynote is a New Open Source Framework to Build Better Data Science Notebooks The new notebook environment provides substantial improvements to streamline experimentation in machine learning workflows.
Developer Experience Redefined: Prisma & Cloudflare Lead the Way to Data DX
August 01, 2023 Developer Experience Redefined: Prisma & Cloudflare Lead the Way to Data DX Prisma and Cloudflare join forces to introduce Data Developer Experience (Data DX), revolutionizing data-driven applications. The partnership offers innovative tools and cloud infrastructure, reducing setup time and accelerating time-to-market for users. A new era for building data-driven applications Deliv
Ask HN: What are some cool but obscure data structures you know about? | Hacker News
I'm very interested in what types of interesting data structures are out there HN. Totally your preference.I'll start: bloom filters. Lets you test if a value is definitely NOT in a list of pre-stored values (or POSSIBLY in a list - with adjustable probability that influences storage of the values.) Good use-case: routing. Say you have a list of 1 million IPs that are black listed. A trivial algor
data-vocabulary.org schema deprecated の警告が出た！パンくずリストの構造化データを修正しましょう | mariweb
data-vocabulary.org schema deprecated って何？ Google Search Console Team からいきなり警告のメールが来て驚かれた方も多いのではないでしょうか？ まず data-vocabulary.org について簡単に説明すると、現在は、検索結果に表示されるパンくずリストをやレビュー・評価などの構造化データにはボキャブラリとして、 Googleも推奨しているschema.org がよく使われていますが、以前は data-vocabulary.org が使われることも多くありました。 data-vocabulary.org schema deprecated の意味は、「deprecated = 推奨されていない」なので、data-vocabulary.org というスキーマは推奨されていません。ということですね。 でも、これまでは dat
Center for Open Data in the Humanities (CODH) on Twitter: "以下の記事がバズってますが、重大な間違いがありますので、訂正します。 - くずし字認識の開発にGoogleは関わっていません。今回Googleイベントで発表しただけです。 - 「翻訳」ではなく「翻刻」です。 - くずし字データセッ… https://t.co/esxVaQDP0v"
以下の記事がバズってますが、重大な間違いがありますので、訂正します。 - くずし字認識の開発にGoogleは関わっていません。今回Googleイベントで発表しただけです。 - 「翻訳」ではなく「翻刻」です。 - くずし字データセッ… https://t.co/esxVaQDP0v
Beautiful, easy data visualization and storytelling
Back at my old job in ~2016, we built a cheap homegrown data warehouse via Postg... | Hacker News
Back at my old job in ~2016, we built a cheap homegrown data warehouse via Postgres, SQLite and Lambda.Basically, it worked like this: - All of our data lived in compressed SQLite DBs on S3. - Upon receiving a query, Postgres would use a custom foreign data wrapper we built. - This FDW would forward the query to a web service. - This web service would start one lambda per SQLite file. Each lambda
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Emerging Architectures for Modern Data Infrastructure | Andreessen Horowitz
Find your way with field data in the Web Vitals extension update | Articles | web.dev
[DATAで見るケータイ業界] Tポイントからの離脱を決めたソフトバンク、焦点は共通ポイントへの対応
![[DATAで見るケータイ業界] Tポイントからの離脱を決めたソフトバンク、焦点は共通ポイントへの対応](https://cdn-ak-scissors.b.st-hatena.com/image/square/53c0f9feff5dfb2d70bb12c31b247b627b81a39b/height=288;version=1;width=512/https%3A%2F%2Fk-tai.watch.impress.co.jp%2Fimg%2Fktw%2Flist%2F1382%2F957%2F20220121.png)
Data Developer Platform
Another Book on Data Science
[DATAで見るケータイ業界] キャリア各社が注力する決済分野、クレジットカードなど各領域の現状を整理する
![[DATAで見るケータイ業界] キャリア各社が注力する決済分野、クレジットカードなど各領域の現状を整理する](https://cdn-ak-scissors.b.st-hatena.com/image/square/c41f8b90e8cf55497daa096c3ad228241dabb079/height=288;version=1;width=512/https%3A%2F%2Fk-tai.watch.impress.co.jp%2Fimg%2Fktw%2Flist%2F1398%2F101%2F01.png)
Suspense for Data Fetching (Experimental) – React
Visualize Data Structures in VSCode
Bioinfomaticsのpublic domainのdataに対する性能改善手法の論文はほとんど研究不正？
Flourish | Data Visualization & Storytelling
[DATAで見るケータイ業界] 5Gネットワークの整備状況から見る「現在地」
![[DATAで見るケータイ業界] 5Gネットワークの整備状況から見る「現在地」](https://cdn-ak-scissors.b.st-hatena.com/image/square/444e25d2d0cc259a3f04e49d15540becfe3b281e/height=288;version=1;width=512/https%3A%2F%2Fk-tai.watch.impress.co.jp%2Fimg%2Fktw%2Flist%2F1540%2F790%2F2.png)