Published on 2021-04-14. Modified on 2023-02-16. The name SQLite is a nice name, but the "lite" part is misleading, it sounds like it is only useful for tiny things - which is very wrong. SQLite should be named AwesomeSQL, because that is what it is. SQLite is probably the only database you will ever need in most cases. SQLite is a relational database management system contained in a C library. It
はじめに こんにちは. マイクロアドで機械学習エンジニアをしている福島です. 主に広告のClick Through Rate (CTR)予測やReal-Time-Bidding (RTB)の入札最適化を担当しています. 今回はマイクロアドでのCTR予測における確率補正について紹介したいと思います. はじめに CTR予測とは 問題1 学習データが不均衡 問題2 機械学習モデルの出力を確率として扱うのは不適切な場合がある 問題3 学習データの信頼度が高くない CTR予測における確率補正 アンダーサンプリングによって生じたバイアスの除去 Isotonic Regressionによる確率補正 確率補正の効果検証 終わりに CTR予測とは RTBでは下図のように, 広告主とメディア間でリアルタイムにオークションが開催され, オークションに勝利した広告がメディアに表示されます. マイクロアドでは現在オ
Andreas Andreakis, Ioannis Papapanagiotou OverviewChange-Data-Capture (CDC) allows capturing committed changes from a database in real-time and propagating those changes to downstream consumers [1][2]. CDC is becoming increasingly popular for use cases that require keeping multiple heterogeneous datastores in sync (like MySQL and ElasticSearch) and addresses challenges that exist with traditional
はじめに 「巡回セールスマン問題 遺伝的アルゴリズム」でググるとたくさんヒットすることを自分でもやってみました。 理論編 Python コード編 実行結果編 概要 巡回セールスマン問題(Traveling Salesman Problem) 巡回セールスマン問題 とは、$N$ 個の点すべてを 1 回ずつ通って元の点に戻る最短の経路を探索する問題です。 $N$ 点を全て通って戻ってくる経路の総数は $(N-1)!/2$ 通りあります。 3 点であれば 1 通りです。 4 点であれば 3 通りです。 5 点であれば 12 通りです。 点が増えると経路の総数は爆発的に増えていきます。 その中から最短の経路を見つけようとすると膨大な時間がかかります。 しかし、条件付きであれば実用的な時間内で経路を見つけられます。 例えば、点が凸多角形の頂点にあると分かっていれば、最短経路はその凸多角形です。 また
サイバー攻撃の脅威が広まる中、Webシステム管理者はパスワードの保存方法をいま一度確認する必要がありそうだ。特に注意すべきなのは、最新のWebアプリケーションフレームワークを使わずに開発した、古いWebシステム。パスワードが漏洩した際に簡単に解読されてしまう可能性があるので注意が必要だ。 2023年8月15日、作品投稿サイト「pictBLand」やオンライン即売会サービス「pictSQUARE」を運営するGMWが不正アクセスを受けたと発表した。pictBLandは作品情報のデータが改ざんされ、pictSQUAREでは会員情報が窃取されていると判明。ユーザーアカウント情報が約80万件流出し、メールアドレスは約61万件、電話番号は約67万件、配送先住所は約22万件、銀行口座情報は883件、X（旧Twitter）のIDは約24万件が流出したという。GMWはユーザーに対して、IDやパスワードを使い
Ubuntu Weekly Recipe 第814回1500円以下で買えるRaspberry Pi PicoサイズのRISC-VボードなMilk-V DuoでUbuntuを動かす Ubuntu 24.04 LTSではRISC-Vボードのひとつである「Milk-V Mars」をサポートしました。これは中国のRISC-V製品のベンダーであるMilk-Vが作っているRaspberry Piライクなシングルボードコンピューターです[1]。ただしこのMarsはなかなか入手できない状況が続いています。Milk-Vでは他にも64コア搭載されたPCライクなPioneer、10GbEのネットワークスイッチとして使えるVegaなどもリリースしています。今回はRaspberry Pi Picoサイズの小さなボードで、比較的安価で入手性が高いMilk-V Duoシリーズに、Ubuntuをインストールしてみましょう
Build a CQRS event store with Amazon DynamoDB | Amazon Web Services
AWS Database Blog Build a CQRS event store with Amazon DynamoDB The command query responsibility segregation (CQRS) pattern, derived from the principle of command-query separation, has been popularized by the domain-driven design community. CQRS architectures that use event sourcing save generated events in an append-only log called an event store. By using event sourcing, you can, among other ben
GitHub - MubertAI/Mubert-Text-to-Music: A simple notebook demonstrating prompt-based music generation via Mubert API
A demo of instant prompt-based music video generation based on Deforum Stable Diffusion colab All music is generated by Mubert API – www.mubert.com/. If you want to use it for free – please, tag us on Twitter (https://twitter.com/mubertapp) and include hashtag #mubert. We’re glad to present you our new Text-to-Music demo interface. Now as a Google Colab, and soon we’ll add this feature as a simple
関連キーワード 認証 | セキュリティリスク | セキュリティ対策 企業のセキュリティ部門は、新型コロナウイルス感染症（COVID-19）のパンデミック（世界的大流行）に適応するネットワークセキュリティの確保を迫られている。企業は従業員のテレワークを可能にするために、さまざまなリモートアクセス機能を導入し、その安全な使い方を従業員に教育してきた。 そうした取り組みにおいて中心的な役割を果たしているのが、リモートアクセスとリモート管理の事実上の標準技術である「SSH」（Secure Shell）だ。SSHは1995年にタトゥ・ウルネン氏が開発した通信プロトコルで、通信の暗号化によってリモートアクセスの安全を確保する。SSHにより、セキュリティで保護されていないネットワーク経由でも安全に別のコンピュータにログインできるようになる。従業員やシステム管理者は、ネットワークインフラの管理やコマンドの
A Guide to the Go Garbage Collector - The Go Programming Language
Introduction This guide is intended to aid advanced Go users in better understanding their application costs by providing insights into the Go garbage collector. It also provides guidance on how Go users may use these insights to improve their applications' resource utilization. It does not assume any knowledge of garbage collection, but does assume familiarity with the Go programming language. Th
What are SSH and SFTP? SSH is a secure remote shell protocol used for operating network services securely over an unsecured network. The default SSH port is 22, it’s common to see it open on servers on Internet or Intranets. SFTP is the SSH File Transfer Protocol, a protocol used to transfer files over an SSH connection. Most SSH implementations are also supporting SFTP. SSH servers/libs The most
AWS CLIを利用し、Amazon S3バケットのpre-signed urlsを取得してみました | DevelopersIO
こんにちは、イムチェジョンです。 今回のブログではS3バケットのオブジェクトを開くためにAWS CLIを利用してpre-signed urlsを取得してみました。 アジェンダ pre-signed urlsとは？ pre-signed urlsの取得方法 まとめ 1. pre-signed urlsとは？ すべてのオブジェクト及びバケットは基本的にプライベートだが、pre-signed urlsを使用して選択的にオブジェクトを共有できる 顧客/ユーザーがAWSセキュリティ資格証明や権限なしに、バケットにオブジェクトをアップロードすることを許容できる pre-signed urlsの構成 pre-signed urlsは下のように構成されてます。 https://s3.amazonaws.com/examplebucket/test.txt? X-Amz-Algorithm=AWS4-HMA
Sorting colors in JavaScript
Sorting colors in JavaScriptJune 22, 2021How to sort colors in JavaScript? Let me tell you a story first. In the project I'm working on right now we used to have 134 colors in use! WTF?! you say. Once I discovered that I thought I'm going to show that to my colleagues, and we will address the problem. Unfortunately, I'm a very visual person (so to say) and I couldn't stand the very random order of
Abstract: In recent years, academic research and investigative reports have brought to light several cases of computational propaganda (i.e. orchestrated attempts to manipulate public opinion or the outcome of elections via social media), as well as proof that filter algorithms amplify right-wing conservative content on Japanese social media. Piecing together the scattered pieces of a puzzle, this
Automating the end-to-end lifecycle of Machine Learning applications Machine Learning applications are becoming popular in our industry, however the process for developing, deploying, and continuously improving them is more complex compared to more traditional software, such as a web service or a mobile application. They are subject to change in three axis: the code itself, the model, and the data
GitHub - dropbox/fast_rsync: An optimized implementation of librsync in pure Rust.
This crate offers three major APIs: Signature::calculate, which takes a block of data and returns a "signature" of that data which is much smaller than the original data. diff, which takes a signature for some block A, and a block of data B, and returns a delta between block A and block B. If A and B are "similar", then the delta is usually much smaller than block B. apply, which takes a block A a
Text Classification: All Tips and Tricks from 5 Kaggle Competitions
In this article, I will discuss some great tips and tricks to improve the performance of your text classification model. These tricks are obtained from solutions of some of Kaggle’s top NLP competitions. Namely, I’ve gone through: Jigsaw Unintended Bias in Toxicity Classification – $65,000 Toxic Comment Classification Challenge – $35,000 Quora Insincere Questions Classification – $25,000 Google QU
The Algorithms
What is an Algorithm?An algorithm is a set of rules that takes in one or more inputs, then performs inner calculations and data manipulations and returns an output or a set of outputs. In short, algorithms make life easy. From complex data manipulations and hashes, to simple arithmetic, algorithms follow a set of steps to produce a useful result. One example of an algorithm would be a simple funct
SRv6について2021年までに取集した情報を整理して入門書を作りました。 とりあえずSRv6に触れたい方向けの内容になっています。 1. SRv6 概要 1.1. SRv6 とは 1.1.1. セグメントルーティング 1.1.2. IPv6 1.2. どういうところで使われているのか？ 1.3. 今どういう状況？ 2. SRv6 詳細 2.1. SRv6の仕組み 2.2. SRv6 Function 2.3. SRv6 Control Plane 2.4. Flex-Algo (Flexible Algorithm) 2.5. TI-LFA 2.6. SRv6 OAM (Operation, Administration, and Maintenance) 2.6. 今後のSRv6 3. SRv6を実際に使う 3.1. iproute2 【ハンズオンツール】 3.2. VPP 3.3.
Intro Pinterest でおなじみの Masonry Layout を CSS の標準にする作業と実装が進んでいる。 Masonry Layout 以下のように画像を敷き詰めるタイルレイアウトのことを Masonry (石工やレンガ造りの意味らしい) Layout という。 上の例の場合は、 Height が不揃いの画像を並べる上で、左から敷き詰め、折り返したら既にある画像の高さに合わせて二列目が始まるというロジックになる。 これを実現するには、割と複雑な CSS を書く必要があり、様々なサイトで CSS ライブラリや、 Grid などを用いて再現する方法が紹介されている。 これをそのまま CSS の標準にする作業が Layout API の文脈で行われており、既に一部が(主に Firefox で)実装されている。 grid: masonry; 仕様は以下だ。 CSS Grid L
CommunityOpen SourceBring your monorepo down to size with sparse-checkoutGit 2.25.0 includes a new experimental git sparse-checkout command that makes the existing feature easier to use, along with some important performance benefits for large repositories. This post was written by Derrick Stolee, a Git contributor since 2017 who focuses on performance. Some of his contributions include speeding u
ProductPresenting v7.0.0 of the npm CLIWe’re releasing v7.0.0 of the npm CLI, which includes exciting new features such as Workspaces, automatically installed peer deps, and more! It’s hard to believe that just over 11 years ago the JavaScript community didn’t have npm. Fast forward to today, and npm now has millions of developers and over 1.3M packages with 75B downloads a month. We first introdu
Python 3.11 からデフォルトの文字列ハッシュアルゴリズムが SipHash13 になります - methaneのブログ
Pythonの文字列やバイト列に対するハッシュアルゴリズムは、HashDoS対策としてPython 3.4から SipHash24が使われていました。 その後、ラウンド数を減らしたSipHash13でも十分に安全だとして2015年にRustが、2016年にRubyが、SipHash24からSipHash13への切り替えを行いました。 https://github.com/rust-lang/rust/issues/29754 https://bugs.ruby-lang.org/issues/13017 Python でもSipHash13に切り替えようという提案を2017年に行っていたのですが、実装した人がなかなかプルリクエストを作ってくれず、またPythonは文字列がimmutableでハッシュ値をキャッシュしているためにそこまで大きなインパクトがなかったこともあり、ずっと放置されてい
Disclaimer: There are lies, damn lies, and benchmarks from some random person on the internet. If you are considering taking some of the advice in this post please remember to test your specific workloads, which might have different bottlenecks. Also the implementation quality in your particular software stack for your particular hardware matters a lot. For this post I’ll be playing with a ~5 GiB
How are Unix pipes implemented?
This article is about how pipes are implemented the Unix kernel. I was a little disappointed that a recent article titled “How do Unix pipes work?” was not about the internals, and curious enough to go digging in some old sources to try to answer the question. What are we talking about? Pipes are “perhaps the single most striking invention in Unix” — a defining characteristic of the Unix philosoph
Top-level await enables developers to use the await keyword outside of async functions. It acts like a big async function causing other modules who import them to wait before they start evaluating their body. The old behavior #When async/await was first introduced, attempting to use an await outside of an async function resulted in a SyntaxError. Many developers utilized immediately-invoked async
GitHub - BLAKE3-team/BLAKE3: the official Rust and C implementations of the BLAKE3 cryptographic hash function
BLAKE3 is a cryptographic hash function that is: Much faster than MD5, SHA-1, SHA-2, SHA-3, and BLAKE2. Secure, unlike MD5 and SHA-1. And secure against length extension, unlike SHA-2. Highly parallelizable across any number of threads and SIMD lanes, because it's a Merkle tree on the inside. Capable of verified streaming and incremental updates, again because it's a Merkle tree. A PRF, MAC, KDF,
競技プログラミングでは頻繁に出てくる「ダブリング」という手法について説明しようと思います。 競プロをはじめて間もない人や、競プロ外の人に向けて書きたいと思います。 最初に予防線を張っておきますが、内容が正しいかどうかは保証しません。 繰り返し二乗法繰り返し二乗法という有名なアルゴリズムがあります。 例えば、3の100億(10^10)乗を計算せよと言われた時に、 1回1回計算していたのでは時間がいくらあっても足りません。 しかし繰り返し二乗法を使えば、log(100億)くらいの計算量で計算出来るようになります。 具体的にどういう仕組みかを説明するために より小さな場合として3の11乗を計算するとした時に、 3^11 = (3^8) x (3^2) x (3^1) と3^(2^k)の積に分解出来るならば、 11を1011と2進数で表した時の1の数分だけで計算が終わることになります。 （a^bは
機械学習のライブラリは抽象化されていますが、どのように動いているいるのか、アルゴリズムは絶対理解しておいた方がいいいです。逆に機械学習を学ぶということは、アルゴリズムの理解が大部分を占めます。 k-近傍法（k-nearest neighbor algorithm）は、分類や回帰のためのシンプルな機械学習アルゴリズムです。 k-近傍法は、新しいデータが与えられたときに、そのデータが近いとされる、学習用のデータセット中の個々のサンプルとの距離を計算します。その後、これらのサンプルからk個の最も近いサンプル（k-nearest neighbors）を選択します。これらk個のサンプルから、新しいサンプルが最も多く分類されるクラスを予測します。 例えば、新しいサンプルが緑の点としてプロットされているとします。k=3の場合、この新しいサンプルに最も近い2つのサンプル（緑の点）を選択します。この3つのサ
推薦システムを独学で勉強していた非情報系の博士学生が長期インターンをしてよかったことと苦戦したこと - Uzabase for Engineers
皆さんこんにちは! 株式会社ユーザベース NewsPicksで機械学習エンジニアとして長期インターンをしている森田です:) 現在はData/Algorithm チームで、NewsPicksの推薦システム・データ基盤まわりの開発に取り組んでいます。 本記事は、私が2022年8月から同組織に入社して現在までの約1年間の長期インターン活動を経て、参加して良かったことと苦戦したことをまとめたものです。特に企業での長期インターンに興味がある方に向けて、本記事の内容を共有できればと想定しています。 はじめに タイトルの通り、私は非情報系なのに推薦システムを独学で勉強していた博士学生です（実は本記事の執筆期間中に博士学生ではなくなりました…!）。ちょうど博士課程への入学時期に偶然Kaggleをきっかけに推薦システムという分野と出会い、興味を持って論文読んで実装してブログに上げて...みたいな活動を趣味で
GitHub - xinntao/Real-ESRGAN: Real-ESRGAN aims at developing Practical Algorithms for General Image/Video Restoration.
🔥 AnimeVideo-v3 model (动漫视频小模型). Please see [anime video models] and [comparisons] 🔥 RealESRGAN_x4plus_anime_6B for anime images (动漫插图模型). Please see [anime_model] 💥 Update online Replicate demo: Online Colab demo for Real-ESRGAN: | Online Colab demo for for Real-ESRGAN (anime videos): Portable Windows / Linux / MacOS executable files for Intel/AMD/Nvidia GPU. You can find more information here
Am I FLoCed?
Google is testing FLoC on Chrome users worldwide. Find out if you're one of them. Google is running a Chrome "origin trial" to test out an experimental new tracking feature called Federated Learning of Cohorts (aka "FLoC"). According to Google, the trial currently affects 0.5% of users in selected regions, including Australia, Brazil, Canada, India, Indonesia, Japan, Mexico, New Zealand, the Phili
tyty
1/21/2022 tyty TLDR; I'm making a Typescript type-checker in Rust. Right now it supports a smaller subset of the type-system and exists as a fun side-project, but the end goal is a compilation tool we can use to make Typescript compilation go brrrr... In the past I’ve written about Typescript’s biggest underlying problem: it’s slow compilation speeds. Amazing projects like esbuild, SWC, and bun so
Updated Mon Feb 5 10:22:02 EST 2024 Available in paperback and e-book formats. Order at Amazon and other fine booksellers. Introduction This page holds material related to the second edition of The AWK Programming Language. The first edition was written by Al Aho, Brian Kernighan and Peter Weinberger in 1988. Awk has evolved since then, there are multiple implementations, and of course the computi
GitHub - line/line-fido2-server: FIDO2(WebAuthn) server officially certified by FIDO Alliance and Relying Party examples.
FIDO (Fast IDentity Online) is an open standard for online authentication. It is designed to solve the password problems stemming from a lot of security problems as we are suffering today. Rather than relying on symmetric credentials (like passwords or PINs, typically which is a knowledge-based factor), FIDO is based on a public-key cryptography algorithm that is based on asymmetric credentials. S
2022年11月にイーロン・マスク氏がTwitterのCEOに就任して以降、Twitterのアルゴリズムが変更され、「For You(おすすめ)」タイムラインに表示されるコンテンツに怒りや敵意を増幅するようなツイートの表示件数が増加していることが、コーネル大学とカリフォルニア大学バークレー校の研究チームによって報告されています。 [2305.16941] Twitter's Algorithm: Amplifying Anger, Animosity, and Affective Polarization https://doi.org/10.48550/arXiv.2305.16941 Elon Musk’s Twitter algorithm changes are ‘amplifying anger and animosity’, say researchers | Evening
TerraformのAWS Provider Version 4へのアップグレードに伴うコード改修がおっくうな方へ 便利なツールありますよ | DevelopersIO
TerraformのAWS Provider Version 4へのアップグレードに伴うコード改修がおっくうな方へ 便利なツールありますよ 先日TerraformのAWS Provider Version 4がリリースされました。 S3バケット周りで大規模なリファクタリングがあり、そのままのコードで単純にproviderだけアップグレードするとエラーになります。コードを書き換える必要があるのですが、中々面倒です。 そんな私のような方にピッタリなツールを見つけたのでご紹介します。tfrefactorです。既存のS3バケット(aws_s3_bucketリソース)のコードをコマンド一発でv4準拠のコードに書き換えてくれます。 インストール方法 バイナリをダウンロードしてパスを通す方法とmake installする方法があります。私は前者でやりましたが、「開発元を検証できないため開けません」のエラ
DeepMindが深層強化学習を利用してアルゴリズムを改善するAI「AlphaDev」を発表、すでにソートアルゴリズムやハッシュ関数の高速化に成功
AlphaGoの開発元として有名なGoogle DeepMind社が深層強化学習を応用してさまざまなコンピューティングアルゴリズムを改善するAI「AlphaDev」を発表しました。同時に、AlphaDevを利用してソートアルゴリズムを高速化できたという論文がNatureに掲載されています。 AlphaDev discovers faster sorting algorithms https://www.deepmind.com/blog/alphadev-discovers-faster-sorting-algorithms Faster sorting algorithms discovered using deep reinforcement learning | Nature https://doi.org/10.1038/s41586-023-06004-9 ソートアルゴリズムとは
Train, Test, and Validation Sets By Jared Wilber In most supervised machine learning tasks, best practice recommends to split your data into three independent sets: a training set, a testing set, and a validation set. To demo the reasons for splitting data in this manner, we will pretend that we have a dataset made of pets of the following two types: Cats: Dogs: For each pet in the dataset we
海外「世界向けに日本の漫画のサブスクサービスが始まるぞ！」月550円で講談社の漫画が読める新サービス『Azuki』に対する海外の反応 : すらるど - 海外の反応
2021年06月18日20:25 海外「世界向けに日本の漫画のサブスクサービスが始まるぞ！」月550円で講談社の漫画が読める新サービス『Azuki』に対する海外の反応 カテゴリ漫画・本 sliceofworld Comment(98) image credit:azuki.co 今はサブスクリプションサービスが大人気となっています。今年6月28日から海外でAzukiという日本の漫画のサブスクリプションサービスが開始すると発表されました。講談社USAとパートナーシップを結び、主に講談社の漫画を英語に翻訳して公式に配信するそうです。無料ユーザーは選別されたエピソードを広告付き読むことができ、月4.99ドル（※約550円）の有料会員は広告なしでカタログ全ての漫画を読むことができます。新たに始まる漫画のサブスクリプションサービスに対する海外の反応です。 引用元：reddit.com スポンサードリ
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
SQLite the only database you will ever need in most cases
CTR予測における確率補正について - MicroAd Developers Blog
DBLog: A Generic Change-Data-Capture Framework
遺伝的アルゴリズムで巡回セールスマン問題を解いてみる(理論編) - Qiita
GPU進化でパスワード解読が加速、旧システムは保存方法の見直しを
第814回 1500円以下で買えるRaspberry Pi PicoサイズのRISC-VボードなMilk-V DuoでUbuntuを動かす | gihyo.jp
安全なはずの「SSH」が抱える6大セキュリティ問題とは？ 危険性と対策は
SSH Pentesting Guide
Japan’s Shift to the Right: Computational Propaganda, Abe Shinzō’s LDP, and Internet Right-Wingers (Netto Uyo) - The Asia-Pacific Journal: Japan Focus
Continuous Delivery for Machine Learning
2021年 SRv6 入門 - hiroportation
CSS Layout API で Masonry Layout | blog.jxck.io
Bring your monorepo down to size with sparse-checkout
Presenting v7.0.0 of the npm CLI
Use Fast Data Algorithms | Joey Lynch's Site
Top-level await · V8
競技プログラミングで頻出の「ダブリング」を解説する
KNNアルゴリズム(K-近傍法)をscikit-learnを使わず5行で実装する。（Python）｜es
The AWK Programming Language, Second Edition
「イーロン・マスクがTwitterアルゴリズムを変更してから怒りと敵意に満ちたツイートの表示が増加した」と研究者が発表
Train, Test, and Validation Sets