Kernel Queue: The Complete Guide On The Most Essential Technology For High-Performance I/O When talking about high-performance software we probably think of server software (such as nginx) which processes millions requests from thousands clients in parallel. Surely, what makes server software work so fast is high-end CPU running with huge amount of memory and a very fast network link. But even the
2022年2月15日、ウクライナ政府は軍や金融機関に対してDDoS攻撃が行われシステム障害が発生したことを公表しました。ここでは関連する情報をまとめます。 DDoS攻撃で銀行サービス一時使えず 2022年2月15日午後からウクライナ関係の複数のWebサイトに対してDDoS攻撃が行われた。攻撃を受けたサイトは数時間から半日程度の間接続ができない状態となった。金融機関(PrivatBank)ではPrivat24の利用者において残高や直近の取引が表示できないなど支払いやアプリの利用に問題が生じてしまった。軍関係の通信状況や金融機関の預金者への影響は発生していない。*1 米国をはじめDDoS攻撃の実行者に関して特定の国を名指しにした公式の声明は出ていないがウクライナ当局関係者は「1つの国家」が攻撃の背後関係からうかがえることを述べている。*2 *3 過去の経緯からロシア関与を示唆する声明が出ている
Speculation in JavaScriptCore
This post is all about speculative compilation, or just speculation for short, in the context of the JavaScriptCore virtual machine. Speculative compilation is ideal for making dynamic languages, or any language with enough dynamic features, run faster. In this post, we will look at speculation for JavaScript. Historically, this technique or closely related variants has been applied successfully t
最終更新 2021/11/24 本質的な内容は変化していないものの，最新の研究動向に対して本記事で取り上げた論文はかなり古くなっているので注意してください． 本記事より良くまとめられているオープンアクセスの日本語文献があるので，そちらを参照するほうがよいと思います． 深層学習技術のセキュリティ課題についてはこちら 森川 郁也(富士通株式会社), "機械学習セキュリティ研究のフロンティア" 電子情報通信学会 基礎・境界ソサイエティ Fundamentals Review, Vol.15 No.1, 2021 https://www.jstage.jst.go.jp/article/essfr/15/1/15_37/_article/-char/ja 深層学習技術のハードウェアセキュリティ課題についてはこちら 吉田 康太, 藤野 毅(立命館大学), "エッジAIデバイスのハードウェアセキュリテ
大規模言語モデルのFine-tuningによるドメイン知識獲得の検討 - Preferred Networks Research & Development
本記事は、2023年夏季インターンシッププログラムで勤務された竹田悠哉さんによる寄稿です。 はじめに 2023年度のPFN夏季インターンに参加した、東京大学大学院工学系研究科の竹田悠哉と申します。学部では画像生成の研究をしていましたが、技術の社会実装をより俯瞰的に学びたいと思い、現在は技術経営戦略学専攻で教育工学の研究をしています。 インターンでは「機械学習技術の社会実装」をテーマに、LLM（Large Language Model）にドメイン知識を習得させることに取り組みました。様々な設定において、主に英語で学習されたモデルであるLLaMA2に対して日本語のデータでのFine-tuningを行い、LoRAやInstruction Tuning、ドメイン知識の習得に関する知見を得ることができたと思います。本記事では、そこで利用した技術の紹介と、日本語におけるドメイン知識の習得に関する実験、
ビッグデータの発展とともに、データサイエンスは今広く知られるようになりました。大学にデータサイエンスを学べる学部ができたり、データサイエンティストを目指している人もたくさんいるでしょう。この記事では、統計学から機械学習やマーケティングまで、初心者がデータサイエンスを学ぶのにおすすめの本を80冊紹介します！ Part I: データサイエンス概論1.『データサイエンス講義 』Rachel Schutt、Cathy O'Neil 著 本書では、データサイエンスを行う上で、どのようなプロセスが必要か、データサイエンティストとしてはどのようなスキルセットが必要で、どのような思考方法を選択する必要があるのかを実例を多数示しながら紹介します。 2.『戦略的データサイエンス入門 ―ビジネスに活かすコンセプトとテクニック』Foster Provost、Tom Fawcett著 本書は、データをビジネスに活か
アンケート作成システムのサーバサイドをKotlin + Quarkus + Doma, CQRSで構築している話 - エムスリーテックブログ
エムスリー エンジニアの岩本です。 現在私の所属しているチームでは、以前作成したアンケートを作るためのシステムのサーバサイドリプレースを検討しています。 ちなみにクライアントサイドは下記のものです。 qiita.com 採用した技術 なぜQuarkus? SQLアクセスはDoma Domaの記述方法 Quarkus + Domaで見つかった問題 設計方針はCQRS まとめ We're hiring! 採用した技術 以前のサーバサイドはJavaで作られており、再利用可能な既存の資産もあるため、JVM系の言語を検討しています。 他のシステムではKotlin + SpringBootを使っているため同様の構成も考えられるのですが、 SpringBootが開発しているうちに重くなり、起動に数十秒かかるようになり開発スピードが遅くなってしまったことや 新しいものに挑戦したいという技術者の考えを重要視
こんにちは。 ご機嫌いかがでしょうか。 "No human labor is no human error" が大好きな吉井 亮です。 日本時間 2023年06月14日 午前4時18分～午前7時42分 にバージニア北部リージョン(us-east-1)の複数のサービスにおいてエラーレートの上昇および遅延が発生していました。 AWS Health Dashboard に記載されたいた情報は以下の通りです。 Jun 13 3:42 PM PDT Between 11:49 AM PDT and 3:37 PM PDT, we experienced increased error rates and latencies for multiple AWS Services in the US-EAST-1 Region. Our engineering teams were immediately
SameSite cookie recipes Stay organized with collections Save and categorize content based on your preferences. Chrome, Firefox, Edge, and others are changing their default behavior in line with the IETF proposal, Incrementally Better Cookies so that: Cookies without a SameSite attribute are treated as SameSite=Lax, meaning the default behavior is to restrict cookies to first party contexts only. C
トップカンファレンスにおけるデータセットシフトと機械学習 - Ridge-institute R&D Blog
こんにちは，株式会社Ridge-iのリサーチチームの@machinery81です． 今回はNeurIPS2020で発表されたデータセットシフトを扱う機械学習に関連する論文を紹介します． 本記事は，Ridge-i主催の論文読み会で発表した以下の資料に基づいています． TL;DR 機械学習におけるデータセットシフト Covariate Shift Target Shift Concept Shift Domain Shift Sample Selection Bias Taxonomy of NeurIPS2020 papers about Dataset Shift 論文紹介 Rethinking Importance Weighting for Deep Learning under Distribution Shift Importance Weighting for Distribut
CISSP 勉強ノート
目次の表示 1. 情報セキュリティ環境 1-1. 職業倫理の理解、遵守、推進 職業倫理 (ISC)2 倫理規約 組織の倫理規約 エンロン事件とSOX法の策定 SOC (System and Organization Controls) レポート 1-2. セキュリティ概念の理解と適用 機密性、完全性、可用性 真正性、否認防止、プライバシー、安全性 デューケアとデューデリジェンス 1-3. セキュリティガバナンス原則の評価と適用 セキュリティ機能のビジネス戦略、目標、使命、目的との連携 組織のガバナンスプロセス 組織の役割と責任 1-4. 法的環境 法的環境 契約上の要件、法的要素、業界標準および規制要件 プライバシー保護 プライバシーシールド 忘れられる権利 データポータビリティ データのローカリゼーション 国と地域の例 米国の法律 [追加] サイバー犯罪とデータ侵害 知的財産保護 輸入と
ブログ初心者が無料版はてなブログでGoogleアドセンスの審査に合格！申請時のブログ状況、対策・やったこと - hatebcustom
ブログ開始2カ月半と少しの初心者ブロガーが、無料版はてなブログでGoogleアドセンスの審査に合格することができました。 合格時のブログ状況や、合格までにやったことをまとめました。 ブログ初心者、開始82日目で合格 合格まで4回審査に申請 合格時のブログの状況など アクセス数 記事のしぼりこみ 記事の文字数 ほかのアフィリエイトリンク 再申請までの期間 申請回数は少ない方がいい？ 初ブログ、初合格 「PRO版にして独自ドメインの取得」は不要 Googleアナリティクスの利用、Googleサーチコンソールとのひも付け Googleサーチコンソールに記事を手動でインデックス サイトマップの追加 Googleタグマネージャの利用 合格までにやったこと プライバシー・ポリシーページ お問い合わせページ 自己紹介ページ わたしが考える、いちばんの不合格理由 無料版はてなブログとアドセンスの相性の問題
2011年の東日本大震災で発生した津波で甚大な被害を受けた福島第一原子力発電所から、多くの放射性物質を含む汚染水が発生しました。この汚染水を他核種除去設備(ALPS：Advanced Liquid Processing System)によって環境放出の規制基準を満たすまで浄化処理した「ALPS処理水」の海洋放出が2023年8月24日(木)から始まり、ALPS処理水の放流システムをモニタリングできるウェブページが国際原子力機関(IAEA)によって公開されています。 Data from Fukushima Daiichi ALPS Treated Water Discharge | IAEA https://www.iaea.org/topics/response/fukushima-daiichi-nuclear-accident/fukushima-daiichi-alps-treated
ONNXモデルのチューニングテクニック (基礎編)
基礎編 / 応用編１ / 応用編２ サイバーエージェント AI Lab の Conversational Agent Teamに所属している兵頭です。今回は私が半年ほど蓄積したONNXのチューニングテクニックを全てブログに残したいと思います。皆さんが既にご存知であろう基本的なことから、かなりトリッキーなチューニングまで幅広くご紹介したいと思います。長文になりますがご容赦願います。 このブログのメインターゲット層は「リサーチャーが実装したモデルを実環境へデプロイするタスクを有する方々」です。一部リサーチャーの方々の参考になる情報が混じっていることもあるかもしれませんが、あまり興味を引かない内容だとは思います。リサーチャーメインの組織に属しながらリサーチエンジニアの立ち位置で身を投じていますので、研究の観点の少し手前あるいは少しその先の部分を担っている立場からこのブログを記載しているものとご認
ロシアの侵攻により2月24日に始まったウクライナ危機に先立ち、15日と16日にあったウクライナの銀行などへのDDoS（分散サービス拒否）攻撃について、日本でも兆候が観測できていた。情報セキュリティリサーチャーであるIIJの根岸征史さんが、自身のTwitterアカウントで2月25日に明らかにした。 根岸征史さんによると、IIJのハニーポット（おとりサーバ）で、15日には銀行「PrivatBank」から、16日には金融基盤を手掛ける「Ukrainian Processing Center」（UPC）から、「Backscatter」（バックスキャッター）と呼ばれるパケットを多く受信していたという。 なぜ、被害を受けているサーバからのパケットでDDoS攻撃を観測できるのか。同社の堂前清隆副部長（広報部 技術広報担当）がYouTubeで解説動画を公開している。 「DDoS攻撃では、大量のアクセスを複
01FastPolars is written from the ground up with performance in mind. Its multi-threaded query engine is written in Rust and designed for effective parallelism. Its vectorized and columnar processing enables cache-coherent algorithms and high performance on modern processors. 02Easy to useYou will feel right at home with Polars if you are familiar with data wrangling. Its expressions are intuitive
GitHub - pkolaczk/fclones: Efficient Duplicate File Finder
Efficient duplicate file finder and remover This is the repo for command line fclones and its core libraries. For the desktop frontend, see fclones-gui. fclones is a command line utility that identifies groups of identical files and gets rid of the file copies you no longer need. It comes with plenty of configuration options for controlling the search scope and offers many ways of removing duplica
画像生成AI「Stable Diffusion」で絵柄や構図はそのままで背景や続きを追加する「アウトペインティング」などimg2imgの各Script使い方まとめ
2022年8月に一般公開された画像生成AI「Stable Diffusion」をユーザーインターフェース(UI)で操作できる「AUTOMATIC1111版Stable Diffusion web UI」は非常に多機能である上にものすごい勢いで更新されており、Stable DiffusionのUIツールとしては記事作成時点で決定版といえる存在です。そんなAUTOMATIC1111版Stable Diffusion web UIでは、画像から画像を生成できる「img2img」に便利なScriptが用意されているので、実際に使ってみました。 GitHub - AUTOMATIC1111/stable-diffusion-webui: Stable Diffusion web UI https://github.com/AUTOMATIC1111/stable-diffusion-webui AU
こんにちは。Merpay Advent Calendar 2019 の24日目は、メルペイ Machine Learning チームの @yuhi が機械学習における解釈性についてお送りします。 目次 機械学習における解釈性とは なぜ解釈性が必要なのか 1. サービスを提供する事業者としての説明責任 2. 推論結果に対する社内外の関係者の理解 3. モデルのデバッグ、精度改善 どのようなアプローチがあるのか SHAPについて サマリ 基本的なアイディア 問題設定 説明可能モデルに対して満たしてほしい性質 説明可能モデルを求める SHAPの実装について 最後に References 機械学習における解釈性とは 深層学習をはじめとする機械学習分野の発展に伴って、これまでにないユニークなサービスが開発され、また多くの業界において業務が効率化、高度化されつつあります。メルペイでも機械学習を用いて、
概要 タイトル通りですが、AWSでサーバーレスなメール送信システムを、AWS CDKを使って構築してみました。 サーバーレスなので、スケールする良い感じの構成になります。 荒いところもありますが結構便利なのでよかったらぜひご参考に、またはそのまま使ってくださいという感じで読んでいただけたら光栄です。 Amazon SESを使用してメールを送信していますが、（少し変えれば）SES以外でも送信できるかと思います。 目次 目次 概要 目次 まとめ(AWS Dev Day 2022 Japan) 要件 前提 アーキテクチャ 構成図 使用AWSサービス コード アーキテクチャ解説と補足 AWS CDK aws_lambda_nodejs パラメータ用コンフィグファイル バリデーション Amazon SES SQS 標準キュー 可視性タイムアウト ロングポーリング 部分バッチ応答 S3 DynamoD
AWS Open Source Blog Sustainability with Rust Rust is a programming language implemented as a set of open source projects. It combines the performance and resource efficiency of systems programming languages like C with the memory safety of languages like Java. Rust started in 2006 as a personal project of Graydon Hoare before becoming a research project at Mozilla in 2010. Rust 1.0 launched in 20
プログラミングとプロジェクタを使って娘のためにお家花火大会を開催してみた - karaage. [からあげ]
お出かけできない夏休みに自宅で花火大会を開催 なかなか気軽にみんなでお出かけもしづらいご時世、もともと引きこもりの私は特に問題ないのですが、5歳の娘にとってはつらい時期です。 せめて、夏の思い出に花火くらいは見せてあげれないかなと思い、プログラミングを使って自宅で花火大会を開催してみることにしました。 プログラミングで花火を打ち上げる 早速花火を打ち上げるプログラムを作ることにしました。慣れているPythonで作ろうかと思ったのですが、以下の点からProcessingという言語で作ることにしました。 比較的誰でも簡単に動かせる 映像や音声を扱うのが簡単 バイナリパッケージの配布も可能 既に作っている人いないかなーと思い調べてみたら、良さそうな花火のプログラムがMITライセンスで公開されていたので、そちらをベースにキーボードをトリガに花火を打ち上げるプログラムを作成しました。 ベース作った時
![プログラミングとプロジェクタを使って娘のためにお家花火大会を開催してみた - karaage. [からあげ]](https://cdn-ak-scissors.b.st-hatena.com/image/square/cc6381cf5e5030e24bbeb4b75e337bd8a79a68a3/height=288;version=1;width=512/https%3A%2F%2Fcdn-ak.f.st-hatena.com%2Fimages%2Ffotolife%2Fk%2Fkaraage%2F20200823%2F20200823215412.jpg)
この記事は以下の翻訳です Why I Use Nim instead of Python for Data Processing 怠け者のプログラマーは、計算の手間をプログラミングの手間に置き換えたがるものです。私はまさにそのようなプログラマーです。私の研究では、テラバイト級の大規模データを対象としたアルゴリズムを設計・実行することがよくあります。NIHのフェローである私は、10万台以上のプロセッサを搭載したクラスターであるBiowulfを利用していますが、大きなMapReduceを実行すればよいのであれば、1つの実験のためにシングルスレッドのパフォーマンスを最適化するために膨大な時間を費やすことは、通常は意味がありません。 このようなリソースがあるにもかかわらず、私はデータ処理タスクにプログラミング言語のNimを使うことが多くなりました。Nimは計算科学の分野ではあまり評価されていません
序 この記事では、次のような一つの簡単なProcessingスケッチについて、様々なスタイルでコードを書いて比較してみます。 float[][][]d=new float[32][2][2]; float f(float[]x){return x[0]+=((frameCount%30==0?x[1]=random(100):x[1])-x[0])/4;} void setup(){size(800,800);fill(252,32);} void draw(){ square(0,0,800); scale(8); for(float[][]e:d) line(e[0][0],e[1][0],f(e[0]),f(e[1])); }#つぶやきProcessing pic.twitter.com/055DFzHmwF — FAL @STG制作とプログラミングお絵かき (@falworks_j
AWSの新価格モデル Savings Plans とは？オンデマンドやリザーブドインスタンスと比較する - Qiita
AWSの新価格モデル Savings Plans とは？オンデマンドやリザーブドインスタンスと比較するAWSEC2lambdaFargateCostExplorer 2019/11/7に、AWSからSavings Plansという新しいAWS利用料節約のための価格モデルが登場しました。 このSavings Plansについて調べてみました。 更新履歴 2019/11/07: 初版。EC2とFargate (for ECS) が割引対象に。 2020/02/21: 更新。新たにLambdaが割引対象に追加。 2020/04/06: 更新。Organizationsのメンバーアカウントから推奨事項が確認可能に。 2020/05/10: 更新。価格改定により、EC2 Instance Savings Plansの一部のEC2インスタンスタイプで、従前に比べて最大18%の値下げ。 2020/08/
Unityを通じて3D空間、グラフィックを理解する
はじめに ゲーム開発の旅を始める上で、開発者が最低限理解すべきコンピュータの基本的な仕組み、グラフィックスの原理、そしてスクリプティングの技術について、本記事では詳しく掘り下げていきます。 コンピュータの心臓部であるCPUとGPUの役割と相互作用から始め、これらがどのようにして3D空間のレンダリングやアプリケーションの実行に影響を与えるかを解説します。 Unityエンジンを用いたゲーム開発では、これらのハードウェアコンポーネントの理解が不可欠です。 続いて、ゲーム開発におけるグラフィックスの基礎を学びます。 ここでは、ビルトインレンダーパイプラインから、より高度なUniversal Render Pipeline (URP) やHigh Definition Render Pipeline (HDRP) まで、Unityで利用可能なレンダリングパイプラインの違いとその選択がプロジェクトに及
OSSコントリビュータになろう ― Deno編
Copyright (c) 2018-2020 the Deno authors. MIT License. この記事は Deno Advent Calendar 2020 24日目の記事です。 23日目は -> （あとで埋める） 25日目は -> Deno が Node.js に依存しなくなった はじめに こんにちは、@magurotuna です。 2020年ももうそろそろ終わりですね。みなさんはどのような1年を過ごされたでしょうか？ 僕は、初めての転職をしたり、OSSコントリビュートを始めたり、といった1年でした。 OSSコントリビュートに関しては、去年までは「凄腕のエンジニアがやるものであって、平凡なエンジニアである僕はその恩恵に預かるだけ……」と思っていましたが、いざやってみると、まったくそのようなことはなく、さまざまな方面からOSSに貢献することができるということが分かりました。
August 8, 2019 // Jef Spaleta Sensu, Inc. This post walks you through how Kubernetes works, breaking down the individual components to illustrate how K8s helps you manage the lifecycle of containerized applications. DevOps It’s no secret that the popularity of running containerized applications has exploded over the past several years. Being able to iterate and release an application by provisioni
西川善司の3DGE：NVIDIAが投入する20 TFLOPS級の新GPU「A100」とはいったいどのようなGPUなのか？
西川善司の3DGE：NVIDIAが投入する20 TFLOPS級の新GPU「A100」とはいったいどのようなGPUなのか？ ライター：西川善司 カリフォルニア州の自宅で撮影したビデオで基調講演を行ったJensen Huang氏 去る2020年5月14日，NVIDIAは，同社CEOのJensen Huang氏によるオンライン基調講演で，新しい「Ampere」アーキテクチャ採用の新GPU「A100」を発表した。 Ampereとは，電流量の単位である「アンペア」の語源となったフランスの物理学者アンドレ＝マリ・アンペール（André-Marie Ampère）にちなんだ開発コードネームだ。NVIDIAは近年，新しいGPUアーキテクチャの開発コードネームに，歴史に名を残した科学者の名を採用している。GeForce RTX 20シリーズの「Turing」や，その前世代の「Volta」も同様だ。 SXM4
Ruby support comes to App Engine standard environment | Google Cloud Blog
We have some exciting news for App Engine customers. Ruby is now Beta on App Engine standard environment, in addition to being available on the App Engine flexible environment. Let's dive into what that means if you’re a technical practitioner running your apps on Google Cloud. There are lots of technical reasons to choose App Engine standard vs. flexible environment (this link explains it if you
Luma's NeRF and meshing models are now available on our API, giving developers access to world's best 3D modeling and reconstruction capabilities. At a dollar a scene or object. Today it costs anywhere from $60-$1500 and 2-10wk, and rounds of back and forth to have 3D models created. At a dollar a model, and around 30 min of compute now we can imagine 3D models for entire inventories for e-commerc
法律の条文や契約書などの法的な文章は通常の文章と比べて読みにくく感じます。この「法的文書の読みにくさ」の原因について分析したマサチューセッツ工科大学(MIT)の研究が2022年のイグノーベル賞を受賞しました。受賞に際して研究チームのメンバーがMITにコメントを寄せていたので、研究内容と共にまとめてみました。 Poor writing, not specialized concepts, drives processing difficulty in legal language - ScienceDirect https://doi.org/10.1016/j.cognition.2022.105070 Objection: No one can understand what you’re saying | MIT News | Massachusetts Institute of Te
GitHub Actions Workflow 作成 Tips - NTT Communications Engineers' Blog
はじめに こんにちは、クラウド&ネットワークサービス部で SDPF のベアメタルサーバー・ハイパーバイザーの開発をしている山中です。 先日 GitHub Actions self-hosted runners のオートスケーリング構成の紹介（クラウドサービス開発を支える CI の裏側） の記事で、自作の runner controller と Docker を用いた、オンプレミスでの CI 環境構成についてご紹介しました。 今回の記事では、構築した CI 環境上で動かしている workflow の紹介をしながら、workflow 作成についての Tips をいくつかご紹介したいと思います。 engineers.ntt.com 記事を書いたモチベーション 実際の業務で GitHub Actions を使用するにあたって、ありがちな悩みを解決するための workflow の作成事例や工夫などの
March 23, 2020 Please don't write your documentation in Markdown Please don't write your documentation in Markdown. Please. I'm begging you. Markdown is tolerable for short documentation, like a readme.md. Past that, it's the wrong tool for the job. Markdown is about formatting, not information Markdown is just a way to write simpler, nice looking HTML. There is direct mapping between _foo_ and <e
This app is for use in Japan. Officially provided by the Ministry of Health, Labour and Welfare of Japan (MHLW), this app notifies you of close contact with COVID-19 positive users to help the government and healthcare organizations contain the spread of COVID-19. ■ What you can do Smartphones with this app will emit radio waves via Bluetooth. When other smartphones with this app receive the radio
今日はPreferred Networksの最終出社日でした。アルバイト期間含めて6年間、大変お世話になりました！ pic.twitter.com/klMbe5mct8 — Yuki Igarashi (@bonprosoft) February 18, 20222月末をもって Preferred Networks を退職します。 フルタイムでは4年間、アルバイトも含めると6年間お世話になりました。 ここ数年間、おかげさまで私としては毎日楽しく（精一杯）過ごしてきたのですが、日頃の情報発信を怠っていたこともあり周りからどう思われているのか考えるときがあります。 ちょうど良い機会だと思うので、この数年間で何をやっていたかをまとめようと思います。 単なる自己満足でしかないのですが、私がこの4年間に取り組んでいたこと、PFNでの経験が本当に素晴らしいものであったということが一人でも多くの方に伝わ
Helpful background for code reading The GNU coreutils has its foibles. Many of these utilities are approaching 30 years old and include revisions by many people over the years. Here are some things to keep in mind when reading the code: Tiny programs - These utilities are small, (mostly) single-source file programs designed to do one thing and do it well. They are not designed for long life or to
RNNからTransformerまでの歴史を辿る ～DNNを使ったNLPを浅く広く勉強～ - arutema47's blog
Amazon Prime 一ヶ月無料 Seq2seqからBERTまでのNLPモデルの歴史をざっとまとめる。 DNNは知ってるけどTransformerってなんだかわからない、って人におすすめです。 Abst. 画像認識にもTransformerが使われることが多く、DeepRLやGPT-3といったNLPモデルも身近になってきています。"Attention is 何?"と言えなくなってきたので勉強しました。 Feedforward NetworksからSeq2Seq, Attention機構からTransformer登場、そしてBERT GPTといった最新モデルまでの流れを広く浅く記述する予定。 またKaggle NLPコンペの上位解法から利用例を探る。 Tl;DR TransformerはSelf-Attentionという機構でデータ内の時系列的特徴を抽出でき、従来のRNNを始めとするNN
はじめに 〜衛星データとは〜 人工衛星データとは、人工衛星を利用した“リモートセンシング”によって取得されたデータを指します。 これまで人工衛星データは専門ツールや大容量データ処理基盤が必要なため、利用できる組織は大学機関や一部の専門機関が限られていましたが、昨今のオープンソース・ライブラリの普及やデータ処理基盤のクラウド利用により、一般組織でも気軽に人工衛星データを扱える外部環境が整ってきました。 衛星データを利用することで、これまで取得することができなかった様々な場所・時間・対象の状態をビッグデータで解析することが期待できます。 そこで本記事では、どの様にデータを扱うのかを、衛星データ解析の専門ツールを利用せず（最も身近なツールの一つであるpythonを利用）、誰でも気軽に試すために無償で利用方法を紹介していきたいと思います。 また、今回はビジネスや社会実装に利用イメージが沸きやすい衛
翻訳中の本に、影響力の強い文として出てきたので、座興でやってみた。んー、いまだとそんなにすごい感じではないのと、ChatGPTとか出てきて、人間計算機共生のありかたそのものの、歴史的前提が崩れ始めている感じではある。とはいえ、60年以上前の話だから…… むしろ、この中で出てくる、人間で拡張された機械、という概念の方が妥当性が高いんじゃないかとさえ思う。 人と計算機の共生 Man‑Computer Symbiosis J. C. R. リックライダー 山形浩生訳 (hiyori13@alum.mit.edu) IRE Transactions on Human Factors in Electronics, volume HFE-1, pages 4-11, March 1960 groups.csail.mit.edu 要約 人と計算機の共生は、人と電子計算機との協力的な相互作用の中で、予
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Kernel Queue: The Complete Guide On The Most Essential Technology For High-Performance I/O
2022年2月に発生したウクライナへのDDoS攻撃についてまとめてみた - piyolog
深層学習のセキュリティ課題と論文まとめ - Qiita
2021年データサイエンスにオススメの本80冊！｜Octoparse Japan
バージニア北部リージョンで障害が発生するとヒヤヒヤする理由 | DevelopersIO
SameSite cookie recipes | Articles | web.dev
IAEAが福島第一原発のALPS処理水放出システムをモニタリングできるウェブページを公開中
ウクライナへのDDoS攻撃、日本でも兆候見えていた 観測のカギは「Backscatter」
Polars
機械学習における解釈性について | メルカリエンジニアリング
サーバーレスでスケールするメール送信システムをAWS CDKで構築する - 365歩のテック
Sustainability with Rust | Amazon Web Services
なぜ私はデータ処理においてNimをPythonの代わりに使うのか（翻訳）
Processingで見るプログラミングスタイル七変化 - Qiita
Sensu | How Kubernetes works
Luma AI - Video to 3D API
イグノーベル賞を受賞した「法的文書が読みにくい理由の分析結果」をわかりやすくまとめるとこうなる
Please don't write your documentation in Markdown
COCOA - COVID-19 Contact App - Apps on Google Play
Preferred Networks を退職します
Decoded: GNU coreutils – MaiZure's Projects
【入門】Pythonによる人工衛星データ解析（Google Colab環境） - Qiita
リックライダー「人と計算機の共生」 - 山形浩生の「経済のトリセツ」