実践 AWSデータサイエンス
AWSではデータサイエンス分野で利用できるさまざまなサービスが提供されています。本書では、それらのサービスを有効に使って、データの収集、分析、モデルの訓練、テスト、デプロイまでの一連のプロセスを行う方法を紹介します。対象とする事例は、ヘルスケアデータ、時系列データ、自然言語処理、画像分類、不正検出、需要予測、レコメンデーションシステムなど非常に多岐にわたります。本書の目的は、Amazon SageMakerをはじめとしたAWSの機械学習サービスの詳細を説明するだけでなく、AWSのサービスを組み合わせることで、データサイエンスとアプリケーション開発の統合を図り、開発を効率化することであり、データサイエンティスト、データアナリスト、データエンジニア、MLエンジニアはもちろん、アプリケーション開発者や管理職にとっても役に立つ一冊です。 正誤表 ここで紹介する正誤表には、書籍発行後に気づいた誤植や
Image credit: AuthorNumPy is a fundamental library that most of the widely used Python data processing libraries are built upon (pandas, OpenCV), inspired by (PyTorch), or can efficiently share data with (TensorFlow, Keras, etc). Understanding how NumPy works gives a boost to your skills in those libraries as well. It is also…
TensorFlowの使い方 DevFest 2019
TensorFlow の使い方 TensorFlow 2.x とエコシステム bit.ly/2PEEh0s
Breck, Eric, et al. "Data validation for machine learning." Conference on Systems and Machine Learning (SysML). https://mlsys.org/Conferences/2019/doc/2019/167.pdf . 2019. 読み手のコンテキスト現職で機械学習予測モデルをプロダクトに投入する様になって3年程経った。そうもなると開発時に想定していた訓練データの分布と現状の分布が乖離して、予測の動作不良を引き起すケースがしばしば見られる様になった。明らかな予測の不具合として目立っていなくとも性能が落ちている部分はもっとあるはずで、これに早く気づいて対応したいモチベーションがある。かつ運用専任メンバーはいないので、できるだけ運用は手を抜きたい。概要著者らはData Validat
Python用深層学習用フレームワーク「PyTorch」のnightly版が侵害されたとして、プロジェクトがアンインストールを呼び掛けた。2022年12月25日から30日の間にインストールされたパッケージが対象だ。 Linux Foundationのプロジェクト、PyTorch Foundationは2022年12月31日（米国時間）、Python用深層学習用フレームワーク「PyTorch」のnightly版ユーザーに対し「すぐにnightly版とtorchtritonをアンインストールし、最新版をインストールしてください」と呼び掛けた。12月25日から30日の間にpipを介してインストールされたパッケージが侵害されていたとしている。 このパッケージは、Python Package Index（PyPI）コードリポジトリで侵害された悪意あるtorchtritonをインストールし、実行すると
fast.ai - Mojo may be the biggest programming language advance in decades
I remember the first time I used the v1.0 of Visual Basic. Back then, it was a program for DOS. Before it, writing programs was extremely complex and I’d never managed to make much progress beyond the most basic toy applications. But with VB, I drew a button on the screen, typed in a single line of code that I wanted to run when that button was clicked, and I had a complete application I could now
サイエンティストとエンジニアでつくるML ワークフロー - スタディサプリ Product Team Blog
こんにちは、データエンジニアの@masaki925 です。 この記事はMLOps Advent Calendar 2020 の19 日目の記事です。 MLOps には、その成熟度に応じて3つのレベルがあると言われています。 MLOps レベル 0: 手動プロセス MLOps レベル 1: ML パイプラインの自動化 MLOps レベル 2: CI / CD パイプラインの自動化 私の所属するチームでは現在ここのレベルを上げるべく取り組んでいますが、その中でデータサイエンティスト(以下、DS) とデータエンジニア(以下、Dev) の協業って難しいよな〜と思う事例があったので紹介したいと思います。 想定読者は以下のような方です。 これからMLOps を始めようとしている方 既存プロジェクトがあり、ML 等を使ってエンハンスしていきたいと考えている方 異文化協業に興味がある方 ML ワークフロー
機械学習のための日本語前処理 - Qiita
はじめに 機械学習を使ったチャットボットの仕組みを理解するために、テキストを訓練データとする簡単なニューラルネットワークを作成した際の備忘録。 目的 英文テキストで作成したルールベース型チャットボットを、日本語テキストにも適用して動作させること。日本語テキストを前処理し、それをニューラルネットワークへ通せることを確認する。訓練データとして、Niantic社の"Pokemon GO"に関連したサポートページをWebスクレイピングしたものを使用した。 Nianticサポートページ 使用しているCSVファイル(GitHub) マルチクラス分類 予め用意された応答文を入力にあわせて返す「ルールベース型」を参考に、"Intents"（意図）を識別して予測するマルチクラス分類の部分までを形にした。 「生成型」ではなく、入力情報から関連した「よくある質問（FAQ）」を予測するものであるため、”RNN”で
今回紹介する言語は、グラフデータベースのNeo4jで使う問い合わせ言語のCypherです。Cypherは一般的なデータベースを操作するSQLと同等の機能をグラフデータベースで扱えるように設計されたものです。グラフデータベースは見た目も面白く、データ管理だけでなく視覚化の点でも役立ちます。 Cypherで3と5の公倍数を表示したところ Cypherとは 以前、本連載では一般的なデータベース(RDBMS)で使えるSQLについて紹介しました。SQLはデータベースの問い合わせ言語であり、簡単なコマンドによりデータの挿入、変更、削除、検索を行います。 同じように、Cypherを使うことでグラフデータベースを操作できます。CypherはもともとNeo4jのために設計されましたが、2015年にオープンソースのプロジェクトとしても公開されています。 グラフデータベースNeo4jとは なお、Neo4jという
次世代の畳み込み？！CondConv - Qiita
はじめに 日課のarXiv論文のチェックをしていたところ、Microsoftから興味深い論文1が出ていました。 Microsoftから動的にConvの重みを変えるDynamic Convolutionの提案。重み自体を出力するのではなく、複数のConvの線型結合の係数を出力する（Attention)。実はGoogleからもCondConvという同様のアプローチが提案されていて（NIPS'19）熱い！ https://t.co/M36wbog1nm https://t.co/lwznevSy2y pic.twitter.com/vNZH6M4CL3 — Yusuke Uchida (@yu4u) December 10, 2019 チラ見してみると、積ん読していたGoogle Brainから出ている論文CondConv2の論文とほぼ同じような主張をしていたので、CondConvのほうを改めて
最近こちらのサイトを参考にfeature storeに関して勉強してみたので、今回はそのメモです。 www.featurestore.org Why：なぜ必要か？ 機械学習の実運用時の困りごと 実験環境と本番環境を揃えたい 過去のある時点の状況を再現したい 特徴量に関する車輪の再発明をなくしたい 歴史的経緯 What：Feature Storeとはなにものか？ 求められる要件 共有性 学習系と推論系の一貫性 Feature Engineeringと透明性 バージョン管理と再現性 ガバナンスとアクセスコントロール バッチとオンライン処理 How：どうやって実現する？ 標準的なFeature Storeの構成 Serving Storage Transformation Monitoring Registory その他、主なプロダクト群 OSS Feast Hopsworks Rasgo マネ
.app 1 .dev 1 #11WeeksOfAndroid 13 #11WeeksOfAndroid Android TV 1 #Android11 3 #DevFest16 1 #DevFest17 1 #DevFest18 1 #DevFest19 1 #DevFest20 1 #DevFest21 1 #DevFest22 1 #DevFest23 1 #hack4jp 3 11 weeks of Android 2 A MESSAGE FROM OUR CEO 1 A/B Testing 1 A4A 4 Accelerator 6 Accessibility 1 accuracy 1 Actions on Google 16 Activation Atlas 1 address validation API 1 Addy Osmani 1 ADK 2 AdMob 32 Ads
ペパボ研究所 研究員／プリンシパルエンジニアの三宅(@monochromegane)です。 ペパボ研究所では、新卒のエンジニア研修の一環として、2020年7月13日から5日間に渡って機械学習入門の研修を担当しました。 本エントリでは、研修内容をスライドと共に紹介します。 GMOペパボの新卒エンジニア研修における機械学習研修の位置付け GMOペパボの新卒エンジニア研修は、5月のGMOインターネットグループでの合同研修プログラム（GMO Tech Bootcamp）と、6〜7月のGMOペパボでの研修プログラムから構成されています。 6月以降の研修では、Webアプリケーション、フロントエンド、セキュリティ、コンテナとデプロイなど様々な技術要素についてプログラムが組まれており、今年から機械学習研修がこれに連なることになりました。 VP of Engineering 兼技術部長の @hsbt の言葉
AWS Startup ブログ 日本のスタートアップにおける AI/ML 事例 今や多くのスタートアップにおいて、人工知能 (Artificial Intelligence; AI) や機械学習 (Machine Learning; ML) は単なる話題作りではなく、データに基づく新たなビジネス価値の創出・自動化を行う上で欠かせないツールになっています。AWS をご利用中のスタートアップのお客様からも、多くのユースケースが紹介されています。本記事では、既に公開されている AI/ML 事例からアイディアを集め、読者の皆様が機械学習の第一歩を始めるための手がかりとなるようまとめたものです。 何から考え始めれば良いのか？ まず機械学習は何から考え始めればいいの？という疑問に関して、ビジネスモデル (課題) ありきで、その上で手段として機械学習を捉えるのが良いでしょう。AWS でのベストプラクティ
テレワークで自宅時間が増えた。そうなれば、自宅を快適にしたいという流れが自然だろう。とは言えお金はかけたくないと誰もが思うところだ。せっかくPythonが使えるならRaspberry Picoを活用してみよう。550円から電子工作が始められるので手軽だ。今回は、Picoのセットアップから温度取得までやってみよう。 Raspberry Pi Picoを使えばPCにさまざまな電子部品を接続して活用できる 550円の衝撃 - Raspberry Pico 「Raspberry Pi Pico」(以後、ラズパイピコと略す)とは、2021年初頭に発売されたRaspberry Piの新シリーズだ。そもそも、Raspberry Piは手のひらサイズの小型Linuxであり、世界中で3700万台以上を売り上げた大ヒット製品だ。 主要最新モデルのRaspberry Pi 4 Model Bは、CPU1.5GH
.app 1 .dev 1 #11WeeksOfAndroid 13 #11WeeksOfAndroid Android TV 1 #Android11 3 #DevFest16 1 #DevFest17 1 #DevFest18 1 #DevFest19 1 #DevFest20 1 #DevFest21 1 #DevFest22 1 #DevFest23 1 #hack4jp 3 11 weeks of Android 2 A MESSAGE FROM OUR CEO 1 A/B Testing 1 A4A 4 Accelerator 6 Accessibility 1 accuracy 1 Actions on Google 16 Activation Atlas 1 address validation API 1 Addy Osmani 1 ADK 2 AdMob 32 Ads
近年では、現実の風景を撮影した写真やムービーを漫画やアニメーションらしい画像に加工するアプリが複数登場しており、多くの人が写真を加工してSNSなどに投稿しています。そんな中、アニメーション特有の表現要素に着目して写真をアニメ調に変換する「White-box-Cartoonization」という新たな手法についての論文が、GitHub上で公開されています。 GitHub - SystemErrorWang/White-box-Cartoonization: Official tensorflow implementation for CVPR2020 paper “Learning to Cartoonize Using White-box Cartoon Representations” https://github.com/SystemErrorWang/White-box-Cartoo
PyPIにおける潜在的な任意コード実行
はじめに(English version is also available.) PyPIは、セキュリティページ自体は公開しているものの、脆弱性診断行為に対する明確なポリシーを設けていません。1 本記事は、公開されている情報を元に脆弱性の存在を推測し、実際に検証することなく潜在的な脆弱性として報告した問題に関して説明したものであり、無許可の脆弱性診断行為を推奨することを意図したものではありません。 PyPIに脆弱性を発見した場合は、Reporting a security issueページを参考に、[email protected]へ報告してください。 要約PyPIのソースコードを管理しているリポジトリのGitHub Actions上において、悪意あるプルリクエストが任意のコマンドを実行する事が可能な脆弱性が存在した。 これにより、当該のリポジトリに対して書き込み権限を得ることができ、結果
はじめに こんにちは、(株) 日立製作所 Lumada Data Science Lab. の森田です。 Lumada Data Science Lab. では、映像解析技術・映像解析ソリューションの研究開発を行っています。 この記事では、街頭にある防犯カメラの映像に適用する際に重要となる「検知サイズ」の観点で、人物骨格推定OSSの評価を行います。 0. 忙しい方へのまとめ 大型ショッピングモール、スタジアム、駅、空港などの防犯カメラは、広範囲を少ない台数で撮影したいので画角が広角になりがち 広角で撮影した画像は人物は小さく写るので、小さく写る人物の骨格を検出できることが重要 今回は骨格推定AIのOSSとして、openpifpafとtf-pose-estimationをピックアップし、最小検知可能サイズの指標で評価 openpifpafの方が最小検知可能サイズが小さいことを確認 1. 防犯
« C++ な WebServer 実装 crow と TensorFlow Lite を使って Object Detection の API サーバを書いた。 | Main | Go で大文字小文字無視の文字列比較ベンチマーク » Go は Ducktype をサポートしたプログラミング言語です。interface で宣言されたメソッドを型に強制したり問い合わせたり出来ます。メソッドの実装を保証する為に以下の様に struct に interface を embedded する事も出来ます。 package main type I interface { doSomething() } type foo struct { I } func (f *foo) doSomething() { } func callSomething(i I) { i.doSomething() } func
【オススメ技術書55冊】Kindleセールで12/9まで半額の本をエンジニアの学ぶ目的別にまとめ - 仮想サーファーの日常
技術書って1冊で3000円くらいかかって結構な出費になってしまうので、買うのをためらうことありますよね...。 そんな方に朗報です！！Amazonで2019年12月9日までなら普段の50%OFFで買える技術書をまとめました！ 仮に10冊買ったとして、普段なら3万円くらいするのに、1.5万円で買えてしまうことに！ 控えめにいって最高ですね。 ぼくもこの期間に読みたい技術書（Kindle）を一気に買っておいて、週末の空いた時間などに読もうと思っています。 【Kindle技術書50%OFFセール（12/9まで）】を見てみる ↑この記事で紹介しているKindle Saleは、2019年12月9日で終了しました。 この記事では、Amazonで50%OFFになっている技術書の中でも、目的別にオススメの技術書を紹介していきます。 プログラミング初心者の方にオススメ IT業界で頻繁に使う用語をざっくり学び
JavaScript開発者が機械学習モデルを構築できる「TensorFlow.js」の使い所 - ZDNet Japan
印刷する メールで送る テキスト HTML 電子書籍 PDF ダウンロード テキスト 電子書籍 PDF クリップした記事をMyページから読むことができます ウェブスクリプト言語を使って機械学習モデルを構築し訓練するのは野心的な取り組みに思えるかもしれないが、2019年の現在では、それは完全に実行可能なことだ。 ブラウザーでの機械学習を可能にするのに役立つのが「TensorFlow.js」だ。TensorFlow.jsは、「JavaScript」を使用して機械学習を実行するためのGoogleのオープンソースライブラリーである。先頃、バッハ風のメロディーをオンデマンドで生成する「Google Doodle」によって、TensorFlow.jsが切り開いた大きな可能性が示された。 GoogleのプロダクトマネージャーであるSandeep Gupta氏が先頃、「Google I/O」カンファレンス
.app 1 .dev 1 #11WeeksOfAndroid 13 #11WeeksOfAndroid Android TV 1 #Android11 3 #DevFest16 1 #DevFest17 1 #DevFest18 1 #DevFest19 1 #DevFest20 1 #DevFest21 1 #DevFest22 1 #DevFest23 1 #hack4jp 3 11 weeks of Android 2 A MESSAGE FROM OUR CEO 1 A/B Testing 1 A4A 4 Accelerator 6 Accessibility 1 accuracy 1 Actions on Google 16 Activation Atlas 1 address validation API 1 Addy Osmani 1 ADK 2 AdMob 32 Ads
Pure Rustな近似最近傍探索ライブラリhoraを用いた画像検索を実装する - Stimulator
- はじめに - 本記事は、近似最近傍探索（ANN: Approximate Nearest Neighbor）による画像検索をRustを用いて実装した際のメモである。 画像からの特徴量抽出にTensorFlow Rust bindings、ANNのインデックス管理にRustライブラリであるhoraを利用した。 RustとANNの現状および、実装について触れる。 - はじめに - - RustとANN - - pretrainモデルによる特徴量化 - - 画像特徴のインデックスと検索 - - 検索結果 - - おわりに - - RustとANN - Rustの機械学習関連クレート、事例をまとめたリポジトリがある。 github.com この中でも、ANN関連のクレートは充実している。利用する場合は以下のようなクレートが候補になる。 * Enet4/faiss-rs * lerouxrgd/
ML事業部の近江崇宏です。 Stockmarkでは日々、膨大な数のニュース記事に対してBERTの推論処理を行なっています。このような重いタスクを効率的に処理するために、最近、TPUを用いたBERTの推論処理基盤をGoogle Cloud Platform上に構築し、運用を開始しました。その結果として、これまで1週間程度かかっていた、数千万件のデータの処理を1日以内で完了できるようになるなどの大きな効果を得られました。今回はこの取り組みについて紹介します。 はじめに近年のニューラルネットワークの研究の発展により、画像認識や自然言語処理の様々なタスクを人間と同等もしくはそれ以上のレベルで処理できるようになりました。その結果として、ビジネスでのニューラルネットワークの利用が進んでいます。その一方で、ニューラルネットワークには、モデルの巨大さに起因して処理時間が長いという大きな問題があります。その
Google Cloudは2020年9月1日（米国時間）、機械学習モデルを利用したアプリケーション開発の苦痛を減らし、プロトタイプ開発を迅速に進める方法を公式ブログで紹介した。 概要は以下の通り。 トレーニング済みモデルを使用する 機械学習プロジェクトで最も時間がかかり、苦痛な部分の一つは、機械学習アルゴリズムに学習させるラベル付きデータを収集することだ。だが、多くの一般的なユースケースでは、機械学習モデルを一から構築する必要はなくなっている。誰かが構築、調整、メンテナンスした学習済みの機械学習モデルを利用できるためだ。Google Cloudが提供する「Cloud AI API」はその一例だ。Cloud AI APIを使えば、次のような作業に機械学習を適用できる。 音声および動画ファイルのテキスト変換 ドキュメント内のテキストの理解 構造化ドキュメント（フォームや請求書のような）の解析
DATAFLUCT Tech Blog
2022-08-27 データ抽出に特化したAirbyteによるEL(T) 環境構築の実践 データ基盤 Airbyte ELT こんにちは。今回は、データ基盤の構築の一部を実際に体験してみたいと思います。 データ基盤を作成するにあたり、まずは、社内に眠る様々なデータを集めてくる必要があります。前回の記事では、その機能を「収集」と紹介していました。 データ基盤とは何か… データ基盤 データ分析基盤 実践 2022-08-18 Metaflowでモデルの学習をpipeline化するまで MLOps Metaflow Pipeline 皆さんは「MLOps」について取り組んでいらっしゃるでしょうか。私は2018年頃からデータクレンジングや機械学習モデルの構築や運用をしてきましたが、当時の日本で私の耳にはMLOpsという言葉が入ってくることはありませんでした。 ただMLOpsの元となった「Dev…
Pythonには対話的にプログラムを実行できるPythonシェルが備わっている。きっとPython学習の際に使ったことがあると思う。とはいえ学習用だけに限定するのは非常にもったいない。筆者は事あるごとに計算やカレンダー、フォルダを開いたりと、いろいろな用途に使っている。今回は、Pythonシェルを便利に使うアイデアを7つ紹介する。 Pythonシェルとは？ そもそも、Pythonシェルとは何だろうか。Pythonをインストールすると一緒についてくる対話式実行環境のことだ。WindowsでPythonシェルを起動するには、スタートメニューから「Python3.x > IDLE」を実行するか、PowerShellを起動して「python3」とタイプすれば良い。macOSではターミナル.appを起動して「python3 」とタイプしよう。 Pythonシェルが起動すると「>>>」と表示されるので
Spring BootによるAPIバックエンド構築実践ガイド 第2版 何千人もの開発者が、InfoQのミニブック「Practical Guide to Building an API Back End with Spring Boot」から、Spring Bootを使ったREST API構築の基礎を学んだ。この本では、出版時に新しくリリースされたバージョンである Spring Boot 2 を使用している。しかし、Spring Boot3が最近リリースされ、重要な変...
.app 1 .dev 1 #11WeeksOfAndroid 13 #11WeeksOfAndroid Android TV 1 #Android11 3 #DevFest16 1 #DevFest17 1 #DevFest18 1 #DevFest19 1 #DevFest20 1 #DevFest21 1 #DevFest22 1 #hack4jp 3 11 weeks of Android 2 A MESSAGE FROM OUR CEO 1 A/B Testing 1 A4A 4 Accelerator 6 Accessibility 1 accuracy 1 Actions on Google 16 Activation Atlas 1 address validation API 1 Addy Osmani 1 ADK 2 AdMob 32 Ads 71 Ads API 11
.app 1 .dev 1 #11WeeksOfAndroid 13 #11WeeksOfAndroid Android TV 1 #Android11 3 #DevFest16 1 #DevFest17 1 #DevFest18 1 #DevFest19 1 #DevFest20 1 #DevFest21 1 #DevFest22 1 #DevFest23 1 #hack4jp 3 11 weeks of Android 2 A MESSAGE FROM OUR CEO 1 A/B Testing 1 A4A 4 Accelerator 6 Accessibility 1 accuracy 1 Actions on Google 16 Activation Atlas 1 address validation API 1 Addy Osmani 1 ADK 2 AdMob 32 Ads
Webサイトで公開されている長編小説などを電子書籍リーダーでじっくり読みたい場面がある。その場合、WebページをPDFにしてしまうと良いのだが、ブラウザの機能を使って変換すると、非常に文字が小さくなり、KindleやKoboなど電子書籍リーダーで読むには適さないことが多い。そこで、単にPDFに変換するだけでなく、読書端末で快適に読書できるように、文字サイズなどをカスタマイズするプログラムを作ってみよう。 HTMLファイルから電子書籍リーダー用のPDFを生成しよう じっくり読書するためのPDF造り 多くの電子書籍リーダーは、ディスプレイに電子ペーパー(E Ink)を搭載している。この電子ペーパーは、太陽光の下でもくっきりと画面を確認できるため、目に優しいと言われており、長時間の読書に適している。筆者も電子書籍リーダーを愛用しており、日々の読書の友としている。 一般的な電子書籍リーダーでは、独
【Python】Webアプリ開発、AI・機械学習、データ分析が学べるコンテンツ＆書籍23選 - paiza times
こんにちは。倉内です。 Pythonは文法がシンプルで初めてプログラミングを学ぶ方も取り組みやすく、また、近年はビッグデータ分析やAI・機械学習の分野で利用され人気の高いプログラミング言語です。 2020年1月に公開された『AI崩壊』という映画の中でもAIのプログラムはPythonで書かれていました。（画面にコードがよく映るので学習したことがある方はすぐ分かると思います。見る機会があれば注目してみてください） 人気があるので学習コンテンツや書籍も充実していますが、たくさんありすぎて逆に「どれで勉強するといいだろうか…？」と悩むこともあるかもしれませんね。 そこで今回は目的別にPythonを学べるオンラインコンテンツと書籍をご紹介したいと思います。 Pythonの基本を学ぶ オンライン実行環境がある学習サービス 【 Progate 】 【 paizaラーニング 】 【 PyQ 】 ローカル環
はじめに 普段ニュースサイトや機械学習関連のプロダクトを開発している中村と申します。 もともと大学院まで機械学習を研究しており、最近は自然言語処理が流行っているというニュースを聞きつけて、ずっと興味を持っていました。 （会社のお金で機械学習を勉強したいという願いが最近叶いました。） リモートワーク寂しい問題 最近のコロナ禍により、例にもれず弊社もリモートワークが盛んに行われ、現在ではリモートワークが当たり前になっています。 しかし、もちろん業務は円滑に進むのですが、コミュニケーションの量も少なくなることもまた事実。 ただし、チームメンバーの時間を雑談で奪うのも何か気がひける・・・。 こういうときはエンジニアリングの力で解決するのが、エンジニアという生き物ですよね。 そこで、今回は深層学習による自然言語処理モデルで、雑談のためのチャットボットを構築してみます。 深層学習時代の自然言語処理 今
どの書き方を採用すべきか 公式チュートリアルでは、「初心者向け」と「エキスパート向け」という2つのクイックスタートが用意されており、これは前掲の図における（1）と（4）に該当する。本連載ではそれに合わせて、初心者は（1）、初中級者以上は（4）をお勧めとしている。 （4）や（5）のSubclassing（サブクラス化）モデルは、「Pythonを使ってコーディングしている」感がより強まる。それに伴い、どうしてもコード量が飛躍的に増えがちである。しかしこれは、（1）や（2）のSequentialモデルだとメソッド内に隠蔽（いんぺい）されていた学習処理を細かく制御したり、柔軟なカスタマイズができたりするというメリットの裏返しでもある。 どの書き方にもメリット／デメリットはあるので、まずは使える書き方や、気に入った書き方から始めてみるのもよいだろう。特にKerasに慣れている人の中には、「（4）／（
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは。ヤフーでデータエンジニア兼マネージャーをしている安藤です。 社内で利用しているAIプラットフォームの構築、提供を担当しています。 ヤフーには100を超えるサービスがあり、各サービスのデータ＊1が蓄積されています。ヤフーではこれらのデータをマルチビッグデータと呼んでいます。マルチビッグデータを利用し、ユーザの利便性やサービスの質向上のため、AI、機械学習の導入が増えています。 今回は、社内で急速に利用が進んでいる内製のAIプラットフォームを紹介します。 ＊1 この記事で取り扱っているデータは、プライバシーポリシーの範囲内で取得したデータを個人が特定できない状態に加工しています。 AIプラットフォーム開発の目的 AIプラッ
もったいない！ そのWin７（VISTA）パソコン 捨てないでください！！ 「変身 ＵＳＢ」を挿すだけで、簡単にWindowsパソコンが変身します。 ＡＩ・ディープラーニング専用機に… Windows１０ Likeパソコンに… 耐タンパー性の高い シンクライアント端末に… 変身します。 Windows7は、来年１月でMicrosoft社 によるサポートが切れます。以後ウイルスなどには無防備となるので、そのままでのビジネス利用は非常に危険です。 ではWindows7パソコンは、もう廃棄・処分する他はないのでしょうか？ いえ、サポートが切れるのは Windows 7 OSだけです。OS以外は、CPU もメモリもディスプレイもみんな生きています。だからOSだけを入れ替えればよいのです。 それなのに、捨てるなんて！！ あまりにもったいない！ ＯＳだけを入れ替えれば、色々な利用方法に転用できます。
「どの言語を学ぶべきか」という議論はエンジニア向け記事の定番ネタですが、HackerNoonに投稿された5 Programming Languages Every Master Developer Should Learnという記事がなかなか興味深かったので翻訳してみました。 (2018/11/04追記) こちらの記事に関する「別視点からの意見」として下記のような記事を追加いたしました。宜しければこちらも併せてご参照ください。 Ruby->Go->Scalaという習得順序がエンジニアの爆速の成長に最適である理由 はじめに 「プログラマーは新しい言語を毎年1つは習得するべきだ」という趣旨の文章をどこかで読みました。(多分CODE COMPLETEだったと思いますが) もしそれが難しくても、キャリアの中で最低限この後に紹介する5つの言語に通じておくことをお薦めします。 あらゆる会社は、多言語を
pixiv App Nightで「アプリエンジニアでも神絵師になりたい！」というLTをしてきました - みんからきりまで
pixiv App Nightというイベントでお絵かきエンジニア枠という募集があって面白そうだったので、久しぶりにLTをしてきました。 pixiv.connpass.com 発表資料は以下になります。 speakerdeck.com 内容は以前このブログに描いたイラストの話と被ってる部分もありますが、2019年versionとして改めてという感じです。 あんまりアプリ開発と関係ない話になってしまったので大丈夫かな？と不安だったのですが、会場ではとても好評だったようで安心しました。 他の方の発表も単純なアプリの実装に留まらない内容で刺激をうけました。 特に趣味でTensorFlowを使ってイラストの画像識別をやっているという話がとても興味深くて、自分も機械学習に手を出したいなぁと思いました。 ピクシブ社のオフィスもおしゃれで普段インターネットで見る方々と交流できたりしてとてもたのしかったです
実写をアニメ風に変換してくれるAnimeGANやーる（Windows10、Python3.6） - Qiita
はじめに 実写をアニメ風に変換してくれるAnimeGANをやってみました。 システム環境 Windows10（RTX2080 Max-Q、i7-8750H、RAM16GB） Anaconda 2020.02 Python 3.6 CUDA 9.0 導入 AnimeGANをクローンします。 animegan用の環境を作成します。 $ conda create -n animegan python=3.6 $ conda activate animegan $ pip install tensorflow-gpu==1.8.0 $ pip install tqdm $ pip install scipy $ pip install opencv-python $ cd AnimeGAN-master AnimeGAN-masterにdatasetを置きます。 Haoyao-styleの中身をc
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
NumPy Illustrated: The Visual Guide to Numpy
Data validation for machine learning 読んだ
PyTorchのnightlyに侵害 「すぐにアンインストールしてください」
世界のプログラミング言語(39) グラフデータベースをCypherでデータを視覚化してデータを再発見しよう
Feature Storeについてふんわり理解する - Re:ゼロから始めるML生活
Android でコルーチン（パート I）: 背景を理解する
ペパボ研究所による新卒エンジニア向け機械学習研修 - ペパボ研究所ブログ
日本のスタートアップにおける AI/ML 事例 | Amazon Web Services
ゼロからはじめるPython(79) 550円で電子工作ラズパイピコを始めよう
ブラウザと Tensorflow.js を使った BERT の活用方法を考える
現実の写真をアニメ特有の表現要素に分解してアニメっぽく再構成する「White-box-Cartoonization」
OpenPoseに代表される骨格推定AI、実環境で使えるのはこれだ！ - Qiita
Big Sky :: Go で型がインタフェースを実装している事を保証するには
2020 年 2 月の SameSite Cookie の変更: 知っておくべきこと
Cloud TPUを用いたBERT推論処理基盤の開発
Google Cloud、機械学習アプリ開発の苦痛を減らすノウハウを紹介
ゼロからはじめるPython(83) Pythonシェル徹底活用 - 快適CUI生活のススメ
Googleが自然言語処理用のTensorFlow.Textライブラリをリリース
Google は皆さんが使わなくなったアカウントも保護しています
SBOM in Action: 「ソフトウェア部品表」で脆弱性を見つける
ゼロからはじめるPython(86) 電子書籍リーダーで快適に読めるPDFをHTMLから生成しよう
雑談のためのチャットボットを深層学習自然言語処理モデル（T5）で作る - Qiita
第5回 お勧めの、TensorFlow 2.0最新の書き方入門（エキスパート向け）
ヤフーのAIプラットフォーム紹介 〜 AI開発をより手軽に
そのWin７（VISTA）パソコン 捨てないでください！！
全ての開発者が学ぶべき5つの言語 - Qiita