機械学習について勉強したいので調べてみたのですが、 同じ記事や同じ本をおすすめされてることが多かったので、自分なりにまとめてみました。 私は数学も機械学習も無知だし、まだ何も機械学習のコードを書いてません。 ただのリンク集になってます。 実際にやってみた画像認識の内容も含めたブログ記事はこちらです 機械学習をやるまえに 最初に機械学習で何をしたいのかを決めることが重要 ゴールを持つことが学習の進み具合を変えるらしい。 たしかに、やりたいことがあれば、勉強量も定着量も全然違う気がする。 無駄な知識を学ばないことも大切なんでしょう。 すべての理論を理解しようとしない。 機械学習は難しすぎるのでまず理解できないし、少しずつ簡単なものを実践して理解していくことが大切。 まずはコードを書く！ コードを書いていけば、なぜ動くのかをおおまかに理解していける。 数式や理論の理解は後回し、慣れろ、ってことで
ハローワークの求人情報をスクレイピング（Python + Selenium + BeautifulSoup） - ai_makerの日記
この記事は、以下のハローワークインターネットサービスから求人情報を自動で取得する試みを記録したものです: www.hellowork.mhlw.go.jp まずは、ソースコードと実行結果をお見せし、後ほどこの記事を書いた経緯などを話します。 ソースコード：HelloWork_Scraping_ST.py from selenium import webdriver from selenium.webdriver.support.ui import Select import time from bs4 import BeautifulSoup import re # ハローワークインターネットサービスのURL url = "https://www.hellowork.mhlw.go.jp/" # 以下からご自分で使用しているChromeのバージョンに合ったChromeDriverをダウンロ
DX（デジタルトランスフォーメーション）とはなにか、そして何ではないのか｜Matsumoto Yuki
DX（デジタルトランスフォーメーション）という単語について、巷で多く聞かれるようになり、自分のもとにも様々ご相談をいただくことが増えてきた。また、マーケティングワード的な使われ方に対する批判など色々と聞かれるようになってきている。こうしたバズワードを強く押し出した記事を書くことはあまり好まないのだが、多くの企業においてソフトウェアがより導入され生かされる好機であると見てDXについて書いてみようと思う。 下記の元同僚のツイートが執筆のきっかけとなるが、自分なりのDXについての解釈を整理し簡単に示しておくことで、今後DXについてご相談に来られる方やDX推進される方々の参考になれば幸いである。 俺たちがちゃんと継続的リファクタをできていればDXなんて不要で、もっと緩やかなイテレーションでトランスフォームしていたはずなのだ。 — Seiji Takahashi - timakin (@__tima
使える統計モデル10選（前編） 統計モデリング（statistical modelling）はデータ解析の方法論の1つです。データ解析の目的は、通常はただの数値や記号の羅列であるデータから、人間が何かしらの判断を行うために有益な情報を引き出すことにあります。データ分析者は、そのままでは意味をなさないデータに対して、折れ線グラフやヒストグラムなどを用いて、人間が判断を行いやすいようにデータの可視化を行います。一方で、時にはニューラルネットワークのような複雑な計算モデルを使ってデータを解析し、まだ観測されていない将来の値を予測させたりします。このように、データから有益な情報を引き出すために、データに対して人為的な視点や事前知識、数学的な仮定などを設計する作業をモデリング（modeling）と呼びます。 統計モデリングによるデータ解析では、データ自体や解析の目的に合わせて分析者が適切なモデルを設
AWS Startup ブログ G Suite アカウントを用いた AWS へのシングルサインオン 皆さん、こんにちは。Startup Solutions Architect の松田です。 今回はセキュリティのお話です。今日、お客様は AWS のマネジメントコンソールへのログインのセキィリティを強化するために、様々な選択肢をお選びいただくことが可能になっています。一部のお客様は IAM User の管理を楽にするために、外部サービスのアカウントを用いて AWS のマネジメントコンソールへのログインを行っております。 この手法がスタートアップにとって有用なセキュリティオプションとなる場合が多くあります。例えば、フリーランスのエンジニアやインターンなど人の出入りが激しいスタートアップにとって、アカウントを一元管理出来ることはセキュリティの向上に繋がります。あるいは非エンジニアの社員が Amaz
Pythonで作って学ぶ統計モデリング 近年、AIや機械学習、深層学習といった用語に代表されるように、多種多様のデータを高度なアルゴリズムと計算機の力で解析し、将来予測などの価値を生み出す技術に注目が集まっています。 これらの技術の土台となっているのが、本記事で解説する統計モデリング（statistical modeling） と呼ばれる考え方です。元々は手計算が可能なレベルの比較的シンプルな数学的仮定を置いてデータを解析する方法論として発展しましたが、近年の計算機の性能発達に伴い、従来では取り扱えなかったより複雑なモデルを利用した高度な解析を実施する事例が増えてきています。特に、現在実践で広く使われている機械学習のモデルや、複雑な非線形関数を組み合わせた深層学習モデルなども、その多くは突き詰めれば統計モデルの一種であることが言えます。したがって、統計モデリングはそれ自体がデータ解析に対し
機械学習について勉強したいので調べてみたのですが、 同じ記事や同じ本をおすすめされてることが多かったので、自分なりにまとめてみました。 私は数学も機械学習も無知だし、まだ何も機械学習のコードを書いてません。 ただのリンク集になってます。 実際にやってみた画像認識の内容も含めたブログ記事はこちらです 機械学習をやるまえに 最初に機械学習で何をしたいのかを決めることが重要 ゴールを持つことが学習の進み具合を変えるらしい。 たしかに、やりたいことがあれば、勉強量も定着量も全然違う気がする。 無駄な知識を学ばないことも大切なんでしょう。 すべての理論を理解しようとしない。 機械学習は難しすぎるのでまず理解できないし、少しずつ簡単なものを実践して理解していくことが大切。 まずはコードを書く！ コードを書いていけば、なぜ動くのかをおおまかに理解していける。 数式や理論の理解は後回し、慣れろ、ってことで
ベイズ統計・ベイズ機械学習を始めよう コンピュータやネットワークの技術進化により，これまでにないほどの多種多様なデータを取り扱う環境が整ってきました．中でも統計学や機械学習は，限られたデータから将来を予測することや，データに潜む特徴的なパターンを抽出する技術として注目されています．これらのデータ解析を行うためのツールはオープンソースとして配布されていることが多いため，初学者でも手軽に手を出せるようになってきています． しかし，データ解析を目的に合わせて適切に使いこなすことは依然としてハードルが高いようです．この原因の一つが，統計学や機械学習が多種多様な設計思想から作られたアルゴリズムの集合体であることが挙げられます．毎年のように国際学会や産業界で新たな手法が考案・開発されており，一人のエンジニアがそれらの新技術を１つ１つキャッチアップしていくのは非常に困難になってきています． １つの解決策
数千人規模の自社イベントで顔認証活用サービスを作ってデリバリーした話 (ABECOIN) - ABEJA Tech Blog
はじめに こんにちは、ABEJAの大田黒(おおたぐろ)です。最近は、一ヶ月100kmを目標にランニングしたり、POとユカイな仲間たちと一緒に小売店舗向けのIoTxAI活用サービスの開発を進めているエンジニアです。前回の記事からだいぶ間が空いてしまいましたが、久しぶりにTech Blogを執筆しようと思います！ ちなみに前回は、IoTを活用したインフルエンザ注意報を作って社内展開をしていた様子等を書いてました。 tech-blog.abeja.asia 今私は、小売店舗向けのIoTxAI活用サービス であるABEJA Insight for retailの開発チームリーダーをさせていただいております。先日、我々のチームで研究＆開発している技術を活用し、顔認証でマイニング＆簡易決済が可能な仮想コイン(仮想通貨ではない)を個人の冬休みの自由研究として作りました。(詳しいコンセプトや仕組みは後述し
使える統計モデル10選（後編） 前回の記事では、使える統計モデル10選の前編として、主に回帰モデルに焦点を絞って紹介しました。 今回はその後編に当たる生成モデル編です。生成モデル（generative model）は、端的に言うと、コンピュータシミュレーションによりデータを人工的に作ることができるモデルです。データが作られる過程をうまく表現したモデルを構築することができれば、予測だけではなく異常検知やデータ圧縮など幅広いタスクに応用することができます。 生成系（教師なし系） 回帰モデルと同様、生成モデルも数個のパラメータから構成される簡単なものから、複数のモデルを巧みに組み合わせた複雑なものまで無限に存在します。ここでは、データ圧縮から自然言語処理、ソーシャルネット解析までさまざまなデータ解析のタスクで利用されている代表的な生成モデルを5つ選んで紹介します。また、生成モデルのすべては潜在変
大規模データ活用向けストレージレイヤソフトのこれまでとこれから（NTTデータ テクノロジーカンファレンス 2019 講演資料、2019/0…
大規模データ活用向けストレージレイヤソフトのこれまでとこれから（NTTデータ テクノロジーカンファレンス 2019 講演資料、2019/09/05）
本エントリは2021年8月30日に開催されたNode学園 37時限目 オンラインにて、「Vue 2で大きなデータを扱うときの性能改善手法」というタイトルで発表させていただいた内容をテックブログ記事化したものです。発表当日の様子はYouTubeにアーカイブで公開されておりますので、そちらも合わせてご覧いただけましたら幸いです。 はじめにストックマークでは、法人ユーザー向けに「Astrategy」というウェブサービスを開発・提供しています。Astartegyの詳細や技術的な全体構成についてはAstrategyを支える技術: gRPC, Elasticsearch, Cloud TPU, Fargate… SaaS型AIサービスの内側の世界というエントリで紹介しておりますのでそちらを参照いただくとして、本エントリではAstrategyのフロントエンドを構築する上で重要である性能改善手法について紹
【主催イベント】データ分析基盤エンジニア勉強会～各社の取り組みや課題から学ぶ会～ - TECH Street (テックストリート)
こちらのイベントレポートは下記のリンクからご覧ください www.tech-street.jp こんな方におすすめ ・データ分析基盤開発エンジニア ・データ分析基盤に興味関心がある方 ・その他、データ分析やIT関連の業務担当の方 ※実務レベルのセッションが中心のため、基礎知識や初級編の内容は含まれておりません。 開催概要 各社のデータ分析基盤開発に携わるエンジニアが集まり、日々の業務で得た知見や開発事例、工夫などを共有しあう合同エンジニア勉強会を開催いたします！ イベント名 データ分析基盤エンジニア勉強会 ～各社の取り組みや課題から学ぶ会～ 日時 2022年1月27日（木）19:30-21:00 開催場所 オンライン（Zoom）※メールでURLを配信いたします 参加費用 無料 開催形式 セッション形式 主催 TECH Street 人数規模 30～50名 タイムテーブル 19:30～19:4
AWS Certified Machine Learning – Specialty に合格してきました - YOMON8.NET
ここ数年のAIブームで、AIの勉強全くしてこなかった私でも、少しずつ仕事でAI関係に関わることができてきました。その度に部分的に頑張って追いつくというのを続けてきたのですが、そろそろ限界を感じたので、どこかで体系的に勉強しなくてはと考えていました。 勉強嫌いな方では無いですが、根がサボり屋なので、何か切迫した目標が無いと勉強に集中することができません。 そこで、5月中に「AWS Certified Machine Learning – Specialty 」を取得するというニンジンを設定して、今年のGWの10連休で勉強やろうと一年発起しました。 GWは子供が寝静まってから勉強というハードスケジュールでしたが、その甲斐あって、無事に試験合格したので、記事書きます。 勉強方法 基礎部分 試験向け 他にも役立った本 勉強時間 点数 その他試験の所感 まとめ 参考URL 試験ガイドとサンプル問題
LINEの開発組織のそれぞれの部門やプロジェクトについて、その役割や体制、技術スタック、今後の課題やロードマップなどを具体的に紹介していく「Team & Project」シリーズ。 今回は、プライバシー保護型機械学習技術の研究開発を行っているML Privacyチーム、ならびにAIの信頼性を担保する技術の研究開発を行っているTrustworthy AIチームを紹介します。 両チームのマネージャーを務める高橋翼、エンジニア/リサーチャーの長谷川聡(ML Privacyチーム)、綿岡晃輝(Trustworthy AIチーム)に話を聞きました。 両チームのメンバーの皆さん。所属チームを壁紙で色分けしてもらいました(ご覧の通り2名が兼務です) まず、自己紹介をお願いします。 高橋：2018年12月にLINEに中途入社した高橋翼です。前職は電機メーカーの中央研究所です。ML PrivacyチームとT
ネット上の有志らの手によって、痴漢被害をマッピングするシステムが実現に向けて動き始めています。詳細は以下から。 いつになっても一向に減る気配の見えない痴漢被害。ツイッターなどのSNSによって被害の多さが可視化されてきましたが、その実態のあまりの酷さは想像を絶するものです。 痴漢が明確な、そして極めて卑劣な性暴力であることに異を唱える人はいないと思いますが、痴漢対策や被害を訴えるハードルは現在でも決して低いものではありません。先日は安全ピンを使った痴漢対策が話題となりましたが、賛否両論が噴出する事態になりました。 ただしその後、安全ピンで痴漢に対抗した被害者をトラブル発生時に無償で弁護する弁護団が結成された他、シャチハタが「痴漢対策はんこ」の開発をツイートするなど、少しずつじわじわと痴漢撲滅に向けた動きが進んでいます。 本件大変な反響を頂いております事、真摯に受け止めます。様々なご要望を頂い
こんにちは！DA(データアナリティクス)事業本部 インテグレーション部の大高です。 モダンデータ探索・視覚化プラットフォーム（BIウェブアプリケーション）の「Apache Superset」というオープンソースのアプリケーションがあります。Airbnbによって開発され、2017年にはApache Incubatorプロジェクトになりました。 先日、このApache Supersetがトップレベルプロジェクトになったとのことで、実際にどのようなものなのか触ってみました。 The Apache Software Foundation Announces Apache Superset as a Top-Level Project https://t.co/XSsz5mehuH #Apache #OpenSource #innovation #community #Superset #BigDa
論文から垣間見るAmazon Redshiftの進化と深化 2022 #jawsug #bdjaws | DevelopersIO
データアナリティクス事業本部のコンサルティングチームの石川です。 本日は、2022年5月に発表された論文 「Amazon Redshift re-invented」を実際に読み、難しいところや弊社が実際に検証をした点を補足して解説します。普段はRedshiftの機能や使い方の解説が多く、あまり触れられることの少ないUnder the hoods 的なお話しようと思います。 本エントリはAWS Analytics Advent Calendar 2022の12/24（土）の記事です。 論文の詳細については、2022/12/19のBigData JAWS #22にて、登壇した資料をご覧ください。ブログの中では、紹介した機能についてのブログを紹介しています。 このブログをおすすめする人 オライリーの「データ指向アプリケーションデザイン」や「詳説データベース」とかを読むと、Redshiftの内部が
【週刊 Ask An Expert #06】AWS Loft Tokyo で受けた質問まとめ #AWSLoft | Amazon Web Services
AWS Startup ブログ 【週刊 Ask An Expert #06】AWS Loft Tokyo で受けた質問まとめ #AWSLoft 皆さんこんにちは。 Startup Solutions Architect の松田です。週刊 Ask An Expert も６回目となりました。毎回幅広い内容をお届けしておりますが、「参考になった！」「いい内容だ！」と思っていただけたら、ぜひハッシュタグ #AWSLoft を付けて拡散して頂ければと思います。もちろん、改善点・要望もお待ちしております。 今回も先週 Ask An Expert に寄せられた質問を振り返り、私達と知見を共有していきましょう！ Here we go !! Ask An Expert？ さて、皆さん AWS Loft Tokyo はご存知でしょうか？ 目黒セントラルスクエア17Fにある、AWS を利用中のスタートアップとデ
Google BigQueryからAmazon Redshiftにデータを移行してみる | NHN テコラス Tech Blog | AWS、機械学習、IoTなどの技術ブログ
更新履歴 – 2020/1/8 記事内容の修正を行いました。 はじめに こんにちは。データサイエンスチームのmotchieです。 データウェアハウス(DWH)を使うことで、大規模なデータに対する高速なクエリ処理が実現し、BIを初めとした様々なデータ活用が可能になります。 クラウドDWHといえば、Amazon RedshiftやGoogle BigQueryなどが有名です。 re:Invent2019では、Redshiftの新機能 Amazon Redshift RA3 ノードが発表されました。 RA3ノードはAWS Nitro Systemベースの次世代コンピュートインスタンスで、頻繁にアクセスされるデータはノード上のSSD、それ以外はS3へ自動で配置されるマネージドストレージを備えています。 RA3ノードによって、以下のように、Redshiftは大きな進歩を遂げました。 ・従来のDS2ノ
TIGの辻です。Go 1.20 リリース連載の5本目は Core library の HTTP ResponseController のアップデートを紹介します1。 何が変わるのか net/http パッケージに新しく ResponseController 型が追加されます 従来から存在する ResponseWriter インターフェースでは実現できなかったHTTPリクエストごとの制御が実現できるようになります ResponseController 型にある SetReadDeadline() や SetWriteDeadline() メソッドを利用して、リクエストごとの読み書きのデッドラインを設定できます 何が嬉しいのかGo のユーザーとして見たときの ResponseController 型の追加による具体的な嬉しいポイントはHTTPハンドラごとに読み書きのデッドラインが設定できること
Introducing Danfo.js, a Pandas-like Library in JavaScript
A guest post by Rising Odegua, Independent Researcher; Stephen Oni, Data Science Nigeria Danfo.js is an open-source JavaScript library that provides high-performance, intuitive, and easy-to-use data structures for manipulating and processing structured data. Danfo.js is heavily inspired by the Python Pandas library and provides a similar interface/API. This means that users familiar with the Panda
AWS 認定 機械学習 – 専門知識(Machine Learning – Specialty)合格に向けたオレオレ学習ガイドライン - Qiita
分野 1: データエンジニアリング 1.1 機械学習のデータリポジトリの作成。 1.2 データ収集ソリューションの特定と実装。 1.3 データ変換ソリューションの特定と実装。 分野 2: 探索的データ解析 2.1 モデリングのためのデータのサニタイズと準備。 2.2 特徴エンジニアリングの実施。 2.3 機械学習用データの分析と視覚化。 分野 3: モデリング 3.1 ビジネス上の課題を機械学習の課題として捉え直す。 3.2 特定の機械学習の課題に対する適切なモデルの選択。 3.3 機械学習モデルのトレーニング。 3.4 ハイパーパラメータの最適化の実施。 3.5 機械学習モデルの評価。 分野 4: 機械学習の実装と運用 4.1 パフォーマンス、可用性、拡張性、回復性、フォールトトレランスを備えた機械学習ソリューションの構築。 4.2 特定の課題に対応する適切な機械学習サービスおよび機能の
Amazon ECS タスク定義の"タスクサイズのCPU"と”コンテナのCPUユニット”の違いを調べてみた - のぴぴのメモ
こちらはAWS Containers Advent Calendar 2020の13日目の記事です。 本記事は個人の意見であり、所属する組織の見解とは関係ありません。 とてもこまか〜い話ですが、Amazon ECSのタスク定義設定ではCPUのリソース設定に関して以下の２つのパラメータがあります。この２つのパラメータがどんな挙動をするのか気になりましたのでドキュメントと実機での挙動確認から調べてみました。最後にOSレベルですが素潜りもしてみました。(時間があればcgroupのコードも確認したかったのですが時間がなく、残念) タスクサイズのCPU: タスクに使用される CPU量。 コンテナ定義レベルでのCPUユニット: コンテナ用に予約した cpu ユニットの数 長い記事になってしまったので調査結果の結論を先に行ってしまうと、以下の通りになりました。 コンテナのCPUユニットは、 各コンテナに
地方国公立大学人気 理高文低 新卒1000万円プレーヤー！？ - おやこ2人３脚 塾なしで地域トップ高校に受かるまで 本をすきになる♬
2021年度の大学入試の動向 2日目です(*^^*) 今年は 共通テストwithコロナと いうことで 動向に大幅な変化のある部分と 変化があるかなぁと思ったけど 変化はあまりなかった部分に 触れていきたいなと思います まず今年は理高文低傾向が強い！ 理系が人気な理由として 官民あげて理系推しを 進めてきた結果もあってか 理系を選んだ先の 具体的な職業が 想像しやすくするなど 理系が学生に近いてきた 感じでしょうか 電子・電気・通信工・ 情報工・土木建築など インフラ系の学部が 人気が高いようです www.bigdata-navi.com 新卒年収1千万円プレーヤーも 誕生する勢いで驚きます ただ動向としては オンライン授業で 東京などの大学は 悪評高くなっているので 地元志向で 地方の優秀な学生さんは 地元の国立大学に 舵を切るだろうとのこと そしてコロナで減少が心配された 医療系の学部は
【週刊 Ask An Expert #10】サーバーレス化を検討している？そこは AWS Amplify でしょ。 AWS Loft Tokyo で受けた質問まとめ #AWSLoft | Amazon Web Services
AWS Startup ブログ 【週刊 Ask An Expert #10】サーバーレス化を検討している？そこは AWS Amplify でしょ。 AWS Loft Tokyo で受けた質問まとめ #AWSLoft こんにちは、スタートアップ ソリューションアーキテクトの松田 (@mats16k) です。 だんだん暑くなってきましたが、いかがお過ごしでしょうか。私は半ズボンでの出勤を解禁しました（スタートアップなら普通ですよね？）。今回は週刊 Ask An Expert 記念すべき第10回目をお届けしたいと思います。「参考になった！」「いい内容だ！」と思っていただけたら、ぜひハッシュタグ #AWSLoft を付けてシェアしてください。もちろん、改善点・ご要望もお待ちしております。 Ask An Expert ? さて、皆さん AWS Loft Tokyo はご存知でしょうか？ 目黒セントラ
Pushデバッグってなんぞ？ 〜1年前〜 CircleCIド素人ぼく 「CircleCI configに記述したコードがうまく動かないな……でもGithubにPushして、CircleCIが動いてるところ見ないとわからん……」 などど言い出し、何度もPushしまくってcommitを荒らしたのは私です。 そんな一か八か、動くかわからないコードをPushしまくるのはやめていきたいものです。 CircleCI CLIをインストール Linux, macOS Homebrew ローカルで確認する configtest Job実行 ちょっとした注意点 You attempted to run a local build with version '2.1' of configuration. SSHする 参考 CircleCI CLIをインストール インストール方法はそこまで大変でないので、公式に書
【大阪・梅田】Kubernetes Meetup Tokyo #19 大阪サテライト- 2019年5月31日参加レポート -
kubernetes osaka Satellite k8sjp-osaka.connpass.com 大阪からKubernetes Meetup Tokyoに参加できるとのことで、こちらに参加してきました。 Kubernetesの生みの親である3人の内の1人のJoe Bedaから、Kubernetesの歴史の経緯について教えて頂きました。 その話がとてもわかりやすく、なるほどなと思ったので、ぜひとも共有したいと思います。 twitter.com ※ 以降の内容は、私なりの解釈が入っており誤った認識かもしれません。ご了承下さい。 発表の内容は全てYoutubeにありますので、そちらが正しいものです。ご参考下さい。 www.youtube.com Who is Joe Beda ? The origins and future of Kubernetes (en/英語) kubernetes
[Tips] サクッと MySQL と PostgreSQL と Redshiftに大量データを作成する方法 | DevelopersIO
はじめに 前々から社内で書く書くって言ってた、サクッと大量データを作成する方法を紹介します。（これで書く書く詐欺って言われない♪） 大量データを作成の共通点 大量データを作成の流れは、大量データ用テーブルに自らの空レコードをコピーすることで大量のレコードを作成します。作成したいレコード数に達すると、一気に乱数を用いてレコードに値を設定します。今回の例では、以下のバリエーションのデータに対して値を設定しています。 オートインクリメントの主キーであるid 可変長文字列であるnameとdescription 符号なしINTであるprice フラグであるdelete_flag 日時データであるcreated_atとupdated_at MySQL5.7 / Amazon Aurora(MySQL5.7互換) の場合 items テーブルのidカラムは、AUTO_INCREMENTを用いて自動採番し
![[Tips] サクッと MySQL と PostgreSQL と Redshiftに大量データを作成する方法 | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/a6e11f0321ff2b808b3c2e8f450654e734b7b0eb/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2018%2F11%2Feyecatch_aws-services_1200x630.jpeg)
エラーページ - ヤフー株式会社
指定されたURLは存在しません。 URLが正しく入力されていないか、このページが削除された可能性があります。
AI Labの大田（@ciela）です。近頃はリサーチエンジニアとして研究成果を最大化するためのエンジニアリングに責任を持って日々活動しています。昨年もPyTorchに関する記事を書かせていただきましたが、今回もPyTorch、特にPyTorchでの学習データセットの取り扱いについてのお話になります。これまで部署内のプロダクトと関わる上でTensorFlowに浮気することも何度かありましたが、PyTorchに対する感覚を鈍らせたくはなく、今後もPyTorch関連の話題には頑張ってキャッチアップしていく所存です。 深層学習データセット取扱の課題 昨今の深層学習に用いられるデータセット内のデータ数は一般的に大規模です。実際に学習する上ではデータセットをシャッフルしつつ繰り返しロードし、場合によっては適切な前処理やData Augmentationだってしなくてはなりません。それらの処理を並列化
自粛要請によって人々の動きはどう変わったのか？ ヤフービッグデータから見えた動態変化 その1 - Corporate Blog - ヤフー株式会社
こんにちは、「Yahoo! JAPANビッグデータレポート」チームです。 1月より国内でも影響が出てきた新型コロナウイルスはひたすらに拡大を続け、いまだその終息への道筋が見えない中、それでもこれ以上の感染を防ぐため、外出自粛要請などによる、いわゆる三密（密閉、密集、密接）を避けるための行動が全国で行われています。 しかし、自粛といっても実際にどれぐらい外出自粛しているか、またテレワークや店舗、施設の自主休業による影響などを把握するのはかなり大変です。そこでヤフーが保有するいくつかのデータから、その影響をさまざまな角度で見てみましょう。 なお、本レポートで紹介するデータはYahoo! JAPANおよび各サービスのアプリにおいて位置情報の提供に同意いただいたデータのみを利用し、個人情報がわからないように加工・フィルタ・情報のあいまい化をするなどの処理を行ったうえで使用しています。 自粛要請で繁
Introduction to Go 1.20 The latest Go release, version 1.20, arrives six months after Go 1.19. Most of its changes are in the implementation of the toolchain, runtime, and libraries. As always, the release maintains the Go 1 promise of compatibility. We expect almost all Go programs to continue to compile and run as before. Changes to the language Go 1.20 includes four changes to the language. Go
マガジン｜ClassCat Deep Learning / Analytics & Quantum Computingのイベント・技術情報 - TECH PLAY［テックプレイ］
(株)クラスキャットが主催/共催するイベントの案内です。 人工知能(AI)をはじめ、深層学習、IoT、BigData解析や量子コンピュータ(Quantum Computing),に関する情報を発信しています。
S U M M I T Tok yo © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved. S U M M I T Amazon EC2 インスタンスタイプの選び方ガイド Takashi Ogawa Solutions Architect (HPC) Amazon Web Service Japan K.K. C 2 - 0 7 © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved. S U M M I T 自己紹介 名前：小川 貴士 (おがわ たかし) 所属：アマゾンウェブサービスジャパン シニアソリューションアーキテクト 担当エリア： 主に製造業R&Dのお客様 経歴： SIerでHPCのインフラエンジニ
初心者から経験者まで「AIの作り方」を徹底解
初心者から経験者まで「AIの作り方」を徹底解説 機械学習や深層学習（ディープラーニング）技術を利用した製品が登場したり、ビジネスでの活用が模索されるなかAIという存在が世の中にだいぶ浸透してきました。技術者や分析職でAIに関心がまったくないという方はほとんどいないのではないでしょうか。 しかし、AIの作り方や開発方法となると多くの方が知らないと思います。AIという言葉だけでも難しいイメージがありますし、人工知能は大学の研究者や先端企業が取り組む難解なテーマでもあります。 そのため、個人開発でAIを作るってかなり大変じゃないの？と考える方も多いのではないでしょうか。確かに、まったくの初心者にとってプログラムは大変かもしれませんが、その手前の簡単なAIを試しに動かしてみることはそれほど難しくありません。 この記事では、「自分でAIを作ってみたい」というあなたのために、ごくごく初歩的な内容から、
機械学習システムアーキテクチャ入門 #1
機械学習システムのアーキテクチャを検討する上で考慮すべき課題について調査しまとめた資料です。Money Forward 社内で開かれた MLOps についての勉強会のために作成しました。 ## Reference ### 大規模なデータを扱う難しさ - Architecture Evolution in Repro https://speakerdeck.com/joker1007/architecture-evolution-in-repro - Sidekiq to Kafka ストリームベースのmicro services https://speakerdeck.com/joker1007/sidekiq-to-kafka-sutorimubesufalsemicro-services - ReproのImport/Exportを支えるサーバーレスアーキテクチャhttps://spe
はじめに ご無沙汰しております。ABEJAの大田黒（おおたぐろ）です。前回は弊社TechBlogにて、数千人規模のイベント向けに顔認証技術を利活用したお遊びプロダクトの設計・開発・デリバリーについての裏側を執筆させて頂きました。 tech-blog.abeja.asia 今回のテーマは少しニッチな内容にはなりますが、自社で提供しているIoTソリューションにおけるセキュリティまわりの取り組みについて、ご紹介させていただければと思っております。 はじめに IoTデバイスを取り巻く環境 ABEJAにおけるIoTの利活用 例：製造業での適用例 (機械部品の自動検品) システムの構成例 ABEJAの立ち位置 IoTにおけるセキュリティの考え方 IoTデバイスに関わるインシデントの例 大事なこと IoTにおけるセキュリティ対策のご紹介 (一例) アクション3本柱 + α 1.「仕組み」で徹底的に守る
近年はさまざまな技術の発展により、より高度なサービスを提供する事例が多くなりました。それは、コミュニケーションを図る上で必要不可欠な「言語」という分野においてもいえることであり、機械翻訳や、かな漢字変換などの「自然言語処理」にも活用されているのです。 では、この「自然言語処理」とは一体どのようなものなのでしょうか。今回は、自然言語処理の仕組みについて詳しく解説していくとともに、活用事例や自然言語処理AIサービスなどもご紹介していきますので、ぜひ参考にしてみてください。 AIソリューションについて詳しく知りたい方は以下の記事もご覧ください。 AIソリューションの種類と事例を一覧に比較・紹介！ 自然言語処理-NLP-のサービス比較と企業一覧 自然言語処理(NLP)とは 自然言語処理とは私たち人間が普段使う言葉（自然言語）をコンピュータが処理できるようにプログラミング言語に変換する処理です。 コ
東京駅のあるスポットを見たら景気回復がわかるかも 検索データから旅行者・出張者の回復状況をとらえる方法発見!? - Corporate Blog - ヤフー株式会社
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社のコーポレートサイトはこちらです。 当ページに記載されている情報は、2023年9月30日時点の情報です。 こんにちは、ヤフービッグデータレポートチームです。 約2年間にわたり猛威をふるいつづけ、日本はもとより世界を一変させた新型コロナウイルス（以下コロナ）は、多くの人の日常生活にも多大な影響を与えました。 特に大きな影響を受けたものの一つに「旅行」があります。 みなさんの中にも、コロナの流行以降ほとんど旅行に行かなくなった、という人も多いのではないでしょうか？ そして、その影響を大きく受けているのが観光産業、旅行業界に働く人々です。2020年にはGotoトラベルといった支援策なども行われましたが、度重なる緊急事態宣言やまん延防止等重点措置により、旅行やお出かけの機会が戻ってきていないのが実情で
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
機械学習の超初心者が、みんなが良いと言う記事を読んでまとめてみた - Qiita
使える統計モデル10選（前編） | AIdrops
G Suite アカウントを用いた AWS へのシングルサインオン | Amazon Web Services
Pythonで作って学ぶ統計モデリング | AIdrops
機械学習の超初心者が、みんなが良いと言う記事を読んでまとめてみた - Qiita
ベイズ統計・ベイズ機械学習を始めよう | AIdrops
使える統計モデル10選（後編） | AIdrops
Vue 2で大きなデータを扱うときの性能改善手法
LINEのプライバシー保護やAIの信頼性担保の研究開発チームを紹介します
「痴漢被害データベース化プロジェクト」始動、ツイッターでの呼びかけが発端に | Buzzap！
Apache Supersetを公式Dockerイメージで構築してみた | DevelopersIO
Go 1.20 HTTP ResponseController | フューチャー技術ブログ
まさかPushデバッグしてないよね？ よく使うCircleCIのデバッグ方法 - VTRyo Blog
PyTorchで深層学習データセットを効率的に取り扱うために | | AI tech studio
Go 1.20 Release Notes - The Go Programming Language
Amazon EC2インスタンスタイプの選び方ガイド
セキュアなIoTデバイス導入・運用の為の取り組み紹介 - ABEJA Tech Blog
自然言語処理（NLP）とは！？AIの進化で活用広がる最新技術を紹介