プラットフォームの概要 AI Platform 生成 AIおよび予測 AIのプラットフォーム もっと詳しく ドキュメント 新機能 ログイン 無料で始める 運用 自信を持ってAIを拡張し、比類のないエンタープライズ・モニタリングとコントロールでビジネス価値を促進 デプロイと実行 再学習と最適化 監視と介入 ガバナンス AIの環境、チーム、およびワークフローを統合し、大規模な範囲での完全な可視性と監視を実現 レジストリと管理 監査と承認 コンプライアンスドキュメント生成 構築 ニーズの進化に合わせて自由に適応できるオープンなAIエコシステムで、迅速なイノベーションを実現 分析と変換 学習とチューニング 組立てと比較 プラットフォーム統合 インフラストラクチャーへのデプロイ ソリューション 業界ごと ヘルスケア 製造 小売業 金融サービス 成果ごと ユースケースのライブラリー お客様事例 Dat

pandas はデータ解析やデータ加工に非常に便利なPythonライブラリですが、並列化されている処理とされていない処理があり、注意が必要です。例えば pd.Sereis.__add__ のようなAPI(つまり df['a'] + df['b'] のような処理です)は処理が numpy に移譲されているためPythonのGILの影響を受けずに並列化されますが、 padas.DataFrame.apply などのメソッドはPythonのみで実装されているので並列化されません。 処理によってはそこがボトルネックになるケースもあります。今回は「ほぼimportするだけ」で pandas の並列化されていない処理を並列化し高速化できる2つのライブラリを紹介します。同時に2つのライブラリのベンチマークをしてみて性能を確かめました。 pandarallel pandaralell はPythonの m

この1週間はGPT-3のユースケースの広さに驚かされる毎日でした． シリコンバレーでは話題騒然ですが日本ではほとんど話題になっていないので，勢いで書くことにしました． GPT-3はOpenAIが開発した言語生成モデルです．名前の由来であるGenerative Pretrained Transformerの通り，自然言語処理で広く使われるTransformerモデルを言語生成タスクで事前学習しています． 先月申請すれば誰でもGPT-3を利用できるOpenAI APIが発表され，様々な業種の開発者によって驚くべきデモンストレーションがいくつも公開されています． 特に話し言葉からJSXやReactのコードを生成するデモは著名なベンチャーキャピタルから注目を集め，誇大広告気味だと警鐘を鳴らす事態に発展しています． This is mind blowing. With GPT-3, I built

私自身もこういったアンチパターンに遭遇し失敗した経験がある。 冒頭にあげた鬼十則はその反省から生まれたものであるが、ここからそれぞれの項目を解説していきたい。 1. データは自ら集めるべきで、与えられるべきではない 主人公の「データがないから開発できない」の発言は間違ってはいない。しかしデータがないと嘆くのではなく、そのデータを取りに行く努力が必要である。昨年データサイエンティスト界隈で話題となった『アルキメデスの大戦』では上のいざこざでデータ（設計図）が手に入らない時、自らデータを集めて突破口を開くエピソードが綴られている5。この姿はまさに理想のデータサイエンティスト像といえるだろう。データ収集の壁は数多く挙げられるが6、その壁を乗り越える努力を怠ってはいけない。自らが安心して開発を進めるためにも、データ取りには十分に入り込んでいくべきである。 2. 目標とは、先手先手と働き掛けていくこ

最終更新日： 2023年4月12日 みなさん、こんにちは。この記事では、AI（機械学習）の理解には欠かせない”特徴量”とその選択手法について説明していきます。 AIの学習をスタートさせて、最初に躓くのがこの特徴量という概念である人も多いのではないでしょうか。そんな方のためにも、今回は具体例を交えながら解説していきたいと思います。 特徴量とは？ それでは本題の特徴量という概念の説明に入りましょう。 特徴量とは特徴が数値化されたもののこと 特徴量とは、対象の特徴が数値化されたもののことを指します。 人間を例にとって考えてみましょう。数値化しやすい特徴の例として、私たちに馴染みが深いのは、身長や体重、年齢、性別などでしょうか。 少し視野を広げれば、貯金額や食事摂取量、身体活動量などもこの例となるでしょう。 肝心なのは、特徴量とは、特徴そのものではなく、その数値化された値です。データを特徴量に変換

2024年5月10日 金曜日 デジタルPRとプレスリリース配信 お問い合わせinfo@digitalpr.jp受付 10：00〜18：00（土日祝日を除く） 一般社団法人データサイエンティスト協会（所在地：東京都港区、代表理事：草野 隆史、以下 データサイエンティスト協会）は、独立行政法人情報処理推進機構（所在地：東京都文京区、理事長：富田 達夫、以下IPA）と共同で、『データサイエンティストのためのスキルチェックリスト/タスクリスト概説』を刊行することをお知らせします。 本書は、今必要とされるデータ利活用のためのスキルを体系化した「スキルチェックリスト」と業務プロセスを体系化した「タスクリスト」を読み解くための初の公式ガイドブックです。 『データサイエンティストのためのスキルチェックリスト/タスクリスト概説』表紙（出典：IPA） 『データサイエンティストのためのスキルチェックリスト/タス

TL;DR 機械学習のアルゴリズムには詳しくなりたいけど実装はしない、という立場の人向けの学習資料まとめ 知人向けで、具体的には同僚医師がターゲット読者（めちゃ狭い！）だが、一定度他の人にも役に立つかも 改めて色々眺めてみてやっぱり大学の講義は質の高いものが多いと思った 知人が機械学習のアルゴリズムを学びたいと言っているので、オススメの資料などを見繕ってみるブログエントリ。 機械学習への関わり方を雑にアルゴリズムと実装で分けた場合に、アルゴリズムには詳しくなりたいけど実装をするわけではない、という立場の人向けである。 このようなタイプの人はそんなにいないと思うけど、具体的にはドメインエキスパートとして機械学習エンジニアと一緒にアルゴリズム・データ改善に取り組んでいて、アルゴリズムでどんなことをやっているかをちゃんと理解したい、みたいなのが一例となる。 なんとなくのイメージ的な理解だけだと、

こんにちは。LIFULLでデータアナリストをしている宮野です。 普段はサービス周りのデータ分析を行っているのですが、TVCMの効果検証を行う機会があり、その際CausalImpactという時系列因果推論フレームワークを使用したのでご紹介いたします。 【目次】 はじめに Pythonを用いたCausalImpact データの準備 効果検証 共変量の確認と選定 / 周期性(シーズナリティ)の付与 ①共変量 ②周期性(シーズナリティ) RのCausalImpactとの結果比較 RでのCausalImpact実装 PythonとRの検証結果比較 おわりに はじめに CausalImpactとは？ →Googleがリリースした時系列因果推論の"R"パッケージです。 そう。Rのパッケージです。当然Rを使って効果検証を行うのが通常だと思います。 なのですが、私自身Pythonを使用することが多く、どうせ

1. はじめに テーマ「"やってはいけない” アンチパターンを共有しよう！」…色々とネタが思い当たります！ 最近再び出会った、とある問題についてご紹介しようと思います。 2. それは画像の異常検知を解いていたときのこと… 画像の異常検知とは、正常な画像に対して異常な画像を検出して、例えば不良品の選別などに使う技術です。 図: MVTec ADウェブサイトより、緑 の正常サンプルに対する 赤 の異常サンプル例。 普通あまり「異常の画像」が発生しないので、「距離学習」という手法を使って「正常品じゃない度合い」を数値化して、この数値が大きいと「異常だ!」とみなす方法などがあります。 その一つ、記事「幾何変換を使った効果的な深層異常検知 (CNN画像分類モデル/教師なし/MVTec異常検知データセット)」で紹介した「DADGT」という略称の手法を試していたときのことです。 3. 学習〜やったね、A

はじめに 評価関数（評価指標）についてあやふやな理解だったので、代表的な評価関数をまとめてみました。 評価関数とはそもそもどんなものなのか、それぞれの評価関数はどんな意味を持つのか、実際に使う時のサンプルコードを簡単にまとめています。 評価関数の追加や内容の修正は下記でしています。 評価関数とは 評価関数とは学習させたモデルの良さを測る指標を指します。 目的関数との違い 機械学習を勉強していると、目的関数や損失関数、コスト関数などいろいろな名前を目にします。 まずは、目的関数との違いについて確認します。 目的関数 モデルの学習で最適化される関数 微分できる必要がある つまり、学習中に最適化されるのが目的関数、学習後に良さを確認するための指標が評価関数ということになります。 損失関数、コスト関数、誤差関数は目的関数の一部になるそうです。 （いくつか議論がありそうなのですが、ほとんど同じものと

こんにちは、樫田です。 ご存じの方もそうでない方もいると思いますが、この数年メルカリという会社でデータ分析という業務を通して意思決定に関わる仕事をしてきました。（知らない方は ⇨ 僕について） ビジネスはいわば意思決定の塊で出来ています。事業と組織、そのすべてのことが何らかの意思決定を通して動いていると言っても過言ではないでしょう。 僕自身、仕事で分析を行う中でも「意思決定」という領域に対するフォーカスは強かった方だと自負しています。今振り返ってみると、メルカリ在籍時に受けたインタビューもそのスタンスがタイトルとして切り取られていることが多かったようです。 さて、意思決定について話す時に「良い意思決定とはなんだろう？」と問うと、一般的には「良い意思決定とは正しい決定である」というような答えが返ってくることが多いような気がしています。また、昨今のスタートアップに聞けば、意思決定は早いほど優れ

Around 550 employees across autonomous vehicle company Motional have been laid off, according to information taken from WARN notice filings and sources at the company.  Earlier this week, TechCrunch reported…

「ユニクロ（UNIQLO）」は6月19日、東京・銀座に新グローバル旗艦店「ユニクロ トウキョウ」をオープンした。日本最大級（約4950平方メートル）の同店は、4月にオープンした「ユニクロ パーク横浜ベイサイド店」、6月5日に開業した「ユニクロ原宿店」と共に、「ユニクロ」のこれからを作っていく“戦略店舗”という位置づけ。どこを切っても同じ金太郎アメ型チェーン店ではなく、その街、その店ならではの仕掛けを多数盛り込んでいる点が特徴だ。老舗が軒を並べ、大人や海外観光客が集う街・銀座で「ユニクロ」が見せるものとは？同店の見どころをレポートする。 【外観＆内観】コンクリートの構造むき出しにリノベーション 同店があるのは銀座と有楽町の中間にある商業施設、マロニエゲート銀座2（旧プランタン銀座。さらにたどると読売新聞本社）の1～4階。古い建物を生かしつつ、内装をはがしてコンクリート構造むき出しにリノベーシ

こんにちは、メルカリでCRE (Customer Reliability Engineering) に所属している @hurutoriya です。 今回メルカリ社内での勉強会の一環として、Google が提案した機械学習システムの信頼性を数値化する ML Test Score のハンズオンワークショップを開催しました。 本記事では、ML Test Score の説明、ワークショップの開催方法や簡単な考察などをお話します。 今回はWFHの影響も受け Google Meet を使ったフルリモートでの開催となりました。 ワークショップの内容として、メルカリ内で実際に運用されている機械学習システムを対象に、実際にそのシステムを開発する機械学習エンジニアが ML Test Score を計算しました。 ML Test Scoreの説明 ML Test Score の目的は、定量化しづらい機械学習シス

本記事では、AIエンジニアやAI関連のビジネスパーソン向けに、起業および新規事業立案に関するノウハウ・情報をお知らせします。 AIに特化していない新ビジネス立案関連の内容も多いのですが、ご容赦ください。 AIに関わる内容は本記事の後半部分から始まります。 本記事は、 [1] スタートアップ系での有名なアドバイスを引用掲載 [2] それに対して、私（小川）なりの私見を記載 という構成で執筆します。 AIエンジニア向け記事シリーズの一覧 その1. AIエンジニアが気をつけたいPython実装のノウハウ・コツまとめ その2. AIエンジニアが知っておきたいAI新ビジネス立案のノウハウ・コツまとめ（本記事） 本記事の目次 はじめに 0. 起業や新規事業立案を学ぶうえで知っておきたい人物・組織 アイデアの見つけ方 アイデアの育て方 ユーザーインタビューの仕方 AI新ビジネス立案について MVPの作成

一般社団法人データサイエンティスト協会（所在地：東京都港区、代表理事：草野 隆史、以下データサイエンティスト協会）は、構造化データの加工について実践的に学ぶことができる無料の学習環境「データサイエンス100本ノック（構造化データ加工編）」をGitHubに公開しました。 「データサイエンス100本ノック（構造化データ加工編）」は、データサイエンス初学者を対象に、データの加工・集計、統計学や機械学習を駆使したモデリングの前処理等を学べるよう、データと実行環境構築スクリプト、演習問題をワンセットにしています。 近年、データ活用の重要性についての認知が広がる中で、書籍やWebサイトなど、データ分析のスキル向上に役立つ情報源も多く提供されています。一方で、実践するための「データ」や「プログラミング実行環境」を持ち合わせていないことも多く、「実践力」を身につける機会が限られていました。特に、「構造化デ

機械学習・ディープラーニング関係の本を整理してみた 以下のような事情もあり、初心者向けに良い本って何だろうなと家にある機械学習・ディープラーニング関係の書籍を引っ張り出してきました。 新入社員としてAI人材が来るという話を聞いていたので「色々教えてもらおう！」と楽しみにしていたのですが、配属直前になって「ソフトウェアの経験は無いらしい、AI人材に育ててほしい」と言われたときの顔してます。そんなことある？— からあげ (@karaage0703) June 5, 2020 紙の書籍 電子書籍 正確には、紙の本も電子書籍もここに無いもの（noteやboothで買ったもの）が数冊あるので、全部入れて40冊程度でした。なんとなく100冊くらいは読んでるかと思っていたのですが全然でした。人間の感覚って当てにならないものですね。ただ、良く考えると、何か1つのジャンルで10冊も書籍持っているかというと、

こんにちは、事業開発部でプロジェクトマネージャー兼エンジニアをやっている新井(@SpicyCoffee)です。10 万円の申請書を書く前に 20 万円のパソコンを買いました。 クックパッドでは、毎日の料理を楽しみにするべく日々サービス開発がおこなわれています。本稿では、サービス開発の中でも重要かつ難解な「KPI の設定」について、私がプロジェクトマネージャーとして普段考えていることや注意している点を紹介します。 KPI を決めるのは難しい サービス開発において KPI を設定し、それを改善するような施策や検証を繰り返していくことは基本中の基本です。しかしながら、現実には「KPI を設定する」という行為自体の難易度が非常に高く、日夜頭を悩ませている開発者のみなさんも多いのではないでしょうか。 以下では、その要因の一つである「KPI は複数の要件を満たす必要がある」ことについて考えます。 満た

プラットフォームの概要 AI Platform 生成 AIおよび予測 AIのプラットフォーム もっと詳しく ドキュメント 新機能 ログイン 無料で始める 運用 自信を持ってAIを拡張し、比類のないエンタープライズ・モニタリングとコントロールでビジネス価値を促進 デプロイと実行 再学習と最適化 監視と介入 ガバナンス AIの環境、チーム、およびワークフローを統合し、大規模な範囲での完全な可視性と監視を実現 レジストリと管理 監査と承認 コンプライアンスドキュメント生成 構築 ニーズの進化に合わせて自由に適応できるオープンなAIエコシステムで、迅速なイノベーションを実現 分析と変換 学習とチューニング 組立てと比較 プラットフォーム統合 インフラストラクチャーへのデプロイ ソリューション 業界ごと ヘルスケア 製造 小売業 金融サービス 成果ごと ユースケースのライブラリー お客様事例 Dat