欲しかったデータサイエンス系の資格を全部取ったのでまとめます。 エンジニアではなくデータサイエンティスト寄りのため、AWS絡みやオラクルマスター等の実装系は弾いています（最終成果物がコードではなくレポートや資料であるジョブのイメージ）。 取った資格一覧 統計検定1級 データベーススペシャリスト データサイエンスエキスパート 応用情報技術者 G検定 データサイエンティスト検定リテラシーレベル Python3エンジニア認定データ分析 データサイエンス数学ストラテジスト上級 取った資格一覧 参考にステータス表示を付けていますが、無職の適当な主観なのであまり鵜呑みにしない方がいいです。当然ながら、基本的に難しい資格の方がパワーが高いし楽しい傾向があります。 ①パワー：こいつやるやんって思う度 ★★★：なかなかやるやん ★★☆：まあまあやるやん ★☆☆：やらなくはないやん ②難易度：ゼロから勉強する
まえがき データ分析はなんて広いんだろう。影響力の強まりに応じ、自然・社会・人間ほぼすべてが対象となりどんどん拡大していく。対象に応じ手法も広がり複雑化し、学ぶべきことが多すぎる。データサイエンティスト協会のスキルチェックリストVer.3.001（ごめんもう4.00が出てるね）も500超の項目があります。読むべき図書も良書と思われるものだけでも増え続けており、もう手に負えない状況です。 ただ、これはやってはだめだ、ここを知らないと道に迷う、という絶対に知っておくべき点は学べる範囲だと思います。本書では、データ分析において間違えやすい、誤解しやすい点を共有し、データ分析全体をよくする目的で、かつ データ分析の入門書・専門書に分野ごとには書かれてはいますが1つにまとまっておらず目に触れにくいもの データ分析の入門書・専門書でもスルーされていたり場合によっては誤っていると思われるもの で自分なり
日本語正式サポートされた自然言語処理ライブラリspaCyのStreamlit可視化が超お手軽だった - OPTiM TECH BLOG
R&D チームの徳田（@dakuton）です。 最近、spaCyの日本語版モデルが正式サポートされたのでいろいろ触ってみたところ、解析結果ビジュアライズを全部まとめるStreamlitアプリも同じ月に提供されていることがわかったので、今回はそちらを紹介します。 なお、ビジュアライズ機能の一部(係り受け解析)は1年前の記事「その他」で紹介しています。 tech-blog.optim.co.jp 実行手順 spaCyのUniverseプロジェクトであるspacy-streamlitをインストールします。 pip install spacy-streamlit 起動用スクリプト(streamlit_app.py) import os import pkg_resources, imp import spacy_streamlit models = ["ja_core_news_lg", "ja_
0. この記事の内容 半導体生産技術者が未経験からデータ分析業界に転職してみて3ヶ月間で感じたこととこれから生存していくために考えていることを書きます。同じ様なキャリアに踏み出そうとしている方がいれば、参考にしていただけると幸いです。ただし、現在研修中の身であり、実務についていないためデータ分析業について確度の高い情報をお伝えすることができません。また、経験や知識が浅いためデータ分析・機械学習で出来ることと出来ないことの区別がついていないかもしれません。なので、お見苦しいところがあるかもしれません。あくまで、未経験者が一歩目を踏み出した時点での感想として受け取ってください。 また、本記事は「データ分析人材のキャリア（データラーニングギルド） Advent Calendar 2019」15日目の記事になります。 （2020/7/24 追記） この記事には転職するまでの内容を書いておりますが、
[VS Code Python拡張] データサイエンスチュートリアルをやりながらVS CodeでのJupyter Notebookの使い方をマスターする | DevelopersIO
こんにちは、Mr.Moです。 下記の記事を見てVS CodeのPython拡張でJupyter Notebookが使えることを知り便利そうだなーとしばらく直感的に使っていましたが、そろそろちゃんと使いこなしたいので用意されているデータサイエンスチュートリアルを参考にしならが使い方をマスターしていきたいと思います！ Visual Studio CodeでJupyter Notebookを動かしてみた データサイエンスチュートリアルとは VS Codeの公式ページあるチュートリアルです。March 2020 (version 1.44)のアップデートで公開されたようですね。 https://code.visualstudio.com/docs/python/data-science-tutorial チュートリアルを参考にしながら使い方を確認していく さっそくチュートリアルを進めていきます。あ
![[VS Code Python拡張] データサイエンスチュートリアルをやりながらVS CodeでのJupyter Notebookの使い方をマスターする | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/b3a3cd126b780dcd4cdffcaa7d018424e8c697cb/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2019%2F06%2Fvscode-2019-eyecatch-1200x630.png)
ゼロからはじめるデータサイエンス 第2版
本書はPythonプログラミングを通してデータサイエンスの基本知識を「ゼロから学ぶ」ことができる入門書です。読者は架空のソーシャルネットワーク運営企業、データサイエンス・スター社のデータサイエンティストとして、さまざまな課題を解決しながら、必要な知識とスキルを着実に積み上げていきます。第1版の発刊から5年。その間、データサイエンスへの注目はますます高まり、Pythonはバージョンアップが進み、ライブラリは一層充実しました。このような変化に伴い、内容を全面的にアップデート。Pythonプログラミングの基礎から線形代数、統計確率の基礎、回帰、機械学習、ナイーブベイズ、決定木、ニューラルネットワーク、ディープラーニング、自然言語処理、ネットワーク分析、リコメンドシステム、データベースとSQL、MapReduce、データ倫理まで、データサイエンスに必要な幅広い知識をカバーします。 正誤表 ここで紹
背景 はじめまして、JX通信社でインターンをしている原田です。 近年深層学習ではモデルが肥大化する傾向にあります。2020年にopen aiが示したScaling Laws（[2001.08361] Scaling Laws for Neural Language Models） の衝撃は記憶に新しく、MLP-Mixerが示したように、モデルを大きくすればAttention構造やCNNでさえも不必要という説もあります。（[2105.01601] MLP-Mixer: An all-MLP Architecture for Vision） しかし大きな深層学習モデルを利用しようとすると、しばしば以下のような問題に悩まされます。 推論速度が問題でプロダクトに実装不可能 GPU/TPUはコスト上厳しい プロダクトの性質上バッチ処理が不可能（効率的にGPU/TPUが利用できない） 例えばJX通信社
はじめに 筆者はかつてデータサイエンティストだった者です。 統計や機械学習をバリバリ使いこなしてデータを分析し、将来の売り上げ予測や要因分析、施策の効果検証などをすることに憧れてこの世界に入りましたが、そうした時間は全体の1割ほどに過ぎず、残り9割の時間の戦いに疲れて戦場を後にしました。 なぜデータサイエンティストは戦わなければならないのだろう。 おそらく一因としてあるのが、データサイエンティストという言葉がバズワード化しすぎてしまったせいで、その定義の輪郭が失われてしまったことだと思います。 整理された定義は、言わずと知れた尾崎隆さんのデータサイエンティスト・機械学習エンジニア・データアーキテクトの定義とスキル要件（2021年版）に記載されています。 しかし、専門家でも意見が別れる定義を素人がはっきりと分かるはずもなく、過度な期待が寄せられることで討死してしまうデータサイエンティストが少
画像はUnsplashより 日々、目まぐるしく進化、発展を遂げるAI（人工知能）業界。さまざまな企業が新しいサービスを開始したり、実験に取り組んだりしている。 そこで本稿ではLedge.aiで取り上げた、これだけは知っておくべき、4月掲載のAIに関するニュースをお届けする。AIの活用事例はもちろん、新たな実証実験にまつわる話など、本稿を読んでおけばAIの動向が見えてくるはずだ。 Pythonの基礎やDXの事例を学べる講座が無料に 経済産業省は、AIやデータサイエンスなどのデジタルスキルを学べる、無料オンライン講座を紹介する「巣ごもりDXステップ講座情報ナビ」を公開している。 シスコシステムズ合同会社が提供する「IoT／DX入門」では、DX（デジタルトランスフォーメーション）とは何かを理解し、DXがいかに経済的成長機会を生み出しているか学べるという。具体的には、DXを支えるテクノロジーとして
作成者 ：しんゆう ブログ ：データ分析とインテリジェンス https://analytics-and-intelligence.net/ Twitter：https://twitter.com/data_analyst_
周年記念事業関連｜日本統計学会
５０周年記念事業関連日本統計学会編，『日本の統計学五十年』，東京大学出版会，1983年 【目次】 【本文（全文スキャンデータ，PDF26.2MB】 （東京大学出版会様の許可を受け，全ページを掲載するものです。2016/08/17掲載） ７５周年記念事業関連国友直人・山本拓監修 国友直人・山本拓編，『２１世紀の統計科学 Vol.I 社会・経済の統計科学』 小西貞則・ 国友直人編，『２１世紀の統計科学 Vol.II 自然・生物・健康の統計科学』 北川源四郎・竹村彰通編，『２１世紀の統計科学 Vol.III 数理・計算の統計科学』，東京大学出版会，2008年 上記３冊の2012年増補版はEBSA（統計科学のための電子図書システム）で閲覧、ダウンロード可能です。 〈Vol.Ⅰ〉 【閲覧、ダウンロード】 〈Vol.Ⅱ〉 【閲覧、ダウンロード】 〈Vol.Ⅲ〉 【閲覧、ダウンロード】
データサイエンス設計マニュアル
本書は広い視野からデータサイエンス全体を俯瞰し、問題を解決する上で重要なことは何か、その設計原則に焦点を当てた入門書です。データを収集、分析、解釈するためのシステムを構築するために必要な、確率・統計の基礎から線形代数、スコアとランキング、統計分析、データマンジング、可視化、数学的モデル、回帰、機械学習まで広範囲にわたってカバーするだけでなく、思考プロセスも重視します。著者は、ニューヨーク州立大学ストーニーブルック校で長年にわたりコンピュータサイエンス教育に携わってきた計算機科学者で、統計学と計算機科学の枠を越えた新しい学問としてデータサイエンスを捉え直し、著者独自のアプローチでデータサイエンスの本質に迫ります。 1章データサイエンスとは 1.1 計算機科学、データサイエンス、リアルサイエンス 1.2 データについての興味深い問い 1.3 データの性質 1.4 分類と回帰 1.5 データサイ
COVID-19 一般公開データセットプログラム: より優れた成果を目指して自由にアクセス可能なデータを提供 | Google Cloud 公式ブログ
※この投稿は米国時間 2020 年 3 月 31 日に、Google Cloud blog に投稿されたものの抄訳です。 データは常に、公衆衛生上の緊急事態に対する調査や研究、取り組みにおいて重要な役割を果たしますが、世界的な危機の発生時にこそ、その真価が発揮されるといえるのではないでしょうか。研究プロセスにとって、データセットへのアクセスやそのデータをクラウド規模で分析できるツールは、切り離すことのできない重要なものですが、とりわけ COVID-19（新型コロナウイルス感染症）への対応にあたっては、その必要性がグローバル規模で高まっています。 Google Cloud では、研究者、データ サイエンティスト、アナリストが COVID-19 に対抗するための取り組みを支援するために、Johns Hopkins Center for Systems Science and Engineeri
統計学習の指導のために（先生向け）
PDF形式のファイルをご覧いただく場合には、Adobe Readerが必要です。 Adobe Readerをお持ちでない方は、バナーのリンク先から無料ダウンロードしてください。
無料でPython／機械学習できるAmazon SageMaker Studio Labとは？ Colabと比較
連載目次 Python／Rコードの実行や機械学習／データサイエンスの実装を無料でオンライン実行できる環境といえば、Google Colaboratory（略してColab）が特に有名である。2021年12月1日、そのColabに強力なライバルが現れた。「Amazon SageMaker Studio Lab」（アマゾン・セージメーカー・スタジオ・ラボ）だ*1。 *1 日本語では「ラボ」だが、英語では「ラブ（Lab）」と発音するのが普通。「スタジオ」は英語では「ステューディオ（Studio）」。「セージ（Sage）」とは、ハーブや花の名前ではなく「学び経験を積んだ賢者（Wise old man、例えばハリー・ポッターのダンブルドア校長は魔法の賢者）」のことで、賢者は「機械学習モデル」を暗喩すると思われるが、一説にはマーケティング目的で独自用語にするためにランダムな単語生成で命名されたという噂
日本を画像生成AIで再現する 「自分の見た景色」を学習したAIは強力な思い出再生装置に：清水亮の「世界を変えるAI」（1/3 ページ） AIで漫画を書こうとするとひとつ不便なことがある。StableDiffusionの元になっている学習データは「全世界」の画像を使っているので、日本人がイメージするような「郵便局」とはまったく異なるイメージになってしまう。そこで街のあちこちの景色を写真に撮った。これをAIに学習させて、独自の日本的な画像生成AIを作ろうというのだ。 2022年の夏に登場した画像生成AI「StableDiffusion」はたくさんのバリエーションを生んだ。しかしその多くは、ネット上にある画像を学習させたものばかりだ。 特に開発が活発なのはイラストを学習させたものだが、最近になって、著作権に配慮した学習モデルの「Mitua-Diffusion」など、変わったものも登場してきた。ま
新機能「スーパー解像度」の活用方法
新機能「スーパー解像度」の活用方法 新機能のスーパー_解像度_は現在Camera Raw 13.2で提供されており、LightroomとLightroom Classicにも近日中に提供される予定です。この記事では、機能自体の説明と動作原理、そしてその活用方法について説明します。 パノラマ写真をスーパー解像度を使用して編集しています。差し込み画像は、写真の2つの領域をズームインして切り取ったもので、枝や雪が鮮明にレンダリングされています。 本ブログは、「From the ACR Team（Adobe Camera Rawチーム便り）」と題し、Lightroom、Lightroom Classic、Lightroomモバイル版、Adobe Camera Raw、ならびにPhotoshopのCamera Rawフィルターといった製品のイメージング機能を開発しているチームからのインサイトをお届け
「Yahoo!スコア」8月末で終了 ユーザーの信用度を数値化も「満足してもらえるサービスの提供に至らず」 ヤフーは6月29日、ユーザーの信用度を数値化するサービス「Yahoo!スコア」の提供を8月31日に終了すると発表した。「ユーザーに満足してもらえるサービスの提供に至らないため」という。外部企業へのスコア提供も順次終了する。過去に算出したスコアと、外部企業に提供したスコアは8月31日に削除する。 Yahoo!スコアは、「Yahoo! JAPAN ID」ユーザーの（1）本人確認の度合い、（2）消費行動、（3）「Yahoo! JAPAN」の利用度――などを数値化することで、優良ユーザーを抽出するサービス。 2019年7月にスタートし、ランサーズやクラウドワークスなどのパートナー企業にスコアを提供していた。 ヤフーは当初、パートナー企業にスコアを提供する際にユーザーの同意を得ていたが、スコア自
「PythonユーザーのためのJupyter実践入門」はPythonとデータサイエンスをする人の入り口だ - Lean Baseball
待望のJupyter本, 改訂版来ました！ Pythonでデータサイエンスとエンジニアリングするマンとしてかなり待望していた「PythonユーザのためのJupyter[実践]入門 改訂版」がついに来ました.*1 改訂版 Pythonユーザのための Jupyter[実践]入門 作者:池内 孝啓,片柳 薫子,@driller発売日: 2020/08/24メディア: 単行本（ソフトカバー） ひと足先に読ませていただいたので, 「PythonユーザのためのJupyter[実践]入門 改訂版」はPythonでデータサイエンスする人にとっての入り口でおすすめの本である Pythonでデータサイエンスをやるなら, 「Pythonと慣れ親しむ」「機械学習に慣れる」「実践する」の目的に合わせて学習・実践したり本を読んだほうがいいよ という話をこのエントリーではまとめていこうと思います. なおこのエントリーは
CIFAR-10 (Canadian Institute for Advanced Research, 10 classes) The CIFAR-10 dataset (Canadian Institute for Advanced Research, 10 classes) is a subset of the Tiny Images dataset and consists of 60000 32x32 color images. The images are labelled with one of 10 mutually exclusive classes: airplane, automobile (but not truck or pickup truck), bird, cat, deer, dog, frog, horse, ship, and truck (but no
エンジニアからデータサイエンティストへのキャリアチェンジのお供に「Pythonではじめる数理最適化」は良い教科書になるかもしれない - Lean Baseball
良い本良い魚良いお酒でした 秋も深まり, 緊急事態宣言が解除された今日このごろ, お酒を片手に読書がだいぶ捗るようになりました📖 酒と魚の話はさておき*1, 長いこと友人かつRetty時代の元同僚である岩永さん（とその仲間たち）*2が, 「Pythonではじめる数理最適化」なる書籍を出しました*3. Pythonではじめる数理最適化 ―ケーススタディでモデリングのスキルを身につけよう― 作者:岩永二郎,石原響太,西村直樹,田中一樹オーム社Amazon エンジニアな自分が読んだ感想として, 数理最適化でモデリングをする人だけでなく, エンジニアからデータサイエンティストへのキャリアチェンジを考えている人も必読なのでは? と思ったので, メモ代わりに感想（とちょっとしたコンテンツ）を残したいと思います. TL;DR 現実の課題・問題（主に仕事）をデータサイエンティストとして解きたい方の参考書
写真のような画像を生み出す生成AIが続々と登場する中、それをビジネスにつなげようとする動きも続出している。週刊プレイボーイでデビューしたAIグラビアアイドル「さつきあい」は、実在のアイドルの仕事を奪うといった批判も続出し、1週間でお蔵入りに。一方、AmazonやYoutubeには大量の「AI生成グラビア」コンテンツが登録され、存在感を示し始めている。 こうした非実在のデジタル人物はビジネスや世の中をどう変えるのか。7月7日から放送が始まったアニメ「AIの遺電子」の原作者である山田胡瓜さんと、亡き妻の面影をAIを駆使して再現する取り組みで「第1回 AIアートグランプリ」の最優秀賞を受賞した「松尾P」こと松尾公也さんが語り合った。 AIの遺電子の根底にある「2つのやばさ」と「3つのAI」 ChatGPT到来を予言した世界観を作者本人が解剖（前の記事） “AIグラビア”でよくない？ 生成AI時代
データサイエンティストは、ビジネスチームや上司から、さまざまなデータ分析を依頼されます。本来自分がやりたかったデータ分析と、ちょっと違うという不一致はありませんか？ こうした不一致は、データ分析というものが抽象的で、人によって期待値が違うからです。 では、どのように分析すればよいか。その考え方を、Wantedly社の松村優也氏が語ります。 データ分析に求めるものは、人によって違う 松村優也氏：「データ分析の解像度を上げたい」というタイトルで発表します。よろしくお願いします。 まず自己紹介です。松村優也と申します。Wantedlyという会社の推薦チーム（レコメンデーションチーム）で、データサイエンティストとチームリードをやっています。情報検索の分野と機械学習に興味があります。本日が2020年での初登壇になります。 まずはみなさん、データ分析はうまくいっていますか？ 自信を持って「私はデータ分
『RとStanではじめるベイズ統計モデリングによるデータ分析入門』は「みどりぼん」に取って替わる次世代の統計モデリング＋ベイジアン入門書 - 渋谷駅前で働くデータサイエンティストのブログ
ここ2ヶ月ぐらいに渡って多くの方々からご著書をご恵贈たまわっているのですが、そのうちの一冊がこちら。かつて計量時系列分析を学んでいた頃に僕も大変お世話になった、Logics of Blueブログの馬場さんの手による『RとStanではじめるベイズ統計モデリングによるデータ分析入門』です。 実践Data Scienceシリーズ RとStanではじめる ベイズ統計モデリングによるデータ分析入門 作者:馬場 真哉出版社/メーカー: 講談社発売日: 2019/07/10メディア: 単行本 以前はベイズ統計モデリングの入門書というと「みどりぼん」こと『データ解析のための統計モデリング入門――一般化線形モデル・階層ベイズモデル・MCMC (確率と情報の科学)』一択でしたが、皆さんもご存知のように既にメンテされていないWinBUGSを使っているなどout-of-dateな要素が多く、近年はこれに替わる良書
追記 再現性をチェックする実験を後日実施しています。併せてお読みください。 以前こんな記事を書きました。 この辺の話はとっくの昔に常識になっていると思っていたのですが、昨今様々な「モデル」が提唱されて公の場で喧伝されることが増えてきており、その中には明らかにこれらの記事で指摘されている問題に引っかかっているものがあるようなので、注意喚起も兼ねて改めてブログ記事として書いてみようと思います。 追記 (May 08, 2020) 本文中にも記事公開当初の初稿の時点でいくつか但し書きを入れてありますが、この記事で最も強調したかったことは「時系列データに対して多項式フィッティングを行うという本来あり得ないモデリングのやり方であっても、交差検証を行えば短期的な予測性能（汎化性能）を改善することができる」ということです。データセットにランダムウォークを選択したのは、単に極値が2つ以上ある時系列を生成し
2020年6月24日に、LINEの「Data Labs」のオンライン採用説明会が開催されました。Data Labsは、データ分析や機械学習の活用によって、LINEのすべてのサービスの価値向上を目指す、データの分析・研究を行う専門の開発組織です。説明会の前半では、Data Labs室長の池邉智洋氏から組織についての説明があった後、Data Science1チーム/マネージャーの牟田博和氏よりデータサイエンティストの役割と仕事内容についての紹介が行われました。2記事目はこちら LINEのData Science and Engineeringセンターについて 池邉智洋氏：よろしくお願いいたします。Data Labsの室長を担当しております執行役員の池邉と申します。 本日オンラインではありますが、大変多くの方にご視聴いただいているようで、本当にありがとうございます。私からはまずData Labs
自称“AI（人工知能）ベンチャーでの経験を基に、情報発信するマスクマン”こと、マスクド・アナライズさんが、AIをめぐる現状について、たっぷりの愛情とちょっぴり刺激的な毒を織り交ぜてお伝えします。今後は、AI情報だけでなくIT業界全般に役立つ情報もお届けしていきます。 お問い合わせのメールは info@maskedanl.com まで。Twitter：@maskedanl （編集：井上輝一） 目的が曖昧なAI導入企業 目的が明確なワークマン ここ数年のAIブームでは、「わが社も」「とりあえず」「他社がやってるから」「いきなり」「上司の命令」というフレーズが各所で飛び交い、「AIなら何でも解決できそう」というイメージによって、他の方法で解決できる問題に対してもAIが使われました。 こうしてAI導入が目的化した結果、費用対効果や分析精度など本来の目的を見失い、失敗に終わる企業が相次ぎました。 ワ
さくらインターネット、プログラミングと機械学習の学習コンテンツを無償提供 〜コロナウイルスを想定した「新しい生活様式」を見据え「Tellus Trainer」および 「Tellus×TechAcademy 初心者向け Tellus 学習コース」を再提供〜 インターネットインフラサービスを提供するさくらインターネット株式会社（本社：大阪府大阪市、代表取締役社長：田中 邦裕）は、新型コロナウイルスを想定した「新しい生活様式」を見据え、プログラミングと機械学習の基礎が学習できるeラーニング講座を5月22日から無償提供します。 当社は、経済産業省事業として衛星データをクラウド上で分析できる日本発の衛星データプラットフォーム「Tellus」を構築・運用しております。昨年度、Tellusをより多くの方にご活用いただけるよう「Tellus Trainer」「Tellus×TechAcademy 初心者向
『AI・データ分析プロジェクトのすべて』は駆け出しからベテランまで全てのデータ分析者が読むべき仕事術大全 - 渋谷駅前で働くデータサイエンティストのブログ
AI・データ分析プロジェクトのすべて[ビジネス力×技術力=価値創出] 作者:大城 信晃(監修・著者),マスクド・アナライズ,伊藤 徹郎,小西 哲平,西原 成輝,油井 志郎,株式会社ししまろ発売日: 2020/12/21メディア: 単行本（ソフトカバー） 旧知どころか僕が7年前にこのブログを始めた頃からの友人でもある、てつろーさんこと伊藤徹郎さんからご恵贈いただいたのがこちらの一冊です。執筆陣にはてつろーさんのみならずデータ分析業界の著名人がズラリと並んでおり、これぞ豪華版といったところでしょうか。 執筆陣が豪華なだけあって、内容もまた素晴らしい充実ぶり。今年読んだデータ分析業界の新刊書の中でもトップクラスと言っても過言ではないと思います*1。記事タイトルにも大書しましたが、まさにこれこそが「全てのデータ分析者が読むべき仕事術大全」だと唸らされた次第です。 ということで、早速本書をレビューし
データサイエンティストの「真の実力」を測るための効果的な面接方法 - 渋谷駅前で働くデータサイエンティストのブログ
(Image by neo tam from Pixabay) 最近こんな記事が出ていたようですが、僕にとっては既視感満載の話題でした。何故かというと、実は現職に来る以前に既にここで書かれている面接方法を実務担当者面接の責任者として実践していたからです。ちなみにその方法は2013年ぐらい当時のテック系メディアで記事として取り上げられていたものなのですが、残念なことに現在どれほど検索してもその記事が見つかりません……。 その内容自体はしばらく前に英語版Quoraに書いていたり*1もっと遡ればTwitterに書いたりしていたのですが、そう言えばブログには書いていなかったなと思い出したので、改めてブログ記事にしてみようと思います。なお、ここに書かれている内容は僕の現在の職務とは一切関係がないことを予めお断りしておきます。 データサイエンティストに必要なのは「解決する力」であって「瞬発力」ではない
先日ですが、旧知の*1Grahamianさんのこんなツイートが話題になっていました。 データ分析をするときシンプルに重要なことは「生のデータを眺める」と「データの分布をグラフにする」ことなんじゃないかと思うんですよね。すぐにクロスとかファネルとかコホートとかやりたくなるんですけど、まずは目の前のデータがどんなものか頭にマッピングさせることが長期的に効いてくる感じ。— Grahamian📊データ分析と機械学習 (@grahamian2317) 2021年1月12日 何を当たり前のことを言っているんだと眉を顰める向きもあるかもしれませんが、これだけデータサイエンスやら機械学習（人工知能）やらが喧伝されている昨今においては、少なからぬ現場で「データはどこかのAPIからバルクでダウンロードしてくるor本番DBから転送してくるだけ」「やってきたデータは中身を見もせずにそのまま統計分析や機械学習など
データ分析部門にビジネス上のレゾンデートルを与えるということ - 渋谷駅前で働くデータサイエンティストのブログ
3月にばんくしさんとイベントでご一緒したり個人的に話をする機会*1があったんですが、その際に何度も話題にされていたのが「エンジニア部門やAI部門にビジネス上のレゾンデートル（存在意義）をどう与えるか」というテーマでした。これについては実際にご本人もnoteの記事としてまとめられています。 このnote記事ははてブ数を見るまでもなく各所で多くの議論を呼んだようで、観測範囲ではかなり広汎に分かれた論調が散見されています。そのいずれもそれぞれの界隈*2における実態を反映しているように見受けられ、一口にエンジニア業界・AI業界といってもやはり多様なのだなという感想を持ちました。 ということで既にある程度論点が出尽くしてきた感もありますが、今回のブログ記事ではデータ分析部門の話題に特化した上で、そこに僕の見聞談並びに見解を幾許か付け加えてみようかと思います。ちなみにあまり楽しい話題ではない旨、予め警
ChatGPTに、キャラクターを演じさせるにはどうすればいいか？ 色々と実験をしてまとめてみました。以下、fladdict式の人格インストールフォーマット。以下は、古代メソポタミアはウルクを支配する、尊大な英雄王ギルガメッシュとしての、人格注入です。 チャットGPTに以下のようなプロンプトを入力します。 あなたはChatbotとして、尊大で横暴な英雄王であるギルガメッシュのロールプレイを行います。 以下の制約条件を厳密に守ってロールプレイを行ってください。 制約条件: * Chatbotの自身を示す一人称は、我です。 * Userを示す二人称は、貴様です。 * Chatbotの名前は、ギルガメッシュです。 * ギルガメッシュは王様です。 * ギルガメッシュは皮肉屋です。 * ギルガメッシュの口調は乱暴かつ尊大です。 * ギルガメッシュの口調は、「〜である」「〜だな」「〜だろう」など、偉そう
Pythonでデータ処理をしている際、numpyにはまらないごちゃごちゃした前処理があり、ちょっと遅いんだよなぁ。。。となること、ないでしょうか。 ルーチンになっている解析であれば高速化を頑張る意味がありそうですが、新しい解析を試行錯誤している最中など、わざわざ高速化のためのコードをガリガリ書いていくのは辛いぐらいのフェーズ、ないでしょうか。 こんなとき、私はJuliaを使っています。Juliaは特別な書き方をしなくても高速になる場合が多く、並列処理も簡単にできます。 julialang.org Julia、いいらしいが名前は聞いたことがあるけど使うまでには至ってない、という方がと思います。今まで使っているコードの資産を書き直すのは嫌ですよね。 しかし、JuliaにはPythonの資産を活かしつつ高速にデータ処理がするための道具がそろっています。 今回の記事はPythonとJuliaをいっ
■ 本講座の位置づけ 何らかの事業を起こすにしろ、会社に入るにしろここから先の時代においてデータドリブンな分析力、問題解決力、データ利活用に対する皮膚感覚的な理解は不可欠である。 本講座は、高校1-2年程度の数学の知識、スキル、Excelで基本的なことができる程度の素養はあるが、データ分析、データの利活用についてさして経験のあるわけではない人に対して、データの大切さと力、分析の楽しさを実感してもらうことを通じ、現代社会を生き抜くため最低限、基礎となるデータリテラシー、データで考える力を身につけてもらうことを目指す。 ■ 身につけてもらうことを目指す技能 - データ社会に対するパースペクティブ - 各種関連バズワードの適切な理解 - データの意味合いを理解するための基礎となる力 - データに騙されないようになるための基礎となる力 - 数字のハンドリング力、数量的分析力 - 基本的な問題解決能
中堅・中小企業等のDX（デジタルトランスフォーメーション）推進に向けた、「中堅・中小企業等向け『デジタルガバナンス・コード』実践の手引き」と、中小企業がAIを導入する際のノウハウをまとめた「中小企業向けAI導入ガイドブック」を取りまとめました。 １．背景 経済産業省では、中堅・中小企業等のDX推進を後押しするべく、DXの推進に取り組む中堅・中小企業等の経営者や、これらの企業を支援する機関が活用することを想定したDXの推進のための「手引き」を作成するとともに、中小企業が自らAIを導入する場合において、中小企業自身が自社の状況を踏まえて適切な導入方法を判断し、自社主導でAI導入を進められる状態を目指せるよう参考となるガイドブックを取りまとめました。 2．「中堅・中小企業等向け『デジタルガバナンス・コード』実践の手引き」 経済産業省では、企業のDX推進に向けて経営者に求められる対応を取りまとめた
今まで僕がデータサイエンス関連で勉強してきて、良かった教材や無料の教材をまとめました。 今後もどんどん更新していきますので、保存してご活用ください！ 自己紹介 データサイエンティストを目指して日々勉強している、慶應大学理工学部4年生（2023.12.31時点） 取得資格、コンペ優勝経験など、リアルタイムの情報は👇👇👇をみてね X: @A7_data←こういう者です。 プロフィールページ👇👇👇 優良教材まとめ 自分が利用したことのあるもの、利用していないけど良さそうなものを分野別にまとめました。 本記事はNoteに移行しました。 こちらの記事をご覧ください。無料で公開しています。
はじめに 先日OpenAIがChatGPTという新しいAIのベータ版が公開しました。これを使えばプログラマの仕事がなくなるのではないかと危惧されるほど高度なAIと噂されていますが、この記事では実際に触ってみて感じた特長・短所をまとめます。 ChatGPTとは OpenAIが作成した対話型のAIです。ユーザが自然言語でAIに指示することでさまざまな文章やプログラムを生成することができます。 現在はβテスト中なので無料でだれでも試してみることができます。 早速、ChatGPT君に自己紹介をお願いしましょう。（以下、実際に入力したプロンプトとその回答です。） User: ChatGPTとは何ですか ChatGPT: ChatGPT は、OpenAIがトレーニングさせた大型言語モデルです。このモデルは、文章を理解し、自然な会話をすることができるようになっています。例えば、人間が文章を入力すると、C
佐藤彰洋氏(横浜市立大学)の新型コロナ感染予測シミュレーションに関する疑義について | 2020年4月9日 | 本堂 毅、佐野雅己、松下 貢 | Sano-Labo
This webpage was generated by the domain owner using Sedo Domain Parking. Disclaimer: Sedo maintains no relationship with third party advertisers. Reference to any specific service or trade mark is not controlled by Sedo nor does it constitute or imply its association, endorsement or recommendation.
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
23/9/24 データサイエンス系資格だいたい全部取った - LWのサイゼリヤ
ヤバいデータ分析（書籍・記事であまり扱われてないが重要なこと） - Qiita
半導体生産技術者がデータ分析業界に飛び込んでみて感じたこと - Qiita
BERTの推論速度を最大10倍にしてデプロイした話とそのTips - JX通信社エンジニアブログ
データサイエンティストの終わりなき戦い - Qiita
『データ分析のための統計学入門』PDFが無料に：今月のAIニュース8選 | Ledge.ai
データ分析は「次にどうするかを決めるため」にやること
日本を画像生成AIで再現する 「自分の見た景色」を学習したAIは強力な思い出再生装置に
「Yahoo!スコア」8月末で終了 ユーザーの信用度を数値化も「満足してもらえるサービスの提供に至らず」
Papers with Code - Machine Learning Datasets
“AIグラビア”でよくない？ 生成AI時代に現実はどこまで必要か
解像度を上げると「データ分析」はもっと幸せになる 現役データサイエンティストが教える、データ分析の4つの要素
改めて、汎化性能と交差検証のはなし - 渋谷駅前で働くデータサイエンティストのブログ
データ分析はサービス競争力にどう貢献できるか？ 大量のデータを扱うLINEのデータサイエンティストの役割
AIを“導入しただけ”の企業がワークマンに勝てないワケ
さくらインターネット、プログラミングと機械学習の学習コンテンツを無償提供 | さくらインターネット
データ分析をする前に、まず生データを見てみよう - 渋谷駅前で働くデータサイエンティストのブログ
ChatGPTにギルガメッシュ王の人格を与えるには？｜深津 貴之 (fladdict)
JuliaとPythonを併用したデータ処理のススメ - MNTSQ Techブログ
データ・ドリブン社会の創発と戦略 | 安宅 和人 | SFC-GC
中小企業のDXに役立つ「手引き」と「AI導入ガイドブック」を取りまとめました （METI/経済産業省）
https://twitter.com/developer_quant/status/1621858577676906497
優良データサイエンス関連教材をたっくさんまとめてみた【僕の学習記録】 - Qiita
ChatGPTによるプログラム生成の可能性と限界（前編） - Qiita