こんにちは、次郎花です☆ タイトル長い（笑）...ぱ、パクリなんかじゃないですよっ！ はい。 というわけで、今回はわたくしのお仕事「データアナリスト」についてご紹介したいと思います。データアナリスト／データサイエンティスト（以下、DA/DS）のブームもそろそろバブルがはじける頃かと想像していますが（もうはじけてる？）、いまだに一定数の方が憧れを持って、あるいは異世界転生を狙ってジョブチェンジしようとしているこれらの職業。最近では、実際にDA/DSである方の現場の声なども散見されるようになり、どのような職業なのか実態が少しずつ広まってきたようにも思います。ですので、今さら感はありますが、私もご多分に漏れず知見を共有できたらという思いでこの記事を発信しようと考えました。 次郎花って？まずは、次郎花って誰やねん、というところからですね。わたくし次郎花はとある外資系企業のCEO直轄の経営戦略部門で
Kazz.MD.Ph.D. on Twitter: "にわかには信じ難いがデータ見るとすごい違い。コロナに感染した人では脳の構造的変化が見られると。認知機能低下は言われていたが具体的な構造上の変化が確認されたのは大きい。具体的には脳の萎縮、特に灰白質。さらに臭覚野関連部位での組織障害… https://t.co/wxyv3MuKbt"
にわかには信じ難いがデータ見るとすごい違い。コロナに感染した人では脳の構造的変化が見られると。認知機能低下は言われていたが具体的な構造上の変化が確認されたのは大きい。具体的には脳の萎縮、特に灰白質。さらに臭覚野関連部位での組織障害… https://t.co/wxyv3MuKbt
twitter上でdisられる社会学者 しばしば 社会学者はSNSで悪し様に罵られる。 なぜ社会学はここまで嫌われるのか｜小山晃弘｜note 例えばこのブログが書いているように、胡散臭い、学問ではない と言われる。 ここで疑問に思ったのは、上で紹介したブログに様に社会学者だけに悪評が立っているのか？他の学問分野ではどうなのだろうか？ twitterで社会学者はどの様に語られているか？ twitterは、開発者向けに全ツイートの1%のサンプリングデータを公開している。私は2018年からそのtweetサンプルを収集している。現在、約7億件のtweetを収集している。 そのデータを利用して、社会学者はtwitter上でどの様に語られているかを調査する。 調査データ データ種別 説明 データ期間 2018-01-09から2021-01-28 データ件数 約7億2千4百万件 調査方法 サンプリングさ
なんでもメモして個人的な知識を蓄える「Obsidian」のキャンバスデータ保存形式「JSON Canvas」がオープンソース化、中身はこんな感じ
Markdown形式でメモを作成できるサービスのObsidianが使用しているObsidian Canvasファイル形式を「JSON Canvas」ファイル形式としてオープンソース化することを発表しました。 JSON Canvas — An open file format for infinite canvas data. https://jsoncanvas.org/ Announcing JSON Canvas: an open file format for infinite canvas data - Obsidian https://obsidian.md/blog/json-canvas/ 仕様についてはjsoncanvas.orgに記載されています。サイトにアクセスするとこんな感じ。右下の「Toggle output」をクリックしてみます。 右側にJSON Canvas形式
ピーター・ティールが立ち上げた謎のデータ分析企業「パランティア」の実態に迫る | 「これまでに数件のテロを未然に防いだ」
「西側諸国を支援するために立ち上げた」 2019年秋のある晴れた火曜日の午後、パリのリュクサンブール公園でアレックス・カープ（53）が太極拳をしていた。青のナイキのスウェットパンツに、青のポロシャツ。靴下はオレンジで、スニーカーはチャコールグレー。赤のアクセントが入った白縁のサングラスが、彼の最大の特徴である天に向かって逆立つゴマ塩の髪を引き立てていた。 栗の木の木陰でカープは太極拳と気功の一連の優雅な動きをする。体をひねったり、向きを変えたりするたびに足元の小石や土がわずかに動いた。その姿を、近くにいた10代の若者たちが面白そうに眺める。 10分ほど、そうやって体を動かした後、カープは近くのベンチに行った。そのベンチにはボディーガードの一人が置いた楽器ケースのようなクーラーボックスがある。 ケースにはカープが愛飲するドイツのノンアルコールビールの瓶も数本入っているが、いま中から取り出した
森友学園をめぐる一連の問題で決裁文書の改ざんに関与させられ自殺した男性の上司が国有地の値引き売却や改ざんの経緯について男性の妻に説明した音声データを妻の弁護士が報道機関に公開しました。その内容の詳細です。 この上司は森友学園に国有地を売却した際の責任者で、決裁文書の改ざんでも部下の赤木さんに直接手伝うよう頼んでいて、財務局の中では国有地取引から改ざんに至る一連の問題で最も中心にいた職員です。 雅子さんとのやり取りの中で上司は森友学園に地中のごみの撤去費用として8億円余りを値引いて売却した理由を次のように説明しています。 「あの売り払いをしたのは僕です。国の瑕疵（かし）が原因で小学校が開設できなかったときの損害額が膨大になることを考えたときに相手に一定の価格、妥当性のある価格を提示してそれで納得できればいちばん丸く収まる。撤去費用を試算した大阪航空局が持ってきたのが8億円だったということで、
当社開発のウェブブラウザ「Smooz」におけるユーザーデータの取り扱いについて、ご利用者の皆様、関係者の皆様に、多大なるご迷惑とご心配をお掛けしておりますことを深くお詫び申し上げます。当社では2020年12月23日に「Smoozのサービス終了」についてブログにてご案内させていただきました。その後Smoozにおけるユーザーデータの取り扱いに関して、外部専門家とともに調査を実施しましたので、その結果についてご報告申し上げます。 記 Smoozで取得していたユーザーデータについてユーザーデータの取扱いにおける問題点(1) ユーザーデータの容易照合性(2) 本文における個人情報の混入可能性(3) 第三者への行動履歴情報の提供(4) 適切な情報開示の不足本件の対応と再発防止策(1) サービスの終了とデータの削除(2) 外部専門家による監査 1.Smoozで取得していたユーザーデータについて Smoo
19世紀初頭のロンドンの社交界を舞台に、 名門貴族ブリジャートン家の8人の兄弟が、 それぞれの愛と幸せを追い求める姿を描いた、 Netflixのオリジナルドラマ「ブリジャートン家」。 昨年12月25日に配信がスタートするやいなや、世界中で大ヒット。 わずか4週間で8200万世帯が視聴しており、 この数字はオリジナルドラマの中で史上最多となります。 また、イギリス、フランス、アメリカなど世界83カ国で、 Netflixのドラマ部門の視聴者数ランキング1位を記録。 さらに、Netflixが視聴可能な日本以外の全ての国で、 トップ10入りを果たす快挙を達成しています。 逆に言えば、日本でのみトップ10入りしていないわけですが、 その点にBBC北米特派員のジャーナリストも注目。 日本の特殊性を指摘する投稿に、多くの意見が寄せられています。 その一部をご紹介しますので、ごらんください。 翻訳元■■■
概要 Twitter上で「気持ち悪い」、「キモイ」という言葉が、どのように使われてるかと調査した。 調査対象は、キモイ、気持ち悪いという言葉を含むtweet、約28万件 時系列の変化を見るため、2018年と2019年で調査を行った 気持ち悪いと言う言葉は、オタクへの言及とともに使われている オタクを含んだtweetは、28万件中、14431件あった 調査結果 2018年調査 2018年に投稿されたツイート調査 調査期間 2018/01/09 - 2018/12/31 tweetソース元 Sample realtime Tweets API 2019年調査 2019年に投稿されたツィート調査 調査期間 2019/01/01- 2019/10/20 tweetソース元 Sample realtime Tweets API 気持ち悪いという言葉の特徴 気持ち悪いという単語は、他者を侮蔑する意味と
Rustの特徴のひとつは、所有権(ownership)・移動(move)・借用(borrow)の概念です。これらがコンパイル時に厳格にチェックされることにより、古くから未定義挙動でプログラマを悩ませてきたダングリングポインタなどの問題がなくなり、メモリ安全性がもたらされます。 しかし一方で、自分で多少複雑なデータ構造を定義しようとする場合にはコンパイルを通すだけでもかなりの知識・力量が要求されます。 この（不定期）連載では、 Rustではじめるデータ構造とアルゴリズム と題し、プログラミングコンテストなどでよく見かける基礎的なデータ構造とアルゴリズムを、できるだけシンプルにRustで実装していきます。 &, &mut, Box, Rc, Cell, RefCell などの使い分けや、なぜそれを使う必要があるかの解説を、実例を通して行います。 第1回は、最もシンプルな木構造である 二分木 を
なぜシェルスクリプトで高度なデータ管理にSQLiteを使うべきなのか？ ～ UNIX/POSIXコマンドの欠点をSQLで解決する
なぜシェルスクリプトで高度なデータ管理にSQLiteを使うべきなのか？ ～ UNIX/POSIXコマンドの欠点をSQLで解決するShellScriptUNIXSQLitePOSIXQiitadelika 「利用者は数十億人！？ SQLiteはどこが凄いデータベース管理システムなのか調べてみた」の続きです。 はじめに 複雑な構造のデータを扱うのであればシェルスクリプトや Unix (POSIX) コマンドでデータ管理を行うのは避けるべきだと思います。解決不可能な問題が多いからです。しかしそれでも何かしらの理由でやろうと考える（やらなければいけない）のであれば SQLite を使うのをおすすめします。シェルスクリプトや Unix コマンドは行単位の単純なテキストデータをシーケンシャルにデータ処理するのが前提となっており、改行や空白が含まれるデータや複雑な構造のデータ扱うのは苦手です。またシェル
最終盤に急増した「反対」ー 独自データで読み解く大阪都構想住民投票「否決」のワケ（米重克洋） - エキスパート - Yahoo!ニュース
2度目の住民投票が行われた、いわゆる「大阪都構想」。その開票結果は、賛成49.4%に対して反対が50.6%だった。前回は0.8%差の僅差だったが、今回もほぼ変わらない僅差での否決となった形だ。 投開票日直前の10月30日・31日にABCテレビと弊社（JX通信社）で行った合同調査では、賛否はどちらとも言えないとした未定者を除くと賛成49.2%に対して反対50.8%で、結果はほぼ事前の調査通りだったと言える。 詳細はABCテレビ・JX通信社合同調査の特設サイトより 実は、この調査は住民投票における「民意」の変動をより正確に観測するため、異例の週に1回というハイペースで行ってきた。報道各社の通例では1ヶ月おきに計2回ほどの調査となるところ、ABCテレビ報道局のご英断による弊社との合同企画が実現し、より精緻な情勢の可視化に取り組むことが出来たのだ。 では、元々「賛成が優勢」と言われてきた大阪都構想
言語モデルのChatGPTや画像生成AIのDALL·Eを手がけるAI研究所のOpenAIは、AI技術の悪用を防ぎ社会に友好的な形で発展させることを目的に、サム・アルトマン氏やイーロン・マスク氏らが2015年に発足させた非営利組織です。そんなOpenAIの創始メンバーに名を連ねるイルヤ・サツキヴァー氏が、AIをオープンにするという設立当初の理念は誤りだったと、IT系ニュースサイト・The Vergeのインタビューの中で語りました。 OpenAI co-founder on company’s past approach to openly sharing research: ‘We were wrong’ - The Verge https://www.theverge.com/2023/3/15/23640180/openai-gpt-4-launch-closed-research-il
加藤勝信官房長官は10日の記者会見で、菅義偉首相が10～11月に希望する全国民への新型コロナウイルスワクチン接種完了を目指すと表明した根拠について、「具体的なデータがあるわけではないが、このペースで進めていけば10、11月ぐらいにはということで申し上げた」と述べるにとどめた。 首相は9日、立憲民主党の枝野幸男代表と…
ソニー・インタラクティブエンタテインメント（SIE）からノウハウを継承し、バッファローが3月に発売したネットワークレコーダー「nasne」。2万9800円（税込）で販売を始め、すでに3次入荷分までが完売している。この価格は外部の企業とともにデータサイエンスを活用して決めたと、バッファローが自社のWebコンテンツで6月23日に明らかにした。 バッファローはこれまで、製品の価格を「勘、経験、度胸」を基に決めていたが、nasneは価格を決めるに当たっての理論や根拠が社内になく、適正な値が判断できなかった。そこで、過去のデータから価格を算出するため、東京大学発のコンサル企業である東京大学エコノミックコンサルティング（UTEcon）に協力を依頼したという。 まずは2020年12月から21年初頭にかけて、他社製レコーダー製品の過去の販売データや価格データを収集。その後、東大や慶応義塾大学などの経済学者
大内裕和 on Twitter: "これは深刻なデータ。「日本経済はデフレ」とよく言われますが、正確には「賃金デフレ」です。ここ20年間以上、賃金が上昇せずに下がっています。それに加えて、消費税や社会保険料などの負担は増加しているので、可処分所得はもっと減ります。こ… https://t.co/FHRJHuSQKr"
これは深刻なデータ。「日本経済はデフレ」とよく言われますが、正確には「賃金デフレ」です。ここ20年間以上、賃金が上昇せずに下がっています。それに加えて、消費税や社会保険料などの負担は増加しているので、可処分所得はもっと減ります。こ… https://t.co/FHRJHuSQKr
就職情報サイト「リクナビ」を運営するリクルートキャリア（東京・千代田）が就活学生の「内定辞退率」の予測データを企業に販売していた問題で、トヨタ自動車が同データを購入していたことが10日、分かった。購入した企業名が明らかになるのは、ホンダに次いで2例目。トヨタは「選考の合否判定には使っていない」としている。【関連記事】リクナビ問題、利用38社の責任も 省庁間で連携同社は「採用活動は志望者と実際に面談し、適性や入社意思を確認するのが前提」と説明。辞退者を減らす目的で購入
新しいデータ基盤アーキテクチャである「データレイクハウス」について調べてみた - Taste of Tech Topics
最近ソーダストリームを買い、炭酸水を飲むのにはまってます。機械学習エンジニアの@yktm31です。 以前に「AWS Lake Formationでデータレイク体験！」という記事を書いてみて、データ基盤アーキテクチャに興味が湧いてきました。 データレイクハウスは、「データウェアハウス」と「データレイク」を統合したようなアーキテクチャで、 2020年にDatabricks社により提唱され、新しいデータ基盤アーキテクチャとして注目されているようです。 www.databricks.com そこで今回、「データレイクハウス」について調べてみたことをまとめてみたいと思います。 なぜデータレイクハウスが注目されているのか？ データウェアハウスの特徴・課題 データレイクの特徴・課題 データレイクハウスの特徴 データレイクハウスのアーキテクチャ Azure Azure Synapse Analyticsを
【2023/11/7追記】 OpenAI Dev Dayにて、開発者向けの大型アップデートが発表されました。この記事で紹介している手法は、Retrieval-Augmented Generation(RAG)と呼ばれてきましたが、今回のアップデートでコンテクスト長（やりとりできるテキストの長さの上限）がこれまでの8Kから128K（12万8千トークン）に大幅にアップするため、一般的な本の内容は1冊分丸ごと渡すことができるようになります。独自データベースとの連携という意味では、ここで紹介している手法も引き続き有効な手法ですが、API関連でも様々な機能が追加されているので、リリースやSam Altmanによるキーノートは要チェックです。 ChatGPTは、膨大な量のテキストを学習してはいますが、天気予報のような最新の情報や、ある特定の本の内容や、特定のサービスの詳細についてはじめから知っているわ
大久保 賢一 on Twitter: "しかし昨日の橋下さんの「論文のデータではなく現実を見ろ」は本当に酷かった。天文学者に天動説を説くようなもの。自分なら恥ずかしくて二度と人前に出れない。"
しかし昨日の橋下さんの「論文のデータではなく現実を見ろ」は本当に酷かった。天文学者に天動説を説くようなもの。自分なら恥ずかしくて二度と人前に出れない。
勝手に第三者に小説投稿サイトの退会手続きをされて自作データが消失してしまった場合、復元は可能か。退会手続きをした第三者を法で裁けるか
ポンポコ秋くんは呟きたい☆ @PNPK4649 今まで読んでくださった読者の皆さんへ。 突然ですが、現在連載していました【ロストファミリア・無限世界は人と悪魔の決闘輪廻】を含めた全ての作品や作者ベージは退会によってもうありません。 最初に言うならば、これらは全て僕の盲目さと人間性の結果です。 下に退会までの経緯を書きます。↓ 2020-11-14 22:02:42 ポンポコ秋くんは呟きたい☆ @PNPK4649 僕を含めたお知り合いの方4人でとある飲食店さんにお邪魔していた時でした。 僕と対面して座るお知り合いさんが僕の書いている小説に興味を持ってくださって作者画面を見せて欲しいと言われログインして自分の今書いている好きな小説(ロストファミリア)や、 2020-11-14 22:02:42 ポンポコ秋くんは呟きたい☆ @PNPK4649 下手ながらも過去に書いた作品のお話をしているうちに、
ChatGPTの新機能「Advanced Data Analysis(旧Code Interpreter)」にアパレル店舗の売上分析をお願いしたらデータサイエンティストが不要になった｜Ainova
ChatGPTの新機能「Advanced Data Analysis(旧Code Interpreter)」にアパレル店舗の売上分析をお願いしたらデータサイエンティストが不要になった 2023年7月7日頃に日本でも利用できるようになったChatGPTの新機能「Advanced Data Analysis(旧Code Interpreter)」が凄いと話題なので、架空のアパレル店舗の売上データを元に売上を上げるための分析を依頼してみました。 どうせデータ分析の専門家でないと使いこなせないんだろうなと全然期待していなかったのですが、予想を超えるクオリティでしたので、一部始終を皆様にもご紹介します。 「Advanced Data Analysis」の基本的な機能やどんなことができるかは以下のページでまとめているので、「Advanced Data Analysis」について知りたい人はこちらをご覧
自分の女性器の3Dデータを支援者に配ったとして、わいせつ電磁的記録頒布などの罪に問われたペンネーム「ろくでなし子」の漫画家五十嵐恵被告（48）の上告審判決で、最高裁第1小法廷（小池裕裁判長）は16日、被告の上告を棄却した。「芸術活動の一環」とする無罪主張を退けた。罰金40万円とした一、二審判決が確定する。 被告は2013～14年、東京都内のアダルトショップで、自分の女性器をかたどった石こうに着色や装飾を施した作品を展示。活動資金を寄付した人に、女性器の形状を3Dプリンターで再現できるデータも配った。 公判では、わいせつ性の基準の判断が最大の争点となった。
☕ふらのさん𝕏🍬 @flano606 「東京から名古屋や大阪あたりの距離で超大容量のデータを送信する時はデータ通信よりHDDを新幹線で持って行った方が早い」って話すき 2020-08-01 11:49:15
9月14日に自民党総裁選が行われ、菅義偉官房長官が新総裁に選出された。菅新総裁は同日記者会見し、省庁再編の一環で「デジタル庁」を創設する意向を示した。各省庁に分散しているデータを統合し、柔軟に利活用できる仕組みを築く考えだ。今後は「法改正に向け、早速準備を行っていきたい」という。 菅新総裁は会見で「役所の縦割り、既得権益、前例主義を打倒して、規制改革をしっかりと進めたい」と明言。注力する施策の1つにデジタル庁を挙げ、「マイナンバーカードがあれば、24時間365日役所に行かなくてもいいような方向にしたい」と述べた。 現在のマイナンバーカードの普及率は約19％。コロナ禍での特別定額給付金や雇用調整助成金の給付を巡って、普及率の低さが指摘されている。政府は普及に向け、2021年3月から同カードを健康保険証として利用可能にする予定だ。現在は、運転免許証との一体化や銀行口座とのひもづけも検討している
公式アプリでミュートが実装されたし(使えるミュートワード10個だけだけど…)フィルタしてる単語を公開します(データが古いやつだったので更新しました)
人名ちきりん 加藤純一 小室圭 大谷翔平 宮迫 森喜朗 ちょまど 池澤あやか グレタ 石川優実 トイアンナ 笛美 ひろゆき 仁藤夢乃 はあちゅう イケハヤ 津田大介 朝倉未来 百田尚樹 豊崎由美 たぬかな トラウデン都仁 高梨沙羅 東浩紀 羽生結弦 東野幸治 ほんこん 平野歩夢 呉座 上野千鶴子 さえぼう 北村紗衣 雁琳 伊集院光 知念実希人 つるの剛士 田端信太郎 ヒカル 石橋貴明 池田信夫 笑い飯 古市憲寿 太田光 大関暁夫 宇佐美典也 門田隆将 小倉優子 シュナムル 三浦瑠麗 「TKO」木本 武井壮 矢沢永吉 尾田栄一郎 佐藤優 八代弁護士 TKO木本 仲正昌樹 菅野智之 中田翔 ヒロシ たかまつなな 星野源 八代英輝 野獣先輩 橋本琴絵 @HashimotoKotoe 人名(トンデモ医学)高野弘之 和田秀樹 苫米地英人 船瀬俊介 内海聡 酒向猛 渡辺久義 藤田紘一郎 島田彰夫 安保
上のチャートには、2024年の1月と2月の支出が記録されていて、このチャートをゴールドシュタイン氏は毎朝確認する。 まず、ゴールドシュタイン氏は支出を｢固定費（Fixed）｣と｢変動費（Variable）｣の2項目に大別する。その下に食費、家族、娯楽、罪悪感のある楽しみなどといったカテゴリーを設けている。 それぞれのカテゴリーに対して、年初からその日までの支出合計額、予算に占める割合、予算の残りなどを詳細に追跡する。 右のチャートには、支出の内訳が別のビジュアルで示されている。四角形が大きければ大きいほど、支出が多いということだ。｢罪悪感のある楽しみ（Guilty Pleasures）｣や｢アパートメント（Apartment）｣という名の支出が予算において大きな比重を占めている一方で、｢友人と社会（Friends / Social）｣と｢教育（Education）｣は小さい、つまり予算に占
チェコのウイルス対策アプリメーカーAvast Softwareがセキュリティアプリをインストールしたユーザーのアクティビティデータを収集し、それをパッケージ化して子会社であるマーケティング解析企業Jumpshotを介して企業に販売していると、米メディアのMotherboardとPCMagが1月27日（現地時間）、Avastの内部文書や顧客企業への調査に基づいて報じた。 Avastのセキュリティアプリは無料のものもあり、日本でも多数のユーザーがインストールしている。Avastによると（リンク先はPDF）、MAU（月間アクティブユーザー数）は4億3500万人以上だ。 Avastは、アプリでのデータ収集はオプトインでユーザーに許可を得ていると説明したが、Motherboardが取材した多数のユーザーは許可した自覚がなく、そのデータが販売されていることも知らないと語った。Avastはデータは匿名化
遺族から相談が多い「故人のiPhoneがロック解除できない」問題→Appleには死後のアカウントデータのアクセス権を信頼できる人に託せる「故人アカウント」設定がある
わいず│iPhone×お得ナビ @ys_docomoPro 【iPhone･iPad･AppleWatchの裏技を毎朝6時に発信!】2010年からiPhone利用のヘビーユーザー｜113日で10,000フォロワー｜元Apple champion認定者 ｜iPhoneの裏技をもっと知りたい人はフォロミー♪ わいず│iPhone×お得ナビ @ys_docomoPro 「亡くなった家族のiphoneがロック解除できない」ケータイショップに勤めているとき、この相談を何回も受けました。中の写真を見て懐かしむ、訃報を伝えるべき相手を見たりと、思いはそれぞれですが9割の方はロックをはずせません。いつ何が起こっても、残された家族のために今すぐ出来る設定は↓ 2023-11-22 06:00:48 わいず│iPhone×お得ナビ @ys_docomoPro "故人アカウント"を設定すること。自分のiClou
ウクライナ政府＆銀行サイトがダウン。マシン数百台に仕込まれたデータ消去のマルウェアが発動2022.02.26 07:0059,730 satomi 国外脱出の国民が預金を引き出せなくて大パニック。 ロシアのウクライナ侵攻に合わせてサイバー攻撃が激しさを増し、ウクライナの政府＆金融機関のサイトが次々ダウン。DDoS攻撃に続き、データ消去のマルウェア｢Wiper｣のダブル攻撃にさらされています。 まずはDDoS攻撃DDoS攻撃で政府のWebサイトへのアクセスが完全マヒ。被害はウクライナ政府諸機関、国防省、外務省、内務省、国家安全保障局、国会、銀行（どの銀行かは不明）、報道機関などにまでおよびました（デジタルトランスフォーメーション大臣からの情報）。 JUST IN - Large-scale cyberattack is underway in #Ukraine. Multiple minis
年間2,200名以上の社会人が受講する、データサイエンスを学ぶビジネススクール「datamix」。同スクールを運営する、株式会社データミックスのオンライントークイベント「データサイエンス業界の転職と副業の“今”」に、同社の立川裕之氏と福山耀平氏が登壇。データサイエンスを学んで独立した立川氏と、転職支援や副業の紹介を行っている福山氏が、データサイエンス業界の働き方について解説します。後編では、転職・副業における最大の強みや、転職の成功事例のパターンなどを紹介しています。 取締役に近いポジションなら、年収3,000万円以上も 福山耀平氏（以下、福山）：ちょうど昨日、ある大手の損保企業の担当者と話していたら、データサイエンティストのチームの統括ができて、経営層としゃべれる人材を募集されていました。これはもちろんチームを率いた経験など、難易度は高くなるんですけど、取締役に近いポジションの仕事です。
クラウドストレージサービスを提供するBackblazeが、自社のデータセンターで使用しているHDDの故障率をまとめたデータの2019年版を公開しました。12万台を超えるHDDのデータがメーカーおよびデータ容量別に整理されており、どのモデルの故障率が高い傾向にあるのかがよくわかります。 2019 Hard Drive Reliability: Failure Rates Continue to Rise https://www.backblaze.com/blog/hard-drive-stats-for-2019/ 2019年末にBackblazeのデータ用ストレージとして稼働していたHDDは12万2658台。そこからテスト目的で使われていたHDDや、稼働日数の総計が5000日未満で、統計的に有意な台数とは言えないモデルを除いた12万2507台のHDDからデータを収集した結果は以下の通りで
財務省の決裁文書の改ざんに関与させられ自殺した近畿財務局の男性職員の妻が国などを訴えている裁判で、男性が改ざんの詳細を記して職場に残したとされるファイルについて国は存在するかどうか回答を拒んでいます。妻は14日開かれる裁判で、男性の上司がファイルはあると話す様子を録音した音声データを証拠として提出し、開示を求めることにしています。 これまでの裁判で雅子さんは、赤木さんが改ざんの詳細を記したファイルを職場に残していたと弔問に訪れた上司から聞かされたとして、ファイルが存在するのか確認を求めましたが、国側は「回答する必要はない」として拒んでいます。 このため雅子さんは14日午後に開かれる裁判で、上司との会話を録音した音声データを証拠として提出することにしています。 この中で上司は「赤木さんがきちっと整理している。前の文書や修正後の文書などがファイリングされていて、これを見たら、われわれがどういう
ぐるなびにあった２億ファイルをAWSにデータ移行しました - ぐるなびをちょっと良くするエンジニアブログ
こんにちは！店舗開発チームの滝口です。 ぐるなびでは、認証・認可のプラットフォーム開発に携わったのち、現在はレストランデータの運用をしつつ、ぐるなび掲載ページや、店舗向け管理画面の開発をしています。 はじめに このたび、オンプレで稼働していた「非構造化データストレージ（通称：UDS）」をAWSに移行しました。 UDS は NAS に保存されているファイルを REST API を介して CRUD 操作できるシステムで、ぐるなびで掲載している店舗の画像や CSS 、Javascript 等の保存に利用されています。 この記事では NAS に保存されたファイルをどのようにして AWS に移行したのか、その移行方式や AWS アーキテクチャを紹介します。 目次 はじめに 目次 UDS 基本情報 今回使った主な AWS AWS を活用して実現したいこと AWS 導入におけるアーキテクチャ AWS へ
「Photoshop」と「Illustrator」にWebブラウザ版 まずはβ版、データ閲覧までなら非会員にも開放
Webブラウザ上で動作するため、ダウンロード不要で使えるのが特徴。Creative CloudのメンバーでなくてもWeb版のツールを開いてデータを閲覧することは可能。有料会員であれば、レイヤー内のオブジェクトの移動や削除、文字入れ、「画像の映り込みの修正」といった簡単な編集ができる。 対応ファイルはアドビのクラウド専用ファイル形式である「クラウドドキュメント」のみだが、Photoshopで使われているPSDデータ、IllustratorのAiデータともに、一度Webブラウザ版で読み込むことでクラウドドキュメントに変換されるという。 Webブラウザ版は、同日に発表したチーム管理サービス「Adobe Creative Cloud Web」にも組み込まれている。プロジェクトの初期から制作物などアウトプットまでをオンラインで完結するよう設計されたもので、チームでのデータ管理やコミュニケーションなど
Googleが発表したOSSプロジェクトである論理プログラミング言語Logicaを使って、データサイエンス100本ノック(構造化データ加工編)の設問を解きながらどのような言語かを確認していく。 (BigQueryのクエリとして実行していく) 最初に、プログラミング言語Logicaの特徴を纏めておく。 論理型プログラミング言語: このカテゴリではPrologが有名 SQLにコンパイルされる: 現状BigQueryとPostgreSQLに対応 モジュール機構がある: SQLと比較した強み コンパイラはPythonで書かれている: Jupyter NotebookやGoogle Colabですぐ始められる Colabでチュートリアルが用意されているので、まずこちらからやると良いと思う。 コードの見た目は関係論理の記述に似ている。 事前に、データサイエンス100本ノックのテーブルデータをBigQu
国が求めるデータの入力が現場に負担をかけています。 新型コロナウイルスの感染者のデータをリアルタイムで集約する国の新しい情報システムで、患者が急増する北海道では医療機関などが入力作業に対応しきれず、先月のデータのおよそ3割が入力できていないことが関係者への取材で分かりました。 専門家は「ひっ迫する現場に負担をかけるべきではない」と運用の見直しを求めています。 「HER-SYS」は、新型コロナウイルスの感染状況をリアルタイムで把握しようと、国が5月に導入を始めた情報システムで、全国の医療機関や保健所は感染者のデータを直ちに入力するよう求められています。 ところが関係者によりますと、北海道では医療機関や保健所が急増する患者の対応に追われて入力作業に手が回らず、先月、感染が確認された5600人余りのデータのうち、およそ3割が今月10日の時点でも入力できずにいるということです。 このため北海道によ
「Data Cross Conference」の登壇資料です。 https://dcc2022.datafluct.com/ データ活用によって億単位の利益を創出してきた登壇者が、データ基盤をこれから構築する方に向けて、費用対効果を最大化するための初期構築プロセスを紹介します。 ----------------------------------------------------------- 【PR】一緒に働きましょう！ https://kazaneya.com/kdec -----------------------------------------------------------
データのじかんトップ > 新着記事一覧 > データ活用 > 無料で地図データを分析できるソフトウェア「QGIS」とは？ダウンロード方法や基本の使い方を解説 ビジュアライズされた地図からマーケティング計画を練る、災害発生時のBCPを俯瞰的な視点から練り上げる……。 メタバースの世界が拡大しているとはいえ、まだまだ職場や自宅の存在する“土地”に根差して生活している我々にとって、地図データはときに非常に有用なデータとなります。 そこでこの記事で、有用な無料ツールとしてご紹介したいのが「QGIS」。その取得方法やメリット、簡単な利用法についてデモとともに解説いたします！ QGISとは？ ダウンロードする方法は？QGISとは、無料で使えるオープンソースのGISソフトです。 Windows、Mac、Linux、Unix、Androidなど、iOSを除く主要なOSのほとんどに対応しており、機能は有償ソフ
分散データシステム入門の決定版『データ指向アプリケーションデザイン』をたった30分で学んでみた #DataEngineeringStudy | DevelopersIO
基調講演「30分でわかるデータ指向アプリケーションデザイン」 ・ スピーカー 斉藤 太郎氏 Twitter：@taroleo / Github：@xerial Principal Software Engineer , Treasure Data 東京大学理学部情報科学科卒。情報理工学 Ph.D。データベース、大規模ゲノムデータ処理の研究に従事。その後、スタートアップであるTreasure Dataに加わり、アメリカ、シリコンバレーを拠点に活動中。日本データベース学会上林奨励賞受賞。OSSを中心にプログラミングやデータ処理を簡単にするためのプロダクトを作成している。 「30分でわかるデータ指向アプリケーションデザイン」最新の論文にも触れながら、分散データシステムの世界の魅力を伝えていきます。後半、@tagomoris https://t.co/TQ2TnsFIOT… — Taro L.
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
もし外資系企業の女子マネージャーが経営戦略部門の「データアナリスト」を務めたら｜次郎花｜note
社会学者はtwitterでどう語られるか？ - データをいろいろ見てみる
【詳報】森友学園 改ざん経緯説明の音声データ その内容は | 森友学園問題 | NHKニュース
Smoozユーザーデータの取り扱いに関する調査結果とお詫び – Smooz Blog
海外「日本よ、何故なんだw」 日本が世界的に特殊である事を示すNetflixのデータが話題に
オタクと気持ち悪いという言葉 - データをいろいろ見てみる
二分木 - Rustではじめるデータ構造とアルゴリズム（第1回）
OpenAIの共同設立者が「私たちは間違っていた」と語る、AIの危険性からデータをオープンにしない方針へと大転換
官房長官、首相発言は「具体的データない」 11月までに全国民接種 | 毎日新聞
新「nasne」の価格決定にデータサイエンス活用 従来は「勘、経験、度胸で決定」
リクナビ問題、トヨタも「内定辞退率」データ購入 - 日本経済新聞
ChatGPTで独自データを扱うためのエンべディング｜緒方 壽人 (Takram)
女性器3Dデータ、有罪確定へ 「ろくでなし子」に最高裁 ｜ 共同通信
「東京〜名古屋・大阪間で超大容量のデータを送信するならHDDを新幹線で持って行った方が早い」は本当か？計算してみる
菅新総裁、「デジタル庁」創設に意欲 各省庁に散らばるデータを統合、法改正も視野
36歳でFIREしたデータサイエンティストが、資産形成に役立てた3つのチャートを共有してくれた
Avast、セキュリティソフトで集めたユーザーデータを匿名化して企業に販売──米報道
ウクライナ政府＆銀行サイトがダウン。マシン数百台に仕込まれたデータ消去のマルウェアが発動
データサイエンスを学び、休職中でも年収1,000万超で転職 副業や転職前に知っておきたい、高評価のポイント
HDD故障率のメーカー・モデル別統計データ2019年版、故障率が最も高かったのは？
財務省改ざん訴訟 “ファイルはある”上司の音声データ提出へ | NHKニュース
論理プログラミング言語Logicaでデータサイエンス100本ノック
新型コロナ 国の感染者データ集約システム 入力が現場の負担に | NHKニュース
データ基盤による利益最大化と初期構築プロセス / 20220209
無料で地図データを分析できるソフトウェア「QGIS」とは？ダウンロード方法や基本の使い方を解説