1000万件オーバーのレコードのデータをカジュアルに扱うための心構え - joker1007’s diary
自分が所属している会社のメンバーの教育用資料として、それなりの規模のデータを扱う時に前提として意識しておかなければいけないことをざっくりまとめたので、弊社特有の話は除外して公開用に整理してみました。 大規模データ処理、分散処理に慣れている人にとっては今更改めて言うことじゃないだろ、みたいな話ばかりだと思いますが、急激にデータスケールが増大してしまったりすると環境に開発者の意識が追い付かないこともあるかと思います。 そういったケースで参考にできるかもしれません。 弊社は基本的にAWSによって運用されているので、AWSを前提にした様なキーワードやサービス名が出てきます。後、句読点があったり無かったりしますが、ご容赦ください。 追記: 社内用の資料の編集なのでかなりハイコンテキストな内容だから誤解するかもしれませんが、これらはそもそもRDBの話ではありません。(関係無くは無いけど) 1000万オ
宮崎県の統計システムの公募がすごい。
宮崎県から出された公募が前代未聞な形で話題になっています。github にプロトタイプが公開されている他、技術的に「分かっている」人が書いた感が漂っており、多くの人の興味を引いています。 さらに、これを書いた職員は実は生え抜きの公務員で、独学でプログラミングを学んだとか・・・
人身事故が起きた全国130万件分の地点を日本地図に置き、あなたの近くに潜む危険な場所を可視化しました。各地の小さな交差点で交通事故が多発していることも明らかに。
小売業の特徴は、いわゆる｢ニッパチの法則｣（売り上げを支える売れ筋商品は全体の2割という法則）。いかにして売れ筋商品の在庫を把握し、将来の需要を予測して、欠品なく並べ続けるかは生命線だ。 一方、ダイソーの特徴は、取り扱う商品点数が非常に多いことだ。 大創産業情報システム部課長の丸本健二郎氏によると、ダイソーは全世界27カ国で5270店に展開し、新商品は毎月約800。｢均一価格｣は日本と同じだが、価格レンジは各国地域の物価に合わせている。 こういう状況では、｢人間の能力では在庫を把握するのは難しい｣という前提に立って、丸本氏が取り組んだのが、POSデータの統計的解析から個店ごとの需要予測をして欠品をなくす｢自動発注システム｣（2015年導入）だった。 着想後、いくつかの店舗で試験的に導入したところ、着実に欠品率が下がり、｢チャンスロス｣が解消された。
政府がマイナンバー（個人番号）カードを活用して2020年度に実施するポイント制度の概要が1日、分かった。10月の消費税増税対策で、一部自治体が独自発行する「自治体ポイント」の拡充を検討していたが、変更して全国共通にするのが柱。民間のスマートフォン決済事業者と幅広く連携し、利用者がスマホに入金すると、地域を問わず使えるポイントを国費で上乗せする。20年10月に始め、入金2万円に対して5千円分（25％）を提供する案が有力だ。 本人認証やポイント管理にマイナンバーカードのシステムを使う点は変わらず、利用はカード取得が条件だ。
息子が爆誕しました！ 「くらしとココロに、彩りを。」でお馴染みのLideaをご覧の皆さんこんにちは。 ライターのヨッピーです。 今日は皆さんにお知らせがあります。 実は……、 かわいいかわいい息子が爆誕してしまいました。本当にありがとうございます。 「お前に息子が誕生したことと、くらしとココロの彩り、何が関係あるの？」と聞かれれば「さあ？」としか答えられないのですが、息子氏が爆誕したことによって、酒をかっ食らってゲームをして寝るだけみたいな、荒れた日々を送ってきた僕ですら家事だの育児だのを頑張るようになってくらしに彩りが出てきました。 実は僕、子どもが生まれる前から、Twitterなんかで「育児、大変！」「子育ては地獄や！」みたいな意見がたくさん流れてくるのを見ていたので、子どもが生まれることに対してかなりビビっており、爆誕前から育児本を読み、時短家電を買いあさり、義両親の手を借りるため義
【シリコンバレー=奥平和行】米グーグルがインターネットの閲覧履歴などを保存する「クッキー」の利用制限に向けた取り組みを加速する。広告主と協力し、代替技術の試験的な運用を4月に始める方針だ。消費者のプライバシーに対する意識が高まるなか、ネット広告の効率維持との両立を目指す。プライバシーなどを担当するグループプロダクトマネジャーのチェトナ・ビンドラ氏が25日、ブログを通じて代替技術の開発状況につい
全くのゼロから「駆け出しデータサイエンティスト」を育てる方法論 - 渋谷駅前で働くデータサイエンティストのブログ
(Image by Pixabay) 「データサイエンティスト」の第一次ブーム勃興から6年余り、人工知能ブームに便乗した第二次ブームで人口に膾炙してから3年余り、気が付いたら何やかんや言われながらもデータサイエンティスト及びその類似職が、じわじわと日本国内の産業各分野・企業各社に広まりつつあるように僕の目には映ります。 そういう背景がある中で、ここ1年ぐらいの間にそこかしこで目立つようになってきたのが「ゼロからデータサイエンティストを育てたいのだがどうしたら良いか」という相談や議論。割とあるあるなのが「取引先がデータサイエンティストを採用して商談の席に同席させるようになって、彼らがデータサイエンスの知識を駆使してビシバシ突っ込んでくるのだが、こちらにデータサイエンティストがいないので対応できない」みたいなお話。これは実はUSでも同様だと聞くので*1、案外洋の東西を問わない課題なのかもしれま
近年のデータ分析基盤構築における失敗はBigQueryを採用しなかったことに全て起因している - データエンジニアの酩酊日記
久しぶりにペラペラな思いつきを書き捨てて、寝ます。 2、3年前ぐらいにSIerやコンサルでTreasure Dataとか使ってマネージドDWH作ろうぜっていう風潮が流行って、今は運用フェーズに入ってどこも結構苦しんでるってのが僕のすごく狭い観測範囲での印象。 AWSのReadshiftしかり。 なぜ苦しんでるかっていうと、言うほどスケールしないからであり、言うほどマネージドじゃないから。 Treasure Dataは基本的に割当メモリが固定でオートスケールしないので、ピーク時に合わせて必要なメモリを確保しておかないといけない。そうなるとメモリ使用量とか負荷とかをモニタリングしないといけないわけだけど、Saasだから内部のアーキテクチャが隠蔽されていていちいちサポートに問い合わせないといけなかったりする。 Redshiftの場合はそもそも自前でクラスタ管理しなくちゃいけないのでそれが大変って
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
ピーター・ティールが立ち上げた謎のデータ分析企業「パランティア」の実態に迫る | 「これまでに数件のテロを未然に防いだ」
「西側諸国を支援するために立ち上げた」 2019年秋のある晴れた火曜日の午後、パリのリュクサンブール公園でアレックス・カープ（53）が太極拳をしていた。青のナイキのスウェットパンツに、青のポロシャツ。靴下はオレンジで、スニーカーはチャコールグレー。赤のアクセントが入った白縁のサングラスが、彼の最大の特徴である天に向かって逆立つゴマ塩の髪を引き立てていた。 栗の木の木陰でカープは太極拳と気功の一連の優雅な動きをする。体をひねったり、向きを変えたりするたびに足元の小石や土がわずかに動いた。その姿を、近くにいた10代の若者たちが面白そうに眺める。 10分ほど、そうやって体を動かした後、カープは近くのベンチに行った。そのベンチにはボディーガードの一人が置いた楽器ケースのようなクーラーボックスがある。 ケースにはカープが愛飲するドイツのノンアルコールビールの瓶も数本入っているが、いま中から取り出した
「運賃4割引き」「グリーン車無料」JR東日本が銀行参入で“豪華特典” 専門家「太っ腹だが…いつまで特典続くか」｜FNNプライムオンライン
9日、JR東日本が参入したのは銀行。新たにスタートしたインターネット銀行サービス「JRE BANK」が、豪華な特典を得られると話題を呼んでいる。 特典１「片道料金４割引き」 「JRE BANK」の注目の特典の1つ目は、50万円以上預金するなどの条件を満たせば、JR東日本の路線内で「片道料金が4割引」となるというもの。 この記事の画像（16枚） 例えば、東京駅から新青森駅まで新幹線で旅行した場合、指定席の片道運賃は一人約1万7500円。これが4割引きとなると、運賃は約1万500円と、約7000円の割引となる。 この割引について街の人からは、「かなり（割引が）大きい！」「ねぶた祭とか見てみたい」「“ちりつも”で、いつか年に1回の旅行とか使うチャンスがあれば使いたい」といった声が聞かれた。 特典2「グリーン車無料」 特典の2つ目は、「グリーン車の無料」だ。 こちらも預金残高が50万円以上あるのが
11日までの3連休の人出について、2回目の緊急事態宣言が出ている1都3県の各地で分析したところ、いずれも先月の土日・祝日より減少したものの、去年の1回目の宣言時を大幅に上回ったことがビッグデータの分析から分かりました。 NHKは、IT関連企業の「Agoop」が利用者の許可を得て個人が特定されない形で集めた携帯電話の位置情報のデータを使って、1都3県の主要な駅周辺や繁華街の3連休中の人の数を分析しました。 分析した時間は ▽駅周辺が日中時間帯の午前6時から午後6時 ▽繁華街は夜間帯の午後6時から翌午前0時です。 主要駅周辺の人出 その結果、主要な駅周辺の人出は、いずれも先月の土日・祝日の平均より5％から40％近く減少していたものの、去年の緊急事態宣言時の土日・祝日の平均と比べると2倍以上に増えていました。 このうち東京駅は、先月と比べて38％減少しましたが、去年の宣言時と比べるとおよそ2.4
Google アカウントのストレージポリシー変更について
Gmail、Google ドライブ、Google フォトは、世界の数十億人のメール、ドキュメント、写真、動画などを安全に保存して管理するお手伝いをしています。そして今、かつてないほど多くのコンテンツがアップロードされており、Gmail、ドライブ、Google フォト全体で、1 日 にアップロードされるデータの容量は 430 万 GB 以上にのぼります。 今後増え続ける需要に対応し優れたストレージの利用体験を継続して提供するためストレージポリシーの変更を行います。本変更は、Google フォトと Google ドライブ（Google ドキュメント、スプレッドシート、スライド、図形描画、フォーム、Jamboard ファイル）に適用されます。さらに 2 年以上使用されていないアカウント 及び、2 年以上ストレージ制限を超えた状態が続いているファイルについても、新しいポリシーを本日公開します。これ
As global communities responded to COVID-19, we heard from public health officials that the same type of aggregated, anonymized insights we use in products such as Google Maps would be helpful as they made critical decisions to combat COVID-19. These Community Mobility Reports aimed to provide insights into what changed in response to policies aimed at combating COVID-19. The reports charted movem
最初にBigQueryとSnowflakeの概要と、登場の背景を説明します。 その後、ユーザにとっての使い勝手と、管理者にとっての使い勝手を、ベンダーフリーな立場でそれぞれします。 最後に、BigQueryとSnowflakeどっちが速いのか？といった疑問に対して、アーキテクチャをもとに考察します。
リクナビ問題、なぜ「脱法」サービスが生まれたのか
新卒採用に応募した学生1人ひとりの選考離脱率や内定辞退率の予測スコアなどを契約企業へ提供していたことが発覚した就職情報サイト「リクナビ」。この問題に関して、運営会社のリクルートキャリアは2019年8月22日、学生会員向けにおわびのメールを配信した。 リクナビは毎年会員を更新しており、2019年3月から運用しているのは「リクナビ2020」、前年は「リクナビ2019」だ。スコア算出の対象者である7万4878人の大部分はリクナビ2020の会員だが、リクナビ2019の会員が1万2330人いる。 ところがおわびメールを送った相手はリクナビ2020の会員のみで、リクナビ2019の会員には送っていないという。学生がスコア算出の対象者に自分が含まれるかどうかを調べる特設サイトも、リクナビ2019会員は対象外である。 同年8月26日にリクルートキャリアが開いた記者説明会で、同社の小林大三社長は「問題の根本は
ビッグデータの外部提供が広がる | NHKニュース
ＩＴ大手のヤフーは、インターネットで検索されたことばなど、大量のビッグデータを外部に販売する新たなビジネスを始めました。個人は識別できないということで、商品開発などに向けてビッグデータの活用が広がりそうです。 専用のウェブサイトで調べたいキーワードを入力するとそのことばを検索している人の性別や年代ごとの動向や、一緒に検索されたほかのことばなどが分かり、商品開発や価格設定といったさまざまな活用方法があるとしています。 記者会見したヤフーの川邊健太郎社長は「個人情報の保護を第１とし、より使いやすいもの、効果があるものにアップデートを繰り返し、事業の柱にしていきたい」と話していました。 ビッグデータをめぐってはＮＴＴドコモが携帯電話の基地局の情報をもとにどの地域にどのくらいの人がいるかを示すデータを有料で提供しているほか、楽天もネット通販の購買情報を分析したビジネスを展開するなど、活用が広がって
Big Data is Dead
For more than a decade now, the fact that people have a hard time gaining actionable insights from their data has been blamed on its size. “Your data is too big for your puny systems,” was the diagnosis, and the cure was to buy some new fancy technology that can handle massive scale. Of course, after the Big Data task force purchased all new tooling and migrated from Legacy systems, people found t
両社が開発する新技術は、スマホの近距離無線通信規格「ブルートゥース」を活用。周辺のスマホを一定の間隔で検知し、互いの識別情報を端末内に保存する。新型コロナの感染者が見つかった場合、本人の同意を得られれば、過去14日間に蓄積した近隣のスマホの識別情報がクラウド上のシステムに送られ、濃厚接触の可能性がある人々に通知が届く仕組みだ。 まず5月までに世界各国の公衆衛生当局が開発するアプリ向けに、アップルの「iOS」とグーグルの「アンドロイド」の2つの基本ソフト（OS）間で相互運用が可能な検出・追跡機能の提供を始める。さらに数カ月をかけて、両社のOSそのものに検出・追跡機能を組み込む。 両社は「プライバシーや透明性、同意は何よりも重要だ」としている。新技術は利用者による事前の同意を前提にデータを収集する。全地球測位システム（GPS）などの位置情報は収集せず、スマホの識別情報を匿名化した上で一定間隔で
トヨタ自動車は5月12日、同社のテレマティクスサービスに契約したユーザーのうち、215万人分の車両の位置情報・時刻が外部から閲覧された可能性があると発表した。 データ管理を委託した子会社・トヨタコネクテッドがクラウド環境を誤って設定し、約10年間にわたり、データが公開状態になっていたという。 また、トヨタコネクテッドは同日、法人向けサービスで収集した、ドライブレコーダーで車外を撮影した映像も閲覧された可能性があると発表した。 対象は、2012年1月2日から2023年4月17日に、トヨタのテレマティクスサービス「T-Connect」「G-Link」「G-Link Lite」「G-BOOK」を契約したユーザー約215万人分の、ナビごとの識別番号（車載端末ID）、車両1台ずつに割り当てられた識別番号（車台番号）、車両の位置情報、時刻。2013年11月6日から2023年4月17日の約10年間にわた
日本の政府系のオープンデータで一番有名なのが「e-Stat」である。統計学やデータサイエンスに携わるもの／学ぶものであれば、名前は聞いたことがあるだろう。かつては各省庁がバラバラに管理＆公開していた公的データを、一カ所に集めて誰でも簡単に利用できるようにしたサイトである（2008年から運用が開始され、2018年にリニューアルされた）。 統計分野は多岐にわたり、「国土・気象」「人口・世帯」「労働・賃金」「農林水産業」「鉱工業」「商業・サービス業」「企業・家計・経済」「住宅・土地・建設」「エネルギー・水」「運輸・観光」「情報通信・科学技術」「教育・文化・スポーツ・生活」「行財政」「司法・安全・環境」「社会保障・衛生」「国際」「その他」という17分野が提供されている。データセットは、条件指定によるフィルタリングやグラフ化が行える。例えば人口ピラミッドのグラフも簡単に作成できる。 また、もちろん無
【読売新聞】 カルチュア・コンビニエンス・クラブ（ＣＣＣ）が、Ｔカード利用者の個人データ販売を本格化させる。使われるのは、全国５３００の提携企業から集めた私たちの利用履歴だ。ＣＣＣ側は「規約で説明し、利用者の同意は得ている」というが
DuckDuckGo on Twitter: "After months of stalling, Google finally revealed how much personal data they collect in Chrome and the Google app.… https://t.co/QyruuVo1cO"
After months of stalling, Google finally revealed how much personal data they collect in Chrome and the Google app.… https://t.co/QyruuVo1cO
ユーザーの行動や消費を“格付け”「Yahoo!スコア」の作成・利用を拒否する方法（藤代裕之） - エキスパート - Yahoo!ニュース
ヤフーは6月3日、オークションやショッピングでの取り引き実績やカード利用金額のデータを算出した信用スコア「Yahoo!スコア」を7月から企業向けに提供すると発表しました。「Yahoo!スコア」の利用を希望する人はそのままでいいのですが、希望しない場合は、ログインして自分で「オフ」手続きをしない限り、スコアが作成・利用される設定になっているので注意が必要です。 ヤフー、ユーザーの“格付け”「Yahoo!スコア」を企業向けに提供開始へ（ねとらぼ）現状、自分のスコアは確認できない「Yahoo!スコア」がどのようなデータを利用しているかヘルプセンターで確認できます。「本人確認」「信用行動」「消費行動」「Yahoo! JAPANサービス利用」4カテゴリーのデータを利用しているとのこと。報道によると、スコアは900点満点ということですが、今のところ自分ではスコアを確認することはできません。 https
by ライブドアニュース編集部 ざっくり言うと ヤフー検索のビッグデータ解析で、日本人の一面が垣間見えるという 時間単位で見ると、朝から夜にかけてはポジティブな思考を持つ人が多い しかし夜更けにつれて様子が変になり、朝4時には「死ね」という投稿が1位に 提供社の都合により、削除されました。 概要のみ掲載しております。 関連ニュース ランキング 総合 国内 政治 海外 経済 IT スポーツ 芸能 女子
大規模データ活用向けストレージレイヤソフトのこれまでとこれから（NTTデータ テクノロジーカンファレンス 2019 講演資料、2019/0…
大規模データ活用向けストレージレイヤソフトのこれまでとこれから（NTTデータ テクノロジーカンファレンス 2019 講演資料、2019/09/05）
4月27日から6月30日に開催されたデータサイエンスコンペティション「AIエッジコンテスト（外部サイト）」で、JR西日本の若手社員二人が優勝を勝ち取った。JR西日本は、2017年から本格的にデータサイエンスの取り組みを開始。2020年には「データソリューション室」を設立し、データ分析やAIを用いた業務変革を進めている。 なぜ、JR西日本は優勝できたのか？優勝を勝ち取ったJR西日本データソリューション室の松田篤史さん、兒玉庸平さんのお二人に話を聞いた。 元新幹線の運転士、駅機械設備のエンジニアだった二人兒玉さんと松田さんは、ともに事業部の出身だ。 兒玉さんが新卒で最初に配属された先は、総合車両所という車両検査を行う部署。その後、山陽・北陸新幹線の運転士を務めた後、指令所と呼ばれる、新幹線の運行管理を行う部署に異動した。
about / おすすめタグページ / ネットワークを可視化したい / データ活用 / ssig33 / 世帯収入:_平均以上 / utgwkk / 奨学金 / mizdra / 日産 / 言語:_日本語、他_1_件 / karia / 犬 / 社員数:_大規模雇用者（従業員数:_250～10,000_人） / OKINAWA_CELLULAR_TELEPHONE_COMPANY / 学歴: 学士
Google Cloudサービスが提供しているBigQuery監査ログの活用方法。 実際に弊社で利用しているクエリも併せて紹介します。
32億人に美しい居住環境を提供したい Ritesh Agarwal氏：ありがとうございます、孫さん。ここに来られて本当に光栄でございます。私にとってすばらしい機会です。SoftBank Worldはもう、世界でも最先端の会議で、まさに水晶の玉を眺めているようです。こんな機会はなかなかありません。 私個人としても、今、この会場で歴史がつくられていると感じています。そして今、世界中で起こっている革命のど真ん中にいることをうれしく思っています。 私が会社を創設をしたのは5〜6年前です。そのとき、ある目的を持っていました。孫さんが以前プレゼンしていましたが、馬車をより良いものに改良するだけではなくて、基本的な変革をする。つまり、自動車を作るという発想の展開です。 そのような発想の転換・変革を、32億人を超える人々に提供し、美しくすばらしい居住空間を提供できないか。つまり、銀座やニューヨークのアッパ
あおり運転や高齢者による事故などを受けて、運転中のクルマ前方の様子などを録画するドライブレコーダーに注目が集まっている。7割の運転者が「あおり運転対策として有効」と考えつつも、2万～3万円という価格がネックになって導入率は3割にとどまっている。そんな「ドラレコためらい組」に朗報となりそうな、スマートフォンがドラレコになるアプリが登場した。 AI（人工知能）ベンチャーのニューラルポケット（東京・千代田）が12月5日、AIを搭載した無料のドラレコアプリ「スマートくん」をリリースした。使い方は簡単。アプリをダウンロードしたスマホを、運転席に設置した市販のスタンドで固定し、カメラを車両前方に向けるだけだ。 無料ながら機能は豊富だ。運転中の動画を撮影・保存するだけでなく、AIが前方車両や信号機、人の動きを分析して、車間距離が狭い場合などに警告してくれる。さらに前方車両の急発進や急ブレーキ、急ハンドル
ビッグデータなどで活用される匿名化された大量のデータの安全性に疑問を投げかける研究結果が、海外で発表された。プライバシー保護のために匿名化されていても、複数の断片的な情報を手がかりに高い確率で個人が特定されるというのだ。 研究結果は英国とベルギーの研究チームが先月下旬、英科学誌ネイチャー・コミュニケーションズに発表した。 ビッグデータはマーケティングなど幅広い分野で活用されつつあり、企業など第三者に提供・販売されている。その元となる個々のデータは、提供前に氏名、住所などを削除し、クレジットカードの購買履歴、鉄道の乗降履歴などから個人の特定につながる部分はあいまいにするなど、匿名化が行われる。 しかし、現在の各国・地域の…
秘伝のredash v1.0.3 から redash v8.0.0 on ECSになるまで - KAYAC engineers' blog
この記事はTech KAYAC Advent Calendar 2019 Update/MigrationTrack 3日目の記事です。 昨年のAdvent Calendarで闇のredash の記事を書いていたゲームコミュニティ(Lobi)事業部の自称データエンジニアの池田です。今回も、redashについて記事を書いていきたいと思います。 redashは様々な種類のデータソースにアクセスできる、OSSの素晴らしいダッシュボードツールです。 2017-01-31にv1.0.0-rc.1のリリースされて以来開発が続けられており、この前の2019-10-27にv8.0.0 がリリースされました。 今後もビジネスインテリジェンスの現場でのダッシュボードツールの選択肢として利用され続けることでしょう。 ゲームコミュニティ事業部でのRedashの課題 私の所属するゲームコミュニティ事業部でも、以前本
【祝】スーパー玉出がPayPayに対応したのでスーパー玉出ダッシュボードを改修しました #Alteryx #Tableau | DevelopersIO
こんちは。DA事業本部@大阪オフィスの玉井です。 みなさん、ついにスーパー玉出（の一部店舗）がPayPayでの支払いに対応しました。というわけで、以前作成したスーパー玉出ダッシュボードに「PayPayが使えるかどうか」のフラグデータを追加したので、その作業経緯をここに記します。 スーパー玉出ダッシュボードについて スーパー玉出のPayPay対応について きっかけは弊社大阪オフィスのSlackチャネル。 なぜ玉出の情報が会社のSlackで共有されるのかはよくわかりませんが、そのニュースを見た私は2秒で玉出のHPにアクセスしました。そして店舗情報を見ると… 対応してた。 しかし、まだ対応しているのは一部の店舗のみ。これは対応している店舗としていない店舗がひと目でわかるように、以前作成したスーパー玉出ダッシュボードにデータを追加しないと大変なことになるのは火を見るより明らかでした。 PayPay
300ヶ国語に対応！自然言語処理AIから自動運転AIまで あらゆるAI学習データを収集・作成できるプラットフォーム「Lionbridge AI」が正式ローンチ：時事ドットコム
300ヶ国語に対応！自然言語処理AIから自動運転AIまで あらゆるAI学習データを収集・作成できるプラットフォーム「Lionbridge AI」が正式ローンチ ［ライオンブリッジジャパン株式会社］ グローバル企業向けに優れた翻訳・ローカリゼーション・AI学習データサービスを提供するライオンブリッジジャパン株式会社の本社Lionbridge Technologies, Inc.（本社所在地: マサチューセッツ州、CEO: ジョン・フェネリー、以下Lionbridge）は、2019年6月4日に、AI学習データの収集・作成プラットフォーム「Lionbridge AI」を正式にローンチしたことをお知らせいたします。 ■Lionbridge AI開発背景 Lionbridgeは今まで、世界中の企業のプラットフォーム上で、検索関連性の評価や、位置情報取得の検証を向上させるためにデータの収集やクリーニン
DS.INSIGHT - ヤフー・データソリューション
DS.INSIGHTは、顕在化されづらい消費者の気持ちをお手元で探索・分析できるデスクリサーチツールです。 Yahoo! JAPANの月間5,600万人のユーザー*からお預かりしたデータを統計化し、 どなたでも直感的に使いやすいインターフェースで、企画立案や意思決定などに データをお役立ていただけます。
「Redash v8.0.0」で気になった新機能と機能改善 - kakakakakku blog
2019年10月末に Redash の最新バージョン「Redash v8.0.0」がリリースされた．Change Log を読むと機能改善が多くあり，今回は「個人的に気になった Redash v8 新機能と機能改善」を「計10点」紹介しようと思う．Change Log は以下の CHANGELOG.md で確認できる． redash/CHANGELOG.md at master · getredash/redash · GitHub 目次 ドロップダウンで複数値を選択できるようになった クエリ名を日本語で正しく検索できるようになった ダッシュボードがグリッド表示になった データソース追加／削除 データソース設定画面の UI 改善 クエリ画面にデータソースのアイコンが表示されるようになった カスタムアラート機能 Query API Key を作り直せるようになった アラート送信先から Hip
Googleが患者に無断で医療記録を収集していたと報告される
By stevanovicigor Googleは「プロジェクト・ナイチンゲール」というコード名で呼ばれるプロジェクトの下、アメリカの21の州で何百万もの患者記録を収集していたと報告されています。この大規模な医療記録の収集プロジェクトについて、医師や患者への通知はなかったと報じられています。 Google’s alleged ‘Project Nightingale’ may be secretly gathering health records - The Verge https://www.theverge.com/2019/11/11/20959771/google-health-records-project-nightingale-privacy-ascension Wall Street Journalのロブ・コープランド氏は、プロジェクト・ナイチンゲールによって収集されたデ
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
全国130万件の交通事故マップ-みえない交差点-プレミアムA：朝日新聞デジタル
ダイソー快進撃を支える｢毎晩105億件データ処理｣する需要予測システムはどう生まれたか
政府、全国共通の新ポイント発行 マイナンバーカードを活用 ｜ 共同通信
17万人の育児データから、赤ちゃんの特長や個人差について調査してみた | Lidea(リディア) by LION
Google、脱「クッキー」加速 4月から広告主と試験運用 - 日本経済新聞
GitHub - The-Japan-DataScientist-Society/100knocks-preprocess: データサイエンス100本ノック（構造化データ加工編）
給料の大半が家賃に消えてしまう…日本の住宅政策は大丈夫か？ 藤田孝典さん持論 - 弁護士ドットコムニュース
3連休 1都3県の人出 前回の緊急事態宣言時を大幅に上回る | NHKニュース
COVID-19 Community Mobility Report
BigQuery と Snowflake を徹底比較
コロナ濃厚接触をスマホで通知 AppleとGoogle - 日本経済新聞
トヨタ「215万人分のクルマの位置情報、漏えいの可能性」公表 クラウド環境誤設定、約10年にわたり
機械学習／データサイエンスに活用できる「政府系」オープンデータセット3選
Ｔカード会社、４千万人分の顧客データを販売へ…「同意」は有効か
データに見る日本人の一面 朝4時のTwitter投稿は「死ね」が1位 - ライブドアニュース
社内でAI人材を発掘するJR西日本、物体認識コンペ優勝の裏側 | Ledge.ai
Googleの広告設定を共有してメンバー間でつながるプロジェクト
BigQueryの監査ログは役に立つ | PLAID engineer blog
【全文3】孫正義氏も驚いた、あと3ヶ月で世界最大のホテル王になる25歳の青年ーーソフトバンクワールド2019 基調講演
スマホがドラレコになるアプリ登場、無料の狙いは撮影データ
ビッグデータ、匿名化でも高確率で個人特定 海外で指摘：朝日新聞デジタル
www.gizmodo.jp
emiriox.hatenablog.com
konomi.st.coresv.net
www.mukubeni.com
anigala-rew.jp
omocoro.jp