Loading...
Loading...
REST, GraphQL, and gRPC are 3 popular forms client-server and server-to-server communication. Choosing can be difficult, so this concise guide can help. In each section, an example will be provided to illustrate retrieving a user. REST Notes HTTP paths describing data, e.g. /users as a collection of users Easily discoverable data, e.g. user ID 3 would be at /users/3. All of the CRUD (Create Read U
久しぶりにペラペラな思いつきを書き捨てて、寝ます。 2、3年前ぐらいにSIerやコンサルでTreasure Dataとか使ってマネージドDWH作ろうぜっていう風潮が流行って、今は運用フェーズに入ってどこも結構苦しんでるってのが僕のすごく狭い観測範囲での印象。 AWSのReadshiftしかり。 なぜ苦しんでるかっていうと、言うほどスケールしないからであり、言うほどマネージドじゃないから。 Treasure Dataは基本的に割当メモリが固定でオートスケールしないので、ピーク時に合わせて必要なメモリを確保しておかないといけない。そうなるとメモリ使用量とか負荷とかをモニタリングしないといけないわけだけど、Saasだから内部のアーキテクチャが隠蔽されていていちいちサポートに問い合わせないといけなかったりする。 Redshiftの場合はそもそも自前でクラスタ管理しなくちゃいけないのでそれが大変って
東京都の新規感染者数は現在も1日当たり5000人前後と非常に高い水準で推移していますが、SNSなどでは「ピークアウトが近いのでは?」という声が聞かれるようになってきました。 一方、東京都の専門家は「診断されていない感染者が多くいるのではないか」という懸念を示しています。 都内の感染者は本当に減ってきているのでしょうか?東京都の新規感染者の報告数は、実際の感染者数をどれくらい正しく反映しているのでしょうか? 東京都の感染者数の推移は「やや増加〜横ばい」に東京都における新規感染者数(東京都新型コロナウイルス感染症対策サイト) 東京都における新型コロナ新規感染者数は7月下旬から8月中旬までの急激な増加ペースと比べると、現在は緩やかな増加もしくは横ばいになってきました。 現在も非常に多くの感染者が発生していることには変わりありませんが、増加ペースだけを見れば良い兆候と言えます。 しかし、東京都の専
ちょっと昔まではデータ基盤の管理人・アーキテクト, 現在は思いっきりクラウドアーキを扱うコンサルタントになったマンです. 私自身の経験・スキル・このブログに書いているコンテンツの関係で, 「データ基盤って何を使って作ればいいの?」的なHow(もしくはWhere)の相談. 「Googleのビッグクエリーってやつがいいと聞いたけど何ができるの?」的な個別のサービスに対するご相談. 「ぶっちゃけおいくらかかりますか💸」というHow much?な話. 有り難くもこのようなお話をよくお受けしています. が, (仕事以外の営みにおける)個人としては毎度同じ話をするのはまあまあ疲れるので, データ基盤にありがちな「何を使って作ればよいか?」という問いに対する処方箋 というテーマで, クラウド上でデータ基盤を構築する際のサービスの選び方 (データ基盤に限らず)クラウド料金の基本的な考え方 をGoogle
新春ツール入れ替えシリーズです。macOS における Spotlight 的なランチャーツールとして Alfred を長いこと使ってきたが、最近 Raycast を使ってみてこれがよかったので、以来ずっと使い続けている。 Raycast - Supercharged productivity 開発者のための便利ツールという売り文句のようで、そういう点がまさに気に入った。 カレンダーの次の予定が表示される まずこれがいい。これだけで十分使える。ランチャーを起動したときにカレンダーの次の予定を表示してくれる。Enter でそのまま Meet や Zoom を開いてくれるのでキーボードから手を離す必要がない。 もともとカレンダーの確認には Dato を使っていたし今も使ってるが、これでミーティングへのアクセスがかなりよくなった。 コミュニティベースの Store で機能を追加できる https:
AWSはオープンソースとして開発されているコードエディタVisual Studio Codeの拡張機能として、これまでプレビュー公開されていた「AWS Toolkit for Visual Studio Code」が正式版になったことを発表しました。 AWS Toolkit for Visual Studio Codeと、AWS Command Line Interface(AWS CLI)やDockerなどを組み合わせることで、サーバレスコンピューティング環境であるAWS Lambdaのローカル環境でのステップ実行やブレークポイントの設定などのデバッグ操作などが可能になります。 そして開発したアプリケーションをAWSの任意のリージョンへのデプロイもVisual Studio Codeから手軽に行えるようになります。 AWS Lambdaのローカルデバッグが可能 AWS Toolkit f
IT系上場企業の平均給与を業種別にみてみた 2019年版[前編] ~ ネットベンチャー、ゲーム、メディア系 IT系企業で平均年収が高いのは、勢いのあるネットベンチャー系企業なのか、それとも伝統的なSIerなのでしょうか。毎年恒例の記事を今年も公開します。 上場企業は毎年「有価証券報告書」の発行を義務づけられており、そこには従業員の人数や平均年齢、平均年収などが掲載されています。この記事では、これら公開情報を基に、Publickeyが独自の判断で主な企業をピックアップして業種を分類。平均給与が高い順に並べてみたものです。 ただし、持ち株会社など現場の社員の給与を反映していないと思われる企業はこの調査からは外してあります(例えばコナミホールディングスなど)。日本で上場していない企業(例えば日本マイクロソフトやGoogle日本法人など)も当然ながら含まれていません。 本記事は前編として、ネットベ
はじめに 自身の転職活動にあたり皆さんの転職エントリが非常に参考になったので、私も同じ境遇の方の参考になればと思い、書き残すことにしました。(ただ、本当に私と似た境遇の方にはなかなかリーチしづらい気がしていますが・・・) TLDR; 30歳でIT未経験からMLエンジニアに転職 約2年半独学で勉強(ほとんどkaggleしてただけ) 無関係に思えた現職での経験もなんだかんだ転職で役に立った 目次 自己紹介 現職について 転職の理由 勉強したこと 転職活動 終わりに 1.自己紹介 かまろという名前でTwitterなりkaggleなりをやっています。kaggleでは画像やNLPといったdeep learning系のコンペを中心に取り組んでおり、2019年の9月に金メダルを獲得しMasterになることができました。 恐らくここが他の転職エントリを書かれている方々と大きく異なる点かと思うのですが、現職
anond:20230321094940 量的な概念をちゃんと認識しようぜ。 合計特殊出生率は、20年で30%以上低下してるが、夫婦の完結出生児数は、1割程度しか低下してないんだよ。 下がっていると行っても全然程度が違う。 では、合計特殊出生率と連動するように下がっている統計というと、婚姻率になる。これが概ね20ポイント以上低下している。 これと夫婦の完結出生次数が掛け算すると、ほぼ合計特殊出生率になる訳だ。 問題の解決に必要なコストは、100%に近づければ近づけるほど、指数関数的に増大する事が知られている。なので、パレート図というものを用いて、特に理想から乖離している差が大きいところ、影響が大きいところから重点的に対応する事が、よりよい問題解決に繋がるとされる。 今のところ、分析として影響が大きいのは 非婚化による婚姻率の低下(経済的理由が主)結婚年齢の高齢化による出産人数の低下経済的理
慶応大学病院が無症状の患者67人に新型コロナウイルスSARS-CoV-2のPCRを行い、4名が陽性であったと発表した。6%である。 これだとnが少ないのでシンプルな二項検定を行うと、95%信頼区間は 1.7%-14.6%となる。東京都民の1395万人に当てはめると 237,150人-2,036,700人となる。今朝(4月23日)見た、PCRで陽性になった感染者の累計が3,439人だから、実際の感染者はPCRで把握されている患者の69-592倍いる、ということになる(追記。これは観察期間が違うので不適切な分数でした、すみません。実際はもっと大きな数になります。慶応の検査実施期間が報道では分からなかったので適切な計算は今できませんが、要するに「分かってるよりずっとずっとたくさん」ということだ)。 PCRの感度は30-70%くらいと考えられるから、楽観的シナリオだと真の感染者は4/0.7=約6人
「データサイエンティストと名乗るのは厚かましいというか、自分はむしろ外れ値です」そう切り出した小野寺和樹さんは現在、DeNAのAI本部データサイエンス第一グループに所属している。 確かにデータサイエンティストには数学や物理学の修士や博士といった理系のバックグラウンドを有する人が多い中、小野寺さんは経済学部出身で数学の知識も「二次関数の頂点がわかるくらい」だという。 そんな小野寺さんだがKaggle Grandmaster(カグル グランドマスター)という称号を持っている。世界では163人、日本では10人程度しかいない(2019年11月現在)。 【補足説明】Kaggle(カグル)とは、データサイエンティストや機械学習エンジニアが集まる世界最大のコミュニティ。大きな特徴は、誰でも参加可能なコンペティションがあることだ。世界中の企業や研究機関などが提供したビッグデータと課題に対し、モデルの精度を
ゴッホの大規模データベース「Van Gogh Worldwide」が誕生。1000点以上の作品を掲載フィンセント・ファン・ゴッホの作品のみを集めた大規模なデータベース、「Van Gogh Worldwide」がローンチされた。ゴッホ美術館やクレラー=ミュラー美術館などが作品データを提供しており、現時点で1000点以上の作品を閲覧できる。 出典=Van Gogh Worldwideのウェブサイト(https://vangoghworldwide.org) あるようでなかったアーティスト・データベースが誕生した。フィンセント・ファン・ゴッホの作品のみに特化した「Van Gogh Worldwide」だ。 このデータベースは、世界最大のゴッホ・コレクションを誇るオランダのゴッホ美術館と、それに次ぐ規模のコレクションを有するクレラー=ミュラー美術館、そしてオランダ美術史研究所がタッグを組んでローン
都内の事業会社で分析やWebマーケティングの仕事をしています。大学・大学院では経済学を通じて統計解析を行うなどしておりました。企業に勤めてからは、機械学習やテキストマイニング、クローリング技術などに関心を持っています。 Twitterアカウント Mr_Sakaue( SKUE ) GitHub 読書メーター ほしいものリスト 仕事で、いろんな会社でデータサイエンスってどう使われているのですか?と聞かれることがあり、自分としてはなんとなくしか掴めていないな、知ったかぶりしたくないなと思うところがあったので、やや手厚くリサーチをしてみようと思いました。 2022/3/6の段階では11つの市場しかないですが、最終的には30市場を目指します。 【2021/11/27追記】 公開したところ、それなりにこの記事に関心を持ってくださった方が多かったようなので、少しずつ事例を埋めていこうと思います。 業界
毎年無限スクロールの実装をしているのだが正直なところ実装したくないので依頼されたときの反論材料として実装したくない理由を言語化しておこうと思う。 無限スクロールとは 無限スクロールが何を指すかを知らない人のために解説すると、ページにコンテンツを足す方式でページネーションする UI を指している。例えば Twitter のように下にどんどんコンテンツが伸びていく UI が良い例だろう。そのような UI を無限スクロールと呼ぶことが正式なのかは知らないが、このような体験の実現を支援するライブラリに infinite-scroll というものがあり、少しは普及している呼び方なのだと思い無限スクロールという言葉を使う。一方で WEB フロントエンド文脈で無限スクロールと言うと複雑 GUI やドローイングツール実装における "無限平面" のようなニュアンスもあるが、今は無限平面のことを指しているわけ
この度、「社会人のためのデータサイエンス入門」の開講に先立ち、「誰でも使える統計オープンデータ」を特別開講しております。 入門編と学習することで、統計の基礎やデータの見方・データの取得方法などを学べます。この機会にぜひ2講座併せてご受講ください。 ※「《特別開講》誰でも使える統計オープンデータ」は、修了証の発行はございません。 講座内容 今、ビジネスの現場では、統計的な思考力によって様々な課題を解決していく能力、すなわち"データサイエンス"力の高い人材が求められている。このようなことを踏まえ、本コースでは"データサイエンス"力の向上を目指し、事例なども踏まえ、データ分析の基本的な知識を学ぶ。 コースは4つの部分に分かれている。第1週では、社会でデータがどのように活用されているかについて、実際のデータを用いた分析事例を紹介する。第2週では、データを理解し、分析する際に必要な統計学の基礎につい
都内の事業会社で分析やWebマーケティングの仕事をしています。大学・大学院では経済学を通じて統計解析を行うなどしておりました。企業に勤めてからは、機械学習やテキストマイニング、クローリング技術などに関心を持っています。 Twitterアカウント Mr_Sakaue( SKUE ) GitHub 読書メーター ほしいものリスト テキストデータの特徴量化について 仕事ではテキストデータを多用するので、機械学習などで扱うためにテキストデータを特徴量にするためのアプローチを色々と整理してソースコードを残しておきたいと思います。今回はあくまでも私の知っているものだけなので、網羅性はないかもしれませんが悪しからず。 (2019/08/18 追記)Stackingをカジュアルに行えるvecstackというモジュールを用いた予測も試してみました。下の方の追記をご覧ください。 アプローチ テキストデータを特
この記事はエムスリー Advent Calendar 2022の30日目の記事です。 前日は id:kijuky による チームメンバーのGoogleカレンダーの休暇予定一覧をスプレッドシート+GASで作った でした。 AI・機械学習チームの北川(@kitagry)です。 今回はMySQLへのインサートを20倍以上高速化した話について書きます。 仕事をちゃんとしてるか見張る猫 TL; DR はじめに 今回のテーブル バイナリログを無効化する 追試 LOAD DATA INFILE 追試 テーブルの正規化 インデックスを一時的に剥がす まとめ We are hiring!! TL; DR バイナリログをオフにする LOAD DATA INFILEを使う インデックスを一時的に消す はじめに AI・機械学習チームではサイトトップからアプリに至るまで多くの推薦システムがあります。 そこでは推薦ロ
アカツキユウ🌙🥼📕 @akatsuki_yu 「フリーフォントまとめ」だと情報量が膨大過ぎて、何を使ったらいいのか分からないので、マンガ向けピックアップください! とフォロワッサンにお願いされたのでちょこっと書きます なお私のフリーフォントの最強まとめはこちらです、コリスさんの coliss.com/articles/freeb… 2020-07-09 12:34:28 リンク コリス 2024年用、日本語のフリーフォント699種類のまとめ -商用サイトだけでなく紙や同人誌などの利用も明記 個人でも商用でも無料利用できる、日本語のフリーフォント699種類を紹介します。 Webデザイン、アプリ、動画、紙のデザインをはじめ、クライアントのプロジェクトでも販売する同人誌まで、幅広く利用できる無 1314 users 1237
IT系上場企業の平均年収を業種別にみてみた 2021年版[前編] ~ ネットベンチャー、ゲーム、メディア系 IT系企業で平均年収が高いのは、勢いのあるネットベンチャー系企業なのか、それとも伝統的なSIerなのでしょうか。毎年恒例の記事を今年も公開します。 特に今年は、昨年春からの新型コロナウイルス感染拡大の影響を受けた企業の経営陣が、過去1年の業績を振り返り、今後の見通しを考え、それを従業員の給与へと反映しはじめる年となっているでしょう。今回の記事では新型コロナの給与への直接的な影響はまだあまり見られませんが、来年以降注視したいと思います。 ただし、今回の記事中で複数の企業が100万円以上というこれまでにない平均年収の上昇を見せました。今まで以上に給与の大胆な変化は起こり始めているのかもしれません(ただし正社員の給与はその法律的な位置付けにより、下方硬直性があることは避けられませんが)。
東京都の情報技術利活用への取り組みは都庁内に常勤で働いている情報技術系職員に加え高い専門性の人にフェローとして非常勤でサポートしてもらってます。 その一人の関フェローの嬉しいニュースが。 デブサミ2020夏のベストスピーカーが決定、1位はCode for Japan 関治之氏 日本で有数の伝統もあって大規模なエンジニアのイベントでの受賞。東京都の新型ウイルス感染症対策サイトは職員とシビックテックのコミュニティによって運営されていますがそのことにもプレゼンでは触れていただいています。 このプロジェクトを通じてシビックテックについて多くを彼やその仲間から学びました。全員の名前はとても書ききれないんだけどまさに私にとってのジェダイマスターたちです。せっかくなのでジェダイマスターたちから学んだことをこれを機会に書き留めておきます。行政でシビックテックやオープンデータの推進を検討してる人の参考になる
サイボウズ株式会社が主催する「Cybozu Days 2021」。その中で行われた、「kintone hive 2021」は、日々の業務でkintoneを活用しているユーザーが一堂に会し、業務改善プロジェクトの成功の秘訣を共有するライブイベントです。本記事では、創業120年を誇る老舗製薬会社・ロート製薬の柴田久也氏によるプレゼンテーションの模様をお届けします。営業部門が抱えていた課題と、それを乗り越えるためのkintone活用の工夫が語られました。 3つのフェーズで語る、kintone活用と定着までの取り組み 柴田久也氏(以下、柴田):みなさん、こんにちは。ロート製薬の柴田と申します。約40分間の講演にお付き合いいただけますと幸いです。 このセッションの概要です。大きく3フェーズに分けてお話しします。まず導入期では、なぜkintoneだったのか、そもそもなぜ検討しだしたのか、何が課題だった
Excelで誰でも簡単言語処理 (感情推定, 固有表現抽出, キーワード抽出, 文類似度推定 etc...)ExcelAPIVBA自然言語処理COTOHA 3行まとめ Excel関数一発で高度な言語処理を使えるようにしました 感情推定、固有表現抽出など日本語を分析・整理するのにいろいろ使えます Windows + Officeユーザならマクロファイルで誰でも簡単に使えます ※Macだと多分動かないと思います。VBAのHTTPリクエストを有効にできないため。。。 9/1追記: コメント頂きましたが、64bit版OfficeだとjsonParseが動かないようなのでアップデートしてみました。動作確認できていないので自己責任でお願いします https://github.com/korinzuz2/excelcotoha/blob/master/COTOHA公開用64bitExcel対応版.xls
「社内のアレ分からん、教えてAI」実現 Microsoftの“自社版ChatGPT作成サービス”にデータ取り込み機能 米Microsoftは6月19日(現地時間)、大規模言語モデル「GPT-3.5」などのAPIをクラウドサービス「Microsoft Azure」上で使える「Azure OpenAI Service」に、新機能「On Your Data」を追加した。ローカルやAzure上のストレージに保管するテキストファイルやPDF、PowerPointファイルを、GUIの操作でチャットAIに参照させられるという。まずはパブリックプレビュー版を提供する。 これにより、社内で分からないことがあったときに何でも質問できるAIチャットbotなどを作成しやすくなるという。 Microsoftが提案する活用例では、ユーザーの「サポートチケットはどうやって作る?」(How do I create a s
スマートニュースは7月1日、国会の過去20年分以上の議案データ約1万8000件を収集・整理し、オープンデータ化した国会議案のデータベースを、GitHubで無償公開(衆議院、参議院)した。GitHubを利用しない人向けに、閲覧用のWebページ(衆議院、参議院)も公開した。 国会で審議された法案や予算案、条約、決議案といった議案は、衆参両議院のWebサイトに掲載されている。提出者や審議された委員会、賛成・反対した政党(衆院のみ)などの情報も確認できるが、国会の回次ごと、また議案ごとにページが分かれているため、集計や検索、一覧が難しかった。 今回、同社の「メディア研究所」が、各議案のページに掲載されている情報を収集、整理し、CSVファイルとJSONファイル形式で公開。MITライセンスに準拠し、商用・非商用を問わずオープンデータとして誰でも無償で使えるようした。 主に報道機関や研究者に、選挙報道や
リーディングテック株式会社は『デート代実態調査』の結果を公表しました。 本調査では異性とデートをしたことがある全国の18歳以上の男女を対象として調査を行い、対象となった2,450人のうち49.0%にあたる1,200人から有効回答を得ました。 デート代の平均値は男性が6,805円、女性が2,612円 デート代は「男性が多めに払う」が多いものの、若い世代では「割り勘」も多い 女性は割り勘だと思っているが、男性は自分が多めに負担していると思っている可能性がある 年収が高いほどデート代も高い 未婚だとデート代が高い デート代の金額(平均値、中央値) デート代の平均値は男性が6,805円、女性が2,612円 1回のデートで回答者が支払う金額(以下「デート代」)は、男女全体の平均値が4,041円、中央値が3,000円となりました。 しかし男女で金額に大きく開きがあり、男性の平均値は6,805円で中央値
中2の娘の定期テストの結果を見る。 英語の最下位クラス(0〜29点/100点満点)にかなりの人数がたまっている。他の教科と比べても段違いだ。1学期・2学期・3学期とこの傾向は変わらない。 グラフにしてみた。 この学校だけ、英語の授業が悪いのだろうか? そういう可能性もある。 しかし、今年から中学校の英語が変わった、と前に記事で書いた。 kamiyakenkyujo.hatenablog.com そのエントリで紹介した、日経新聞2021年9月28日付の「受験考」欄記事「ついていけず悩む生徒」を一部引用する。 学校の授業の流れはまず英語の歌を歌い、英単語ビンゴをする。そしてチャット(2人1組で決まったフレーズを言い合うが、細かな発音指導などはしない)。さらに教科書本文の音声を聞き、簡単な和訳を教師が言う。これで授業終了。 教科書本文はおろか受動態や現在完了形といった文法の丁寧な解説はない。しか
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く