こんにちは！ プロダクトマネージャーの竹村（@juntakemura_pdm）です。 早いもので前回のブログから1年以上が経ちました。 今回が2回目のブログです。 さて、前回のブログではMVPについて書かせていただきました。 lab.astamuse.co.jp その中で、「MVPであれど必要な質をないがしろにしない。」ということを重要なポイントとして挙げておりました。 今回はそれに関連し、これまで私が色々な施策を企画する中で蓄積してきた 「プロダクト施策立案のチェックリスト」 を紹介させていただきます。 このチェックリストは、 「プロダクトの施策立案を行う際、その施策の精度を高めアウトカムの期待値を上げること」 を目的として作成しました。 普段私が施策を立案する際は、このチェックリストを元に一人壁打ちを行ったり、各項目を元にして論点を定め、企画のブラッシュアップを行っています。 施策立案

開発部のにゃんです。主にバックエンドを弄っております。 Webアプリケーションではセキュリティ対策のためにランダムな文字列を使用する場面が多々あります。例えば CSRF対策のトークン OAuthやOpenID Connectで使用するnonce, state, code_verifier メールの到達確認用URLのトークン パスワードをhashする際に使用するsalt セッションID これらの値は単に衝突しなければOKというものではありません。十分なセキュリティ強度を確保するためには推測不可能なランダム値を使う必要があります。 以下は推測不可能なランダム値ではありません。セキュリティが求められる場面では使ってはいけません。 Math.randomなどの疑似乱数 日付やユーザ情報のハッシュ ではどのような値が適切なのでしょうか？ /dev/randomと/dev/urandom Linuxに

JX通信社シニア・エンジニアで, プロダクトチームのデータ活用とデータサイエンスのあれこれ頑張ってるマン, @shinyorke（しんよーく）です. 最近ハマってるかつ毎朝の日課は「リングフィットアドベンチャー*1で汗を流してからの朝食」です. 35日連続続いています. 話は遡ること今年の7月末になりますが, JX通信社のデータ基盤の紹介&「ETLとかバッチってどのFW/ライブラリ使えばいいのさ🤔」というクエスチョンに応えるため, このようなエントリーを公開しました. tech.jxpress.net このエントリー, 多くの方から反響をいただき執筆してよかったです, 読んでくださった方ありがとうございます！ まだお読みでない方はこのエントリーを読み進める前に流して読んでもらえると良いかも知れません. 上記のエントリーの最後で, 次はprefect編で会いましょう. という挨拶で締めさせ

言語処理100本ノック 2020 (Rev 2) 言語処理100本ノックは，実用的でワクワクするような課題に取り組みながら，プログラミング，データ分析，研究のスキルを楽しく習得することを目指した問題集です． 詳細 ツイート

2020/02/13 DevSumi 発表資料

大家好！イマチュウのばやし（@muraba1)です 今日は中国語学習に強力な力を発揮するサイトの紹介です これなら中国語を独学で学習できる 今までいろんな中国語学習サイトやアプリがありましたが、個人的にはダントツでこれがおすすめです 中国政府の教育局との協業サイトとのことでちょっと使えばその力の入れようが分かります 全球中文学習平台 このサイトは普通語を学習者向けのサイトで、地方出身者や外国人が普通語をマスターするためのあらゆるコースがあります。 とにかく完成度が高く、楽しく学習できるように工夫されていますので一度見てみてください。 なかでも日本人が中国語学習に使えるのは主に以下の3つです 1．段階式中国語講座（全43コース） クイズ形式ですすむ中国語レッスン 難易度は初級~中級程度ですが、発音やリスニングもあります。 2．中国語ケーススタディー　1000シーン 生活、学習、旅行に分けてケ

2020年1月30日、Google 合同会社は渋谷ストリーム内の新社屋において「買い物行動を刺激する情報探索とは」と題し、昨年行った調査の結果を発表した。 インターネット・SNSが私たちの生活に身近な存在となっている今、人々が従来とは異なる購買行動を取っていることは容易に想像がつく。しかし、実際に人はどのような行動を取り、情報に触れ、購買に至っているのだろうか。本記事では、その調査結果について紹介する。 パルス消費の時代 まずは、「パルス消費」という言葉について理解しておく必要がある。”パルス”とは、瞬間的に流れる電波や電流のこと。現代人は、時間や場所の制限なくいつでも購買行動を取ることから、Googleはその行動を「パルス消費」と名付けた。 人は”一瞬にして”買いたいと思う商品を発見し、そのまま購入に至るケースも多いという。言い換えれば”24時間365日、買いたいタイミング”ということだ

これは、Open and Reproducible Science Advent Calendar 2019：13日目の記事です。 記事の目的 統計解析といえばRです。 しかし私のようにPythonだけでなんでもやりたい人もいます。 そんな人に向けて、Pythonで統計解析を行う上で便利なライブラリやテクニックをご紹介します。 同じテーマの記事や書籍も多々ありますが、他ではあまり紹介されていないものを中心にまとめるつもりです。 各ライブラリ・テクニックの詳細についてはなるべく別記事を紹介する方針です。 対象：Pythonを使ったことはあるけれどガチではない人 Jupyter Notebook / Lab 様々な記事で紹介されているド定番ですが、一応ご紹介します。 なぜ私たちはSPSSのようなGUIベースでなく、PythonやRのようなプログラムベースの統計ソフトを使うのか。 それは高価だか

こんにちは、あんどう（@t_andou）です。 最近、自然言語処理のAIの一種であるBERTをよく触っています。 今回はBERTのソースを読まなくてもサクッと試せる環境を用意しましたので、メモとして残しておきます。 BERTとはどういうものか 画像引用：https://arxiv.org/pdf/1810.04805.pdf 凄くざっくりと説明すると、BERTとは2018年末にGoogleの人たちが開発した自然言語処理において汎用的に使えて精度の良いAIです。 自然言語処理において精度を測るためにいくつかのタスクがあるのですが、発表された時点ではダントツの成績でした。 仕組みなどの詳細については論文を読むか解説記事をググってください。 2019/09/22時点で既により精度の良い手法がどんどん発表されていますが、BERTの情報量と比べるとまだ少ないため、入門としてはBERTを触ってみるのが

NTT Tech Conference 2022 での「Dockerからcontainerdへの移行」の発表資料です https://ntt-techconf.connpass.com/event/241061/ 訂正： P2. . 誤: ``` Ship docker run -it --rm alpine Run docker push ghcr.io/ktock/myalpine:latest ``` 正: ``` Ship docker push ghcr.io/ktock/myalpine:latest Run docker run -it --rm alpine ```

TL;DR アウトオブコア、かつマルチコアでデータ処理を行えるVaexの紹介です。 string関係のメソッドで平均して100倍以上の高速化が確認できました。(作者のベンチマークだと最大1000倍) 文字列処理以外でも数倍~数十倍の高速化が行えそうです。 この記事では性能の比較のみ行い、解説記事は別で書こうと思います。 pandasより1000倍早いフレームワーク？ 今週、興味深い記事を読みました。重要な部分だけ抜き出すと次のような内容です。 Vaexの最近のアップデートでの文字列処理が超早くなった 32コアだとpandasと比べて1000倍早い towardsdatascience.com 1000倍って本当なの？って感じですよね。そもそも自分はVaex自体を知らなかったので調べてみました。 ちなみに調べていて気づいたのですが、この記事の著者はVaexの作者なんですよね。 疑っているわけ

どうもお久しぶりです、元バンドマンの新米エンジニアgucciです。 最初のブログ投稿からはや4ヶ月も経ってしまいました。 さらに振り返ると、ちょうど1年ほど前にエンジニアになるべくプログラミングスクールに通い始め、 そこからもう1年が経ったのだなぁとしみじみ思います。 さて、そんな私が今回ご紹介するのは「PXEブートサーバを構築しよう！」です。 これは入社してすぐに研修でやったものの一つで、とても勉強になったのでご紹介させていただきます。 私のように文系出身でサーバなどの基礎知識がなかったり、 Linuxのコンソールにあまり触れたことがなかったりするけど、 それでも「エンジニアになろうかしら！」と思っているそんなあなたにうってつけです。 ぜひ、今回ご紹介するPXEブートサーバの構築を試してみてください。 また、途中で登場する用語やコマンドなどの意味を調べながらやっていくと、より自分の身につ

山縣です。夏休みの宿題のようにブログの当番が回ってきました。 機械学習が非常に注目を浴びている今日このごろですが、私もデータ関連を扱うソフトエンジニアの端くれとして機械学習について学んだり、機械学習のアルゴリズムを時々試したりしています。 機械学習は面白いとは思うのですが、いざ実際に業務に適用しようとするとなかなか難しいなあと感じることもあります。ちょっと試してみると思ったような精度が出なかったり、機械学習でできないかというような要望と、機械学習できそうなこと（自分自身の知識的な問題も含む）に隔たりがある気がします。 今回は比較的扱いやすそうな課題があったので、ものは試しに機械学習でやってみました的なところを書いてみたいと思います。 また機械学習のプラットフォームとして Spark を使っているのでそのあたりについても書いてみました。 残念ながら機械学習や統計などについての十分な知識や経験

将棋界の第一人者・羽生善治竜王（47）が25日、静岡県沼津市民文化センターで講演を行った。「重圧を感じるのはあと一歩まで来ている証拠」。「ミスを犯したら反省と検証の前に休憩」。数々の金言で聴衆を魅了した。（北野　新太） 【写真】藤井聡太五段（当時）に敗れ「新しい感覚が必要と痛感した」と話す羽生竜王 春の園遊会でフィギュアスケートの羽生結弦（23）との初の「ダブル羽生」ツーショットが実現した数時間後、竜王は沼津市のホールでマイクに向かった。現在、佐藤天彦名人（30）に挑戦中の第76期名人戦7番勝負は1勝1敗。多忙を極める中でも、終始穏やかな声で聴衆に語り掛けた。 私の好きな話に「6次の隔たり」というものがあります。今、世界には70億以上の人々が暮らしていますが、自分の友人、友人の友人をたどっていけば、6人目には70億人全員とつながるという仮説です。交友関係の広いターミナルになる方がいることで

山縣です。 前回に引き続き CoreNLP を触っていきたいと思います。 前回までに API の使い方を見てきたので、今回は Spark からの使い方を見ていきたいと思います。 spark-corenlp セットアップ spark からCoreNLPを容易に使用する方法として spark-corenlp パッケージがあります。 spark-corenlp は Spark Packages で公開されています。また CoreNLP も Maven Repository で公開されており、下記のように spark shell の引数 --packages で指定するだけで利用することができます。 (弊社では CDH の spark 2.2.0を scala 2.11で利用しています) $ spark2-shell --packages databricks:spark-corenlp:0.2.

こんにちは、@YojiShirakiです。デザイナーです。 先日、デブサミ2018がありましたね。当日のタイムラインでは各セッションに関してのツイートが流れ、はてブでは資料情報などがホットエントリーに入っており、今年も盛況だったことが窺えます。私はというと、突如の高熱（インフル）で全く起きれずスマホでタイムライン追って様子を見ていました。 私はデザイナーですがデブサミなどエンジニア向けの大型のイベントは極力参加するようにしていて、毎回かなりよい感触を得ています。そして毎回「これはデザイナーも来た方がいいのでは？」と思っています。 そこで今回は、デザイナーである私が過去数年に渡ってデブサミに参加した経験から、デザイナーがデブサミに行った方がいい理由をまとめました。ぜひご覧ください。 デブサミはエンジニアのためだけのイベントではない まず大前提ですがデブサミ（Developers Summit

こんにちは、福田 a.k.a. FDKです。 バルトークのアレグロ・バルバロを聴きながらバルクロードを実行しています。 点と点をこねくり回していると、イノヴェイションが生まれることがあります。 そう、まさに “Connecting the Dots” の瞬間です。 はじめに Neo4jとは レシピ編 データ 環境・ミドルウェア 設計 準備編 インストール 設定 調理編 CSVの作成 データロード インデックスの作成 試食編 プリプレグ ラーメン まとめ はじめに グラフは、点と点を線で繋いだ構造で、この世界の至るところに見られます。 点同士を結ぶ線に向きや重みを持たせて関係性を表現することで、様々な探索ができるようになります。 例えば、SNS。人を点、友達関係を線で表し、友達関係の連鎖を辿り新たな関係を知るといったことはイメージしやすいと思います。 ボキャブラリ。わたしたちがものごとを考え

山縣です。 新年明けましておめでとうございます。 弊社の年末年始休暇は例年になく長く１１連休となりました。おかげでかなりリフレッシュできました。 まだちょっと休みボケも残っていますが頑張っていきたいと思います。 本年も弊社と当ブログをよろしくお願いします。 今回も CoreNLP について書きたいと思います。 前回 CoreNLP を CLI から使う方法やサーバとして起動してAPI経由で使う方法について書きました。 今回は API の方を見ていきたいと思います。 CoreNLP では Java の API が提供されているので、これを Scala から使ってみます。 1. Stanford CoreNLP API サンプルコードとその実行 CoreNLP のサイトでAPI についてはこちらで説明されています。 このサイトを参考に Scala から API を使ってみます。 Scala の

はじめに 僕はウェブサイト制作会社でサイトの運用・アクセス解析担当をしている者です。 ウェブサイトの制作・リニューアルを受注した際にプロジェクトに参加し、クライアントの現状サイトのアクセス解析とレポート作成、リニューアル提案が主な仕事です。 クライアントと直接相対するディレクターから「GoogleAnalyticsの権限もらったからアクセス解析して」とオーダーを受け、アクセス解析を行うことになります。 そもそも、初めて見るサイトを構造から理解し、リニューアルに資する提案ができるようなインサイトを得るまで分析するのは本当に骨が折れます。 さらに（全くの主観ですが）、多くのクライアントはGoogleAnalyticsを「タグ貼っただけ」状態で放置しています。 そのため、計測したデータが整理されていない・そもそも正しく計測できていないということはよく起こります。 そして、そのような計測エラーがノ

こんにちは。並河(@namikawa)です。 随分と冬の足音が近づいて来た今日この頃、すっかりラーメンがより美味しく感じる季節となってまいりましたが、皆様いかがお過ごしでしょうか。 さて、今日はいつもとは趣向を変えて、開発組織の話をしようかと思います。 弊社では、優秀なエンジニアやデザイナーを絶賛大募集しているのですが、今年くらいから、私自身が本格的にエンジニア採用に携わるようになりました。このエントリでは、弊社での採用・選考(面接、面談)をどうやっているかと、その場でよく質問されることに対するQA集をまとめてみようかと思います。 弊社での業務に少しでも興味をお持ちの方に、弊社がどのような開発組織で、エンジニアがどのような働き方をしているのかのイメージ形成に役立てていただければと思います。 ちなみに募集職種や要項などは、以下の採用サイトに記載しておりますので、その補足エントリ、くらいで見て