A model for data aggregation taskby Satoshi Imai; Nowcast Inc. 1. AbstractThis post explains the main two steps in a model for data aggregation tasks. “Data aggregation task” means a project which converts source data to aggregated result data and its conversion steps don’t have a prediction model. Two main steps are the “cleansing” step and the “tabulation” step. The “supervision” step is a speci

こんにちは、Finatextグループのナウキャストでデータエンジニアをしているけびん( Twitter: @Kevinrobot34, AtCoder: Kevinrobot34 )です。先日、PyCon JP 2020で、「Pythonで競プロをしよう！ 〜入門者が知っておくべき高速化Tips〜」という題名で発表をさせていただきました。発表時のスライドと動画はこちらです。 この内容について、少し加筆してまとめようと思います。 はじめに最近AtCoderを中心に、競技プログラミングの人気が高まっています。 C++で参加している人が最も多いですが、Pythonで参加している人もかなり増えています。 Pythonは書きやすい一方でC++と比べてしまうと実行速度が遅く、Logicは正しくてもPythonだとTLE(Time Limited Exceeded, 時間超過)してしまうことも少なくあり

こんにちは、Finatextでエンジニアをしている @s_tajima です。 先日行われたISUCON10の予選に、Finatextのエンジニア陣 @s_tajima / 石橋 @atsushi-ishibashi / @yami20 で参加しました。 チーム名は 一口坂46 です。オフィスの前の坂の名前です。 結果として、予選を4位で通過することができました！ 私達のチームがどんな戦略でどんなことをやっていたかのブログです。 尚、このブログはチームメンバー3人での共著です。 リポジトリhttps://github.com/s-tajima/isucon10q-hz46-app 事前準備他にもやっていた準備はあるのですが、特に役立ったものを3つほど紹介します。 作業用AWS環境の準備事前練習用のEC2、当日のログアップロード用のS3バケット(後述) 等を作成するためのAWSアカウントを用

監視・通知の仕組みの全体像また、弊社では Terraform を用いて IaC ( Infrastructure as Code ) を実現して、各AWSアカウント環境の状態をコードで一元管理していますが、 Datadog の監視項目も Provider が用意されているため、Terraform で管理をすることが可能です。現状はすべての Datadog の監視項目がコード化されているわけではないですが、こちらは随時対応を行っていきたいと思っています。 外形監視外形監視は、WebサイトやAPIエンドポイントが正常に動作していることを、定期的に特定のURLに対して問い合わせをして、期待されたステータスコードや要素を返すことを監視することを目的とします。 弊社では Datadog の Synthetic Monitoring という機能を利用して監視を行っていますが、この機能の特徴としては W

https://palletsprojects.com/p/flask/はじめにPythonistaの皆さんの中には、Flaskを使ってWEBアプリケーションを構築したことがある方も多いのではないでしょうか？ この記事ではそんなみなさんのFlask生活をより良くするべく、Flaskの仕組みを実際にコードを読みながら解説したいと思います。 この記事で紹介すること WSGIの概要と、WSGIを用いた簡単なWEBアプリケーションの実装方法Flaskの実行コードの仕組みFlaskのルーティングの仕組み対象読者 これからFlaskを使って何かを実装しようとしている人Flaskの実装経験はあるが、コードの中身までは理解していない人Pythonの有名ライブラリのコードを読むのが好きな人Flaskの入門コードこの記事では、以下の入門コードを題材として取りあげます。 from flask import Fl

Photo by Ilya Pavlovこんにちは。Finatextでエンジニアのマネジメントをしている河本です。 先日は当社の技術スタックについて紹介しましたが、今回は「FinTech スタートアップでのスキルテストってどんなの？」という話をしたいと思います。 この記事で伝えたいことお伝えしたいのは以下の2点です。 Finatextはエンジニア採用でスキルテストをしています。でも、中身はFinTech 特有のテストというわけではないです。以下、スキルテストの目的から説明していきます。 なぜやるのか我々がスキルテストを実施する目的は、以下の3つです。 1. 技術力・解決能力をみる候補者の方にご提出いただいたレジュメは多くのメンバーの目を通り、それなりに時間もかけて審査していますが、それでも読み取れる情報はかなり限定的です。「大規模プロジェクトに携わった」と記載があっても関与度によって評価は

Photo by Teemu Paananen on Unsplashこんにちは！ FinatextホールディングスでPR/DevRelを担当しています、ミヤカワ（ @ayumiya_live ）です。 早いもので、2020年前半が終了しましたね。。。 ということで、この半年の間に当社のエンジニアがLT・登壇したイベントを振り返ってみたいと思います！ 2月・MOVO FORESIGHT 2020リードエンジニアの石橋が、アスクル CTO 内山氏、Hacobu CTO 戸井田氏と「2つのDX」というテーマでトークセッションさせていただきました。

こんにちは。Finatextでエンジニアのマネジメントをしている河本です。 当社は「金融を“サービス”として再発明する」をミッションとして掲げ、ビジネスの成長とともに技術領域も拡大させてきました。 エンジニアチームは今、私たちが「BaaS (Brokerage as a Service)」と呼んでいる証券サービスのためのシステム基盤と、そのBaaS上のサービス開発に力を注いでいます。 今回は、そんな当社の技術スタックについて紹介したいと思います。 開発環境・CI/CDGitHubSwaggerSonarCloudPostmanTerraformAWS CodeBuildAWS CodePipelineコードはGitHubで管理され、API 仕様管理には Swagger が使われています。SonarCloud を用いてソースコードの健全性やテストカバレッジの可視化を行っています。API開発の

一般名詞化した「フィンテック」 デジタルトランスフォーメーションの略である「DX」だが、もはやかつての「フィンテック」並みにホットなワードになっている。いやそれ以上だろう。金融に絞られないだけ、適応範囲がものすごく広い。 思えばフィンテックも、最初はスマホアプリを作って、オシャレなUIを実装するのがスタート地点だったと思う。その後、証券や決済などの“若年層を取り込む金融機関”になるベンチャーの参入が相次ぎ、今や大手金融機関の社内ベンチャーやチャレンジャーバンク、B2Bのサービスなど広がりと深みが出てきている。 「フィンテック」という言葉は、当初「テクノロジーを用いた新しい金融の形」という意味合いで受け取られていたと思うが、ことテクノロジーに関していえば、その後ブロックチェーンを除いて特に目新しいものは出てきていないと思っている。 僕の整理では、「フィンテック」とは一連のムーブメントである。

Photo by geralt on Pixabayこんにちは. スマートプラスで証券ビジネスプラットフォーム「BaaS（Brokerage as a Service）」を開発している, エンジニアの谷岡です. Finatextグループのエンジニアは, システム開発だけでなく何らかの付加価値を+αで持てるような取り組みを行うことが奨励されています. 取り組みの一つとして, その分野に詳しいエンジニア自身が講師を務める勉強会を週1くらいで開催しているのですが, 私が担当している圏論の回が好評だったので, その内容を数回に分けてご紹介していきたいと思います. なぜ圏論なのか圏論は元々は数学のイチ分野ですが, 物理学・AIといった研究分野のほか, ご存知のとおりプログラミングの世界においても関数型プログラミングのバックグラウンドとして利用されています. また, 過去の研究について圏論で書き直すこ

Photo by Jessica Ruscello on Unsplashこんにちは！FinatextホールディングスでPR/DevRelを担当しています、ミヤカワ（ @ayumiya_live ）です。 いよいよゴールデンウィークですね！ 今年はリモートワーク（在宅勤務）のまま連休に突入し、そのまま自宅で過ごす方がほとんどなのではないでしょうか。まとまった時間を学習に充てようかな、というエンジニアもきっと多いはず。 そこで、Finatextグループ（Finatext、スマートプラス、ナウキャスト）のエンジニアに「ゴールデンウィークに読みたいおすすめ技術書」というテーマで１冊ずつ選んでもらいました。 なお、Finatextグループのエンジニア全体としては比較的サーバーサイドに強く、フロントエンドとデータ解析系でエッジの効いたエンジニアが数名いる、という感じですが、今回は特に分野を指定せずに

こんにちは。Finatextでエンジニアをしている @s_tajima です。 新型コロナウイルス感染症の影響により、近年徐々に広まりつつあったリモートワークやテレワークといった働き方やその設備に対する企業の温度感が、「あったらいいね」から「無いとだめ」に急速に変わりつつあるのを感じます。 弊社も先日の緊急事態宣言を受け、 全社的に原則在宅勤務という体制 に移行しました。 そこで今回は、Finatextのリモートワーク（在宅勤務）を支えるVPNのシステムについてご紹介したいと思います。 FinatextのVPNシステムは以下のように運用しています。 月に2万円程度のコストPritunlというオープンソースのソフトウェアを使用AWS上にスケーラブルな形で構築エンジニア・非エンジニア含めて80人ほどの社員が利用今使っているVPNに何かしらの不満がある方、突然VPNの環境が必要になりどのように構

運用成績よりもゴールの達成確率が重要 ではいったんゴールを設定したあと、アドバイザーが行うアフターフォローとはどのようなものなのか。それは、年に1〜2回のフォローアップ面談で、ゴールを見直して運用方針を調整することだ。 「ゴールの進捗状況をモニタリングして、達成確率が下がったら、上がるような方法をアドバイスする。例えば、毎月の積み立て金額を増やす、ボーナス時の積み立てを増やす、リスクレベルを上げる、積み立て期間追加で2カ月伸ばす、など」（大原氏） ゴールベースアプローチでは、運用成績がプラスだったのかマイナスだったのかよりも、現在の状況で最終的なゴールが達成できるのかどうかを大事にする。そのため、日本資産運用基盤グループがQUICKと開発していくツールでも、各顧客が設定したゴールと、それに対する達成度合い、達成確率を表示する点が重要になる。 「アドバイザー向けにダッシュボードを用意する。担

はじめにこんにちは、Finatextでエンジニアをしている石橋（@bashi0501）です。 Finatextではコードに近いところでの小さいサイズのtestや静的解析にCircleCI, GitHub Actionsを利用し、クラウド環境へのリリースパイプラインにはより大きいサイズのテストを実環境と同じネットワークで実行したい、デプロイに使うクレデンシャルをむやみに他のサービスに置きたくないという理由からAWS CodeBuild, AWS CodePipelineを使用しています。 これまではCodePipelineによるリリースパイプラインをマネジメントコンソールから丹精込めてお手製で作っていました。が、以前の田島の記事でもあったように50個近くのAWSアカウントがある中でこれまでの方針で継続・展開していくのは厳しくなってきました。 そこでパイプラインは一つのAWSアカウントに集約し

こんにちは。 Finatextグループのナウキャストでデータ分析を担当している片山です。 ナウキャストは、POSデータ、クレジットカードデータ、共通ポイントなどのトランザクションデータ（私たちの業界ではオルタナティブデータと呼んでいます）を分析してインサイトを発見し、国内外の機関投資家や中央銀行、政府機関にレポートとして提供しています。 また、そうしたオルタナティブデータから生成した物価指数や消費指数を、「日経CPINow」「JCB消費NOW」といったサービスを通して定期的に会員企業に配信しています。 新型コロナウィルスの感染拡大が消費に影響を与えていることは、皆さんもニュースや日常生活の中で感じているかと思いますが、消費関連データを扱うナウキャストにも消費動向に関するレポーティングのご相談が増えています。 そこで、今回はナウキャストが利用するオルタナティブデータの一つであるPOSデータを