有識者5人が2024年に流行する技術を選出する「ITインフラテクノロジーAWARD 2024」。惜しくもグランプリ～5位には漏れたものの、個人としては「推し」の技術を5人の有識者にそれぞれ1つずつ挙げてもらった。各有識者の個性が光る5つの技術は、先端技術を追いかけるエンジニアであれば見逃せないものばかりだ。 個人的注目技術：FFM API 野村総合研究所 産業ナレッジマネジメント室 エキスパートアーキテクト 石田 裕三氏 2024年に正式リリース予定の「Java 22」に追加される技術「Foreign Function＆Memory API（FFM API）」を推したい。ネーティブコードをJavaから呼び出したり、外部メモリーに安全にアクセスしたりできる。メモリースロットを高速なストレージとしても利用できる永続性メモリー（PMEM）を使用する際にも有効な技術だ。 大規模なデータの処理をいか
値オブジェクト or Stringやプリミティブ型 Stringやプリミティブ型の不都合 オブジェクト自身が複数のプロパティを組合せ管理できない 例えば、氏名とふりがなを同時に持てないし、姓と名を別々で管理することもできない オブジェクト自体が特別な振る舞いを持つことができない 例えば、郵便番号から都道府県を取得する振る舞いを持たせることもできない オブジェクトが自分自身の不変条件を定義できない 結果として処理開始時点のバリデーションに全て頼る形になり、どこかで値が変更されてないかを気にしながら利用する必要がある 例えば、電話番号は「数値」と「-」を含む10〜11桁の文字列という不変条件を担保したい 値オブジェクトは上記の不都合を解決できる なので上記のようなケースでは、値オブジェクトを利用すると良さそう とはいえ「3.」のケースを言い出すとなんでも値オブジェクトにしなくてはいけない気がす
ジャッグジャパン、新型コロナウイルス感染状況を日本地図上で可視化するGISダッシュボードマップを公開 | IT Leaders
IT Leaders トップ ＞ 経営課題一覧 ＞ リスクマネジメント ＞ 新製品・サービス ＞ ジャッグジャパン、新型コロナウイルス感染状況を日本地図上で可視化するGISダッシュボードマップを公開 リスクマネジメント リスクマネジメント記事一覧へ [新製品・サービス] ジャッグジャパン、新型コロナウイルス感染状況を日本地図上で可視化するGISダッシュボードマップを公開 2020年2月17日(月)河原 潤（IT Leaders編集部） リスト 情報の視覚化サービスなどを提供するジャッグジャパン（J.A.G JAPAN）は2020年2月17日、「日本国内における新型コロナウイルス感染症の患者数マップ」の一般公開を開始したと発表した。各省庁／地方自治体が発信する同ウイルス感染患者数を集約し、GIS（地理情報システム）によるダッシュボードマップとして表示する。同マップはユーザー登録などを行うこと
オラクル、シャーディングを利用したグローバルな分散DBの新サービス「Oracle Globally Distributed Autonomous Database」正式サービス開始
オラクル、シャーディングを利用したグローバルな分散DBの新サービス「Oracle Globally Distributed Autonomous Database」正式サービス開始 オラクルはデータベースを複数のシャードに分割し、それぞれをグローバルに分散させつつ全体を1つの論理的なデータベースとして扱えるOracle Cloudの新サービス「Oracle Globally Distributed Autonomous Database」を正式サービスとして提供開始しました。 Find out how you can more easily address data sovereignty requirements and achieve the highest possible scale and availability with @Oracle Globally Distribute
LINEで働くエンジニアが、各職種別に日々の業務内容や開発体制、働く環境、今後の展望などについて話す「LINE 新卒採用 技術職 コース別説明会」。Machine Learning組織からはMachine Learning Platform室およびMachine Learning Solution室の室長の菊地悠氏が登壇。Machine Learning Platform室・Machine Learning Solution室のロール、開発環境、募集する人物像について発表しました。 研究領域での経験が豊富な室長 菊地悠氏：メイン領域の説明をします、菊地と申します。よろしくお願いします。 簡単に自己紹介をいたします。肩書はシニアマネージャーで室長をやっています。今はマシンラーニング領域において、プラットフォームを開発している組織とソリューション系の事業貢献をメインにしている組織の2つを見てい
本コーナーでは技術へのタッチポイントを増やすことを目標に、各分野で活躍されている方をお迎えします。今回はWebAssemblyです。高速安全に動作する特徴やブラウザでの利用を超えていく将来の展望など、あんどうさんとざっくばらんに紹介します。 【話し手】 あんどうやすし ANDO Yasushi㈱ Cogent Labs所属。おもしろそうなWeb系フロントエンド技術について翻訳したり執筆したり。だけど最近興味があるのはAI倫理。 やはり倫理……！ 倫理はすべてを解決する……!! Twitter @technohippy GitHub technohippy WebAssemblyとは 日高： 今回はWasm（WebAssembly）をテーマにお話を伺います。よろしくお願いします。あんどうさんといえば多くの技術書を執筆、翻訳していますよね。 あんどう： 主にオライリー・ジャパンで執筆、翻訳を手
PythonのデフォルトのUnitTestsではなくpytestを使うべき7つの理由 - MyEnigma
リンク 目次 目次 はじめに PythonのデフォルトのUnitTestsではなくpytestを使うべき7つの理由 1. クラスを作らずにシンプルな関数でテスト関数を作ることができる。 2. 様々なassert関数を覚えなくて良い 3. テストが失敗した理由がわかりやすい 4. テストの検索と実行が高機能 (auto discovery) 5. 様々なプラグインが公開されており、簡単に機能追加できる 6. UnitTestsで作成されたテストも実行できる 7. テストの実行時間のランキングを簡単に作成してくれる 便利なコマンドライン引数表 PythonのIDEとpytestの連携 参考資料 MyEnigma Supporters はじめに これまで、自分はPythonのユニットテストには、 PythonのデフォルトのUnitTestsを使っていましたが、 docs.python.org m
はじめにこの記事は、文系出身の若手SIer社員が放送大学を活用してAI人材を目指した記録です。AI（機械学習・深層学習）を全く知らない状態からスタートして、2年間でJDLA E資格の取得と機械学習を使った論文の学会発表まで至りました。一旦AI（が少し分かる）人材のスタートラインには立てたかなと思っています。 そもそも誰？なぜ放送大学なの？というところは以前公開したこちらをご参照ください。いわゆる「文系SE」だと思っていただいて大丈夫です。 忙しい人のために：AI人材への4ステップ1.まず放送大学に入学して以下の科目を履修します。 ＡＩシステムと人・社会との関係（’２０） 計算の科学と手引き（’１９） 情報理論とデジタル表現（’１９） 入門線型代数（’１９） 線型代数学（’１７） 入門微分積分（’１６） 解析入門（’１８） 自然言語処理（’１９） データの分析と知識発見（’２０） 統計学（’
脱バッチ教 - うめぞーコラム
新興宗教の勧誘のお知らせです！（違 バッチ処理 メインフレーム等の大型コンピュータって、バッチ処理がたくさんありますよね。なんでバッチ処理なのか、みなさんはご存知でしょうか。 大型汎用コンピュータが出てきた当初、計算を行うためには予めプログラムを組んで使いたい時間を申請して、実行時間に応じた料金が掛かるものでした。今でいうクラウドで時間単位で課金されるのと同じ。私も小学生の頃、父親の会社にあった3270端末を叩いてみたことがあります。ええ、キーを叩くのは親父で、私は画面をぶっ叩いていましたが。（笑） つまり、CPUの利用率に関わらず"利用時間"で料金が掛かるので、ダラダラと雑多な処理を長時間行うのではなく、データをまとめてドガッと行ってパッと終える必要があったわけです。更に言うと、昼間と夜間では料金が違ったと記憶しています。そうすると昼間は金融機関などの「リッチ」な会社が利用し、父親が居た
Dataflowが解決するストリーミング処理の課題と基盤を作る上で考慮すべき点をいくつか資料を参考に備忘録もかねて整理してみました。 ストリーミング処理の概要 ストリーミング処理とは バッチ処理との違い ストリーミング処理の課題 データ量と変動性 遅延データの扱い 異なるプログラミングモデル Dataflowでどのように解決すのか オートスケール 遅延データの制御 プログラミングモデルの統一 遅延データの制御 (機能詳細) ウィンドウとは 固定ウィンドウ スライディングウィンドウ セッションウィンドウ ウォーターマークとは トリガーとは アキュミュレーションとは 破棄モード 累積モード 累積 ＆ 後退モード Dataflowでストリーミング処理の基盤作成で考慮すること 何を計算するか？(ETL) イベント時間のどこを対象にするか？(ウィンドウ) 処理時間のどの時点を対象にするか？(ウォータ
対象読者 データ分析基盤を作ってみたいけど、分析基盤の作り方がわからない BigQueryって聞いたことあるけど、実際に使ったことがない。興味ある。 BigQueryって使おうと思ってググってみたけどあんまりまとまった情報がない そのような気持ちを持つ方が読者想定です。 自身もこの本に出会う前には、同じようなBigQuery童貞でした。 (結論)イイタイコト BigQuery初心者や、これから導入考えてる人が、読むべき本を見つけました！！ Google Cloud Platform実践ビッグデータ分析基盤開発 ストーリーで学ぶGoogle BigQuery です。 あまりBigQueryの本がなく、半信半疑で読みましたがBigQueryの全体像が捉えられる良書でした。 この本のイイところ この本のイイところは3つあります。 BigQueryの概要が難しすぎず、ちょうどかゆいところに手が届く
2021/02/26 最後尾に追記あり 酒を飲んでるけどブログなんてそんなもんやろと思いながら書く。 旧知*のTJO氏がこんな引用RTをしていました。 ※Twitterでは、の意味 これは自分もはむかずさんの意見に近くて、最初に3をやってその人に全権委任して1と2をやってもらう（その代わり相応の待遇で報いる＆完遂するまで忍耐強く待つ）というのがベターかつ現実的だと思ってます。全体像が見えない中で1と2を先にやろうとすると、それまでに組織が疲弊して3に辿り着けない https://t.co/sHrrmyUn1V— TJO (@TJO_datasci) February 25, 2021 これは自分もはむかずさんの意見に近くて、最初に3をやってその人に全権委任して1と2をやってもらう（その代わり相応の待遇で報いる＆完遂するまで忍耐強く待つ）というのがベターかつ現実的だと思ってます。全体像が見え
オラクル、インメモリー分散DB「MySQL HeatWave」の運用をマシンラーニングで自動化 | IT Leaders
IT Leaders トップ ＞ テクノロジー一覧 ＞ データベース ＞ 新製品・サービス ＞ オラクル、インメモリー分散DB「MySQL HeatWave」の運用をマシンラーニングで自動化 データベース データベース記事一覧へ [新製品・サービス] オラクル、インメモリー分散DB「MySQL HeatWave」の運用をマシンラーニングで自動化 2021年8月11日(水)日川 佳三（IT Leaders編集部） リスト 米オラクルは2021年8月10日（米国時間）、クラウド型データベース「MySQL HeatWave」に運用自動化機能「MySQL Autopilot」を追加したと発表した。MySQL HeatWaveのチューニングをマシンラーニング（機械学習）で自動化する。MySQL HeatWaveユーザーは追加費用なく利用できる。 米オラクル「MySQL Database Servic
[AWS]SageMakerで独自の学習コンテナをインフラエンジニア目線でデプロイしてみるHello World!! | DevelopersIO
[AWS]SageMakerで独自の学習コンテナをインフラエンジニア目線でデプロイしてみるHello World!! SageMakerで学習を実行するときの挙動について、インフラエンジニアがデータサイエンティストの方をサポートできるようにまとめました。 インフラエンジニア視点のため、機械学習のアルゴリズムなどは一切出てこないのでご安心ください。 コンニチハ、千葉です。 SageMakerをインフラエンジニア目線で使ってみます。つまり、機械学習関連ではなく「コンテナを動かすためのインフラ」、「バッチ的何か」という観点で使ってみます。なので今回は、機械学習関連の単語は使いません！！ インフラエンジニアが、データサイエンティストをインフラ面でサポートできることを目的として書きます。 まずは整理 機械学習のフローとして大きく、学習用データの用意、コード開発、学習(バッチ実行)、推論API構築(モ
![[AWS]SageMakerで独自の学習コンテナをインフラエンジニア目線でデプロイしてみるHello World!! | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/cfb4ffe551df6a5134c8dc8c5373df46d27ee65d/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2018%2F11%2Feyecatch_amazon-sagemaker_1200x630.jpeg)
はじめに この記事は、Apache Beam Documentation の内容をベースとしています。 Apache Beam Python SDK でバッチ処理が可能なプログラムを実装し、Cloud Dataflow で実行する手順や方法をまとめています。また、Apache Beam の基本概念、テストや設計などについても少し触れています。 Apache Beam SDK 入門 Apache Beam SDK は、Java, Python, Go の中から選択することができ、以下のような分散処理の仕組みを単純化する機能を提供しています。 Pipeline：処理タスク全体（パイプライン）をカプセル化します。処理タスクには、入力データの読み取り、変換処理、および出力データの書き込み等が含まれます。 PCollection：分散処理対象のデータセットを表すオブジェクトです。通常は、外部のデータ
2019年3月19日、Data Engineering Meetupが主催するイベント「Data Engineering Meetup #1」が開催されました。データの収集や管理、処理、可視化など、データエンジニアリングに関する技術の情報を共有する本イベント。データエンジニアリングの最前線で活躍するエンジニアたちが集い、自身の知見を共有します。プレゼンテーション「Spark 2.4 & 3.0 - What's next? - 」に登壇したのは、株式会社エヌ・ティ・ティ・データの猿田浩輔氏。講演資料はこちら Spark 2.4 と3.0の新機能を解説 猿田浩輔氏（以下、猿田）：みなさんこんばんは。私からはApache Sparkの現時点での最新フィーチャーリリースである2.4と、今年リリースが期待されているSpark3.0の新機能をいくつかご紹介させていただきたいと思います。 はじめに私の
初心者向けREST API解説｜APIとは何かも理解する - deve.K's Programming Primer - プログラミング初心者のための入門ブログ
API API プロトコル RESTとは？ REST API アドレス可能性(エンドポイント) クライアントとサーバーの分離 統一されたインターフェース ステートレス 接続性 最後に Webアプリ開発において、フロントエンド開発者に必要なスキルは多岐にわたります。 例えば、テスト・デバッグ、バージョン管理、UI・UX、コミュニケーション能力、SEO、クライアントの理解、クロスプラットフォーム、クラウドインフラ、セキュリティ、アジャイル開発手法などが挙げられます。 これらの中でも、REST APIの理解は必須スキルの一つとなっています。 REST APIの学習は、主にバックエンド開発者が行いますが、現代ではフロントエンド開発者もREST APIの基本的な理解が必要となる場合があります。 REST APIは、最も人気のあるAPIの一つであり、初心者にも理解しやすいものです。 REST APIを
曖昧さが目立つFujitsu Uvanceとは？─富士通の「コンサルタント1万人計画」を検証する［後編］ | IT Leaders
IT Leaders トップ ＞ テクノロジー一覧 ＞ ベンダー戦略 ＞ 市場動向 ＞ 曖昧さが目立つFujitsu Uvanceとは？─富士通の「コンサルタント1万人計画」を検証する［後編］ ベンダー戦略 ベンダー戦略記事一覧へ [市場動向] 曖昧さが目立つFujitsu Uvanceとは？─富士通の「コンサルタント1万人計画」を検証する［後編］ 2024年4月10日(水)田口 潤（IT Leaders編集部） リスト 「Fujitsu Uvance（ユーバンス）」は2021年10月、富士通が掲げるパーパスの実現に向けて「社会課題の解決にフォーカスしたビジネスを推進する」と謳って発表したものだ。Uvanceは、「あらゆる（Universal）ものをサステナブルな方向に前進（Advance）させる」という2つの言葉を合わせた造語であり、これからの富士通の中核を担う事業を指す。発表から2年半
▲登壇時の写真 はじめまして、様々なバックエンドの開発をしている竹澤（@ex_takezawa）です。 PHPやGo、Scalaなどを用いてWebアプリケーションからビッグデータを扱う分析システムや、基盤システムを行っています。 今回は、これまでエンジニアとして経験したことを踏まえて、視野を広げることや事業性を理解してシステム開発を行うことの大切さなどを紹介していきます。 みなさんのエンジニアとしてのキャリアにとって少しでも参考になれば幸いです。 副業を起点としたエンジニアの学習サイクル 副業のススメ まず、エンジニアの副業ですが、個人的には、収入が増えるというメリットがフォーカスされがちですが、本業とは異なる事業、会社の規模、ドメイン領域に触れることが出来るという点に大きなメリットを感じています。 副業で得意な開発スキルを伸ばす、ということも当然できますが、本業とは異なるドメイン領域に触
LINEの機械学習/データ基盤開発/AIサービス開発といった各部門のサーバーサイドエンジニア関連の横断的なオンライン採用イベントで、湯川航氏がデータ基盤開発部門のサーバーサイドエンジニアの仕事について共有しました。 LINEのデータプラットフォームのアーキテクチャ 湯川航氏（以下、湯川）：湯川と申します。よろしくお願いします。Data Platform室という、データを管理する部署のエンジニアなんですが、そこのアーキテクチャなどを紹介していきたいと思います。 こちらが今日のアジェンダです。最初にLINEのデータプラットフォームのアーキテクチャを簡単に紹介して、規模感をイメージしていただくためにちょっとした数字、KPIを出したいと思います。 その後、今どういう課題、チャレンジがあるかについて紹介し、最後に、うちのエンジニアがたまにLINEのカンファレンスで登壇したりエンジニアリングブログを書
量子アプリ開発環境のblueqat cloud、Amazon Braket経由で量子コンピュータ実機を使いやすく | IT Leaders
IT Leaders トップ ＞ テクノロジー一覧 ＞ 開発ツール／プラットフォーム ＞ 新製品・サービス ＞ 量子アプリ開発環境のblueqat cloud、Amazon Braket経由で量子コンピュータ実機を使いやすく 開発ツール／プラットフォーム 開発ツール／プラットフォーム記事一覧へ [新製品・サービス] 量子アプリ開発環境のblueqat cloud、Amazon Braket経由で量子コンピュータ実機を使いやすく 2021年5月18日(火)日川 佳三（IT Leaders編集部） リスト blueqatは2021年5月18日、量子コンピューティングのアプリケーションをWebブラウザ上で開発・実行できるクラウド型開発環境「blueqat cloud」を強化したと発表した。同年4月から利用可能になった「Amazon Braket」を介して、量子コンピュータの実機をクラウドサービス
PostgreSQL Advent Calendar 2019の14日目です。 PG-Stromの開発をやってると、しばしば聞かれるのが 『マルチノードの並列処理って対応してるんですか？』 という質問。 まぁ、『対応しておりませんし、対応する予定もございません』という回答になるんですが、別にこれはウチのやる気の問題ではなく、PG-StromはPostgreSQLの拡張モジュールとして設計されているため、並列分散処理に関しては他のメカニズムに任せてしまえばよい、というだけの話である。 そこで、今回は同じくPostgreSQLの拡張モジュールとして実装されているスケールアウト機能の Citus と、PG-Stromを組み合わせてちゃんと動作するんですよという事を検証してみる事にする。 Citusとは? PostgreSQLにデータ分散と並列処理機構を付加する拡張モジュールで、PostgreSQ
みなさんこんにちは、GMOアドマーケティングのM.H.です。 日に日に溜まっていく膨大なデータを解析したり、機械学習モデルに投げるデータの前処理をしたりするための大規模データの分散処理フレームワークは幾つかありますが、その技術を活用するためにクラウド上のリソースを使ってビッグデータを処理したいケースがあるかと思います。 今回はGoogle Cloud Platformの各種サービスを複合的に活用し、特にCloud WorkflowsとCloud Functionsを組み合わせることで、Dataprocのクラスタを動的に作成・削除しながらジョブを実行する方法について書いていきます。 やりたいこと Dataprocは、Apache SparkやApach Hadoopなどの分散処理のフレームワークをGoogle Cloud Platform(以下 GCP)マネージドで動かすためのサービスです。
全世界のプレイングマネージャーに捧ぐ・・・ 自分自身がプレイングマネージャー的な役割をこなす場面があるときに、「プレイヤー仕事たのし〜」「マネージメント仕事戻るの気が重いよ〜〜」となることがあります。多々あります。 そんな自分を慰めるために、自分の心に秘めた独自理論があります。名付けて です。 一生自分の胸だけに秘めるつもりだったのですが、同僚と1on1してポロッと話してみたら意外とウケたので、増長してブログに書きました。 「プレイヤーとマネージャーを『反復横跳び』？」 プレイングマネージャーのポテンシャルエナジー理論とは FAQ Future Work 終わりに 07/10追記 「プレイヤーとマネージャーを『反復横跳び』？」「プレイヤーとマネージャーを『反復横跳び』する」というフレーズをよく聞きます。聞きませんか？ わかりやすく図にするとこんな感じですかね。 軽やか〜〜〜 … …… ……
名寄せの仕組み - astamuse Lab
この記事は 自然言語処理 Advent Calendar 2020 の25日目の記事です。 こんにちは、rinoguchi です。今年の4月に こちらの記事 を書いて以来、半年ぶりの投稿になります。 当社では、特許・研究課題・論文など多くの知的財産データを保持しています。これらのデータを活用するには、データに含まれる同一組織・同一人物に対して同一IDを付与してデータをグルーピングすることが必要であり、この作業のことを名寄せと呼んでいます。 今回はこの名寄せの仕組みについて紹介したいと思います。 大まかな処理フロー 当社では名寄せ処理を、まずそれぞれのデータソース（例えば特許や論文など）の中で実行し、次に異なるデータソース間で実行することで、最終的に組織ID・人物IDに対して特許・研究課題・論文などを紐づけたデータを生成しています。 とはいえ、データソース内名寄せもデータソース間名寄せも仕組
IT Leaders トップ ＞ テクノロジー一覧 ＞ 仮想化 ＞ 事例ニュース ＞ 上智大学、全職員600人が使うVDIをVMwareで構築、テレワークを実現 仮想化 仮想化記事一覧へ [事例ニュース] 上智大学、全職員600人が使うVDIをVMwareで構築、テレワークを実現 2019年12月11日(水)日川 佳三（IT Leaders編集部） リスト 上智大学は、全職員約600人が使うデスクトップ仮想化環境（VDI）／仮想デスクトップ環境を構築した。2019年8月から稼働している。学外からも利用可能で、場所を選ばないテレワークを実現している。システムを構築したネットワンシステムズが同年12月11日に発表した。 上智大学（本校：東京・四ッ谷キャンパス）は、全職員約600人が業務で利用する仮想デスクトップ環境（VDI：Virtual Desktop Infrastructure）を構築し
Parapet - A purely functional library to build distributed and event-driven systems
A purely functional library to build distributed and event-driven systems It's not a secret that writing distributed systems is a challenging task that can be logically broken into two main aspects: implementing distributed algorithms and running them. Parapet plays the role of execution framework for distributed algorithms - it can be viewed as an intermediate layer between a low-level effect lib
IT Leaders トップ ＞ テクノロジー一覧 ＞ 開発ツール／プラットフォーム ＞ 事例ニュース ＞ ふくおかフィナンシャルグループ、次世代勘定系システムをGCPで稼働 開発ツール／プラットフォーム 開発ツール／プラットフォーム記事一覧へ [事例ニュース] ふくおかフィナンシャルグループ、次世代勘定系システムをGCPで稼働 2019年9月24日(火)日川 佳三、河原 潤（IT Leaders編集部） リスト ふくおかフィナンシャルグループは2019年9月24日、勘定系システムの構築基盤としてGoogle Cloud Platform（GCP）を採用すると発表した。システム開発子会社のゼロバンク・デザインファクトリーが研究開発している次世代バンキングシステムの基盤としてGCPを利用する。 ふくおかフィナンシャルグループは、システム開発子会社のゼロバンク・デザインファクトリーを通じて、2
IT Leaders トップ ＞ テクノロジー一覧 ＞ セキュリティ ＞ 内田勝也の日々是セキュリティ ＞ 海外で広がる「バグバウンティ＝脆弱性報償金制度」、もっと日本でも！：第1回 セキュリティ セキュリティ記事一覧へ [内田勝也の日々是セキュリティ] 海外で広がる「バグバウンティ＝脆弱性報償金制度」、もっと日本でも！：第1回 2019年8月27日(火)内田 勝也（情報セキュリティ大学院大学 名誉教授） リスト セキュリティに関する世界最大のイベントの1つが「Black Hat USA」。今年も8月初旬に米国ラスベガスで開催された。さまざまな話題があったが、今回は「バグバウンティ（Bug Bounty）」と呼ばれる脆弱性報償金制度を取り上げたい。Black Hat USA 2019で、米マイクロソフトは、Microsoft Azureの脆弱性を発見するために最大30万ドル、アップルは従来
Spark(DataProc)からBigQuery MLに移行してコストを削減した話 - Platinum Data Blog by BrainPad
本記事は、当社オウンドメディア「Doors」に移転しました。 約5秒後に自動的にリダイレクトします。 自社開発サービスである「Rtoaster（アールトースター）」は、2019年にユーザー分析機能の「自動クラスタリング機能」をSpark(DataProc)からBigQueryMLに移行しました。 ブレインパッドの新卒2年目の自社サービス開発エンジニアが、新卒1年目で取り組んだ、この大きなプロジェクトでの経験についてご紹介します！ はじめに 背景 ユーザー分析機能と自動クラスタリング 移行前の環境と問題点 BigQuery ML について 実装 モデル移行の実装 結果 料金の削減 実行時間の削減 運用の問題解消 最後に はじめに 本記事は、ブレインパッドの自社サービスである「Rtoaster（アールトースター）」のユーザー分析機能のチームで開発をしている、新卒入社2年目のエンジニア柴内がお送
なぜ僕たちはサーバレスでJavaを諦めTypescriptを採用したか - Junks, GC cannot sweep
この記事はエストニアのタリンから書いています。 期間に大小あれど、すでに日本・ベトナム・中国・台湾・シンガポール（・オフショアでインドとも）の現地で仕事し、すでにアジアでの労働は満喫した感があるので、ヨーロッパにそろそろ足を伸ばそうかなと。 そこで、第一候補として、大学生の頃から憧れだったIT先進国エストニアに下見に来ています。 まぁ、現地の開発者と何人か話して、もうほぼ心は決まりましたね。半年くらいを目処にこちらに移住しようかと考えています！ 幸運にも日本人は比較的簡単に労働許可が得られるようなので、夏くらいを目処に今の会社を退職し、こちらに来ようと考えています。 これについては今後別に記事を書きます。いく前の期待といった後の感想とか、結構需要がある気がするので。 ところで、現地の開発者と話しているうちに、技術モチベが高まりに高まってしまったので、久々に何か記事を書いてみようかなとか考え
Google Kubernetes Engine で進化戦略を実行する方法 | Google Cloud 公式ブログ
*この記事は Yujin Tang と David Ha による Cloud Blog の記事 "How to run evolution strategies on Google Kubernetes Engine" を元に翻訳・加筆したものです。詳しくは元記事をご覧ください。 強化学習（RL）は、ゲーム、チェス、ロボティクスですばらしい成果をあげており、それとともに機械学習コミュニティでの人気も高まっています。以前のブログ投稿では、Google の強力なコンピューティング インフラや、ハイパーパラメータのベイズ最適化などスマートなトレーニング サービスを活用して、AI Platform で RL アルゴリズムを実行する方法を紹介しました。このブログでは、進化戦略（ES）アルゴリズムについて説明し、Google Kubernetes Engine（GKE）で実行する方法を紹介します。 進
IaaS/PaaS、プライベートクラウド、コンテナの世界利用動向から見えてくるもの─State of the Cloud Report 2019解説［後編］ | IT Leaders
IT Leaders トップ ＞ テクノロジー一覧 ＞ クラウド ＞ 調査・レポート ＞ IaaS/PaaS、プライベートクラウド、コンテナの世界利用動向から見えてくるもの─State of the Cloud Report 2019解説［後編］ クラウド クラウド記事一覧へ [調査・レポート] IaaS/PaaS、プライベートクラウド、コンテナの世界利用動向から見えてくるもの─State of the Cloud Report 2019解説［後編］ RightScale State of the Cloud Report 2019 from Flexera 2019年6月18日(火)西浦 詳二（SoftwareONE Japan シニア・ダイレクター／FinOps Certified Practitioner） リスト 米RightScaleの年次クラウドサービス調査レポート「State
特別掲載：「デジタル分散主義」の時代へ 【ダグラス・ラシュコフ】｜黒鳥社｜blkswn publishers Inc.
いままでの「経済」のあり方の上に、デジタルテクノロジーがただ覆いかぶされば、それで自動的に「経済」が更新されるわけではない。「いまの経済」はもっと根源的なところから批判に晒され、変更を迫られている。アメリカの鬼才テックシンカー、ダグラス・ラシュコフは、いまわたしたちが生きている経済環境を「デジタル産業主義の時代」と定義し、その問題点を厳しく告発する。そして、ありえたはずのデジタルエコノミーの姿をいま一度想像することを促す。彼は来るべき経済のありようを「デジタル分散主義」（Digital Distributism）と名付けている。 ダグラス・ラシュコフの2010年の問題作『ネット社会を生きる10カ条』（ボイジャー刊／原題：Program or be Programmed: Ten Commands for a Digital Age）の刊行に寄せて、noteに特別掲載。 TEXT BY DO
データアナリティクス事業本部の笠原です。 Developers.IO 2022 〜技術で心を揺さぶる3日間〜 にて 「サーバーレスパターンから学ぶデータ分析基盤構築」というテーマでお話ししましたので、内容を簡単にご紹介します。 セッション動画 セッションスライド 内容 AWSが公開している「サーバーレスパターン」の中から、データ分析に使えるパターンをいくつか取り上げて紹介し、実際の構築例を交えながら簡単に紹介しています。 また、Step Functionsを用いたサーバーレスデータ分析処理について、実際に構築した際にハマったポイントを紹介しています。 サーバーレスパターン AWSが「サーバーレスパターン」として、公開しています。 ユースケース別に16パターンが公開されていますので、やりたいことベースでパターンを組み合わせて利用することができます。 今回は、サーバーレスパターンの中から、デー
インテージテクノスフィアは、マーケティングリサーチ業界国内No.1のインテージグループにおけるIT事業を担っている会社です（※GRBN調べ グループ連結売上高ベース）。 インテージグループは、独自に取得したユニークなマーケティングデータをベースに、グループ創業時から積み重ねてきたデータハンドリングのスキル、多量化多様化するデータを最適な統計手法で分析するノウハウ、そしてそれらをシステム化する技術力を高めながら、お客さまに価値あるデータを提供し、長年にわたりデータを活用するビジネスを展開しています。 データ活用にはITが不可欠であり、さらに昨今ではクラウドの利用も重要です。インテージテクノスフィアにおけるクラウドの活用状況について、また新たに取り組んでいるAIビジネスについて、インテージテクノスフィア 代表取締役社長の饗庭忍氏にサーバーワークス 代表取締役社長の大石良氏が話を聞きました。 自
最近マイクロサービスアーキテクチャが抱える課題を解決するために色々やろうとしているのでまとめてみました。 マイクロサービスアーキテクチャの採用 開発効率と疎結合な組織 開発効率と多様性 何をどこまでルール化するか 大規模なマイクロサービスアーキテクチャの難しさ マイクロサービスアーキテクト "認証認可 x ゼロトラストネットワーク x DDD x マイクロサービス" を扱うマイクロサービスアーキテクトチーム まとめ マイクロサービスアーキテクチャの採用 今さらマイクロサービスアーキテクチャ自体について自分が説明することもないのだが、 マイクロサービスアーキテクチャの目的の1つは "大人数で開発しても開発効率を落とさないこと" であると思っている。 普通に考えて "巨大なモノリスなシステムを大人数で触る" というアプローチでは限界があるだろう。 今ではモジュラモノリスという選択肢もあるので
受動意識仮説とは？ 受動意識仮説とは、意識は自ら命令を出して脳を動かしているのではなくて、脳の自立分散処理を受動的に見て、それを「あたかも自分がやったかのように錯覚する」だけだという説です。 僕らが生きている感覚では、自分で何かを考えて、何かを感じて決断し、自らを動かしていると思ってしまいます。当然のことです。しかし、実際はその感覚は錯覚だということです。 現実に脳で起きていることは、ニューラルネットワーク（無意識の小人たち）の自立分散処理を受動的に意識が「自分でやった」と錯覚するように定義されていて、意図的に行動したと僕らは思い込んでいるだけなのです。 「なんとなく理解はできるけど、納得はできないぞ？」と感じる方がほとんどかと思います。 心の5つの機能 心には5つの機能があることがわかっています。 知・情・意については、コンピュータやロボットで多かれ少なかれ再現できています。しかし、意識
はじめに このアルゴリズムの最大の強みは、ローソクチャートを観測する予測と指値注文板を観測する執行戦略を分離し、強化学習によって執行戦略を強化させたところです。これは、売買決定から注文メッセージの送信、注文決定の動きに開きがあるからです。 論文の本文は以下のリンクから読めます。 データセットは一般公開されているFI-2010データセットを使用します。また、予想モデルは以下を使用します。 実装を行なった全編は以下より見ることができます。 ※環境の構築等自信がないので、修正点など是非ご指摘頂ければ幸いです。 強化学習アルゴリズム Ape-Xアルゴリズム Ape-Xは、代表的なoff-poicyであり、以下のモデルを加味したモデルです。 Double Q-learning(Double DQN) 優先度付き経験再生(Priority Experience Reply DQN) Dueling N
![[論文解説] 強化学習による高頻度取引戦略の構築 - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/eb4aca6368c60aa60d227857cc9b366890512844/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-9f5428127621718a910c8b63951390ad.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTkxNiZoPTMzNiZ0eHQ9JTVCJUU4JUFCJTk2JUU2JTk2JTg3JUU4JUE3JUEzJUU4JUFBJUFDJTVEJTIwJUU1JUJDJUI3JUU1JThDJTk2JUU1JUFEJUE2JUU3JUJGJTkyJUUzJTgxJUFCJUUzJTgyJTg4JUUzJTgyJThCJUU5JUFCJTk4JUU5JUEwJUJCJUU1JUJBJUE2JUU1JThGJTk2JUU1JUJDJTk1JUU2JTg4JUE2JUU3JTk1JUE1JUUzJTgxJUFFJUU2JUE3JThCJUU3JUFGJTg5JnR4dC1jb2xvcj0lMjMyMTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9NTYmdHh0LWNsaXA9ZWxsaXBzaXMmdHh0LWFsaWduPWxlZnQlMkN0b3Amcz1iNzEwNGQ2ZjI1ZDU2MzQ2MWZjNDIxYzhmODU1ODg4Mw%26mark-x%3D142%26mark-y%3D112%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTcxNiZ0eHQ9JTQwc3VnaXlhbWE0MDQmdHh0LWNvbG9yPSUyMzIxMjEyMSZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT0zMiZ0eHQtYWxpZ249bGVmdCUyQ3RvcCZzPTg0ZDZjYjQxZjNlMGU4MmI4Zjk3M2UwZmM4OWMyYThl%26blend-x%3D142%26blend-y%3D491%26blend-mode%3Dnormal%26s%3Db8f76036b33757d0f252fdb82890ec85)
Amazon Auroraのシャーディングによる負荷分散を、スケーラブルなNewSQLデータベース「TiDB」で置き換えへ。高負荷なオンラインゲームにも耐えると評価［PR］
Amazon Auroraのシャーディングによる負荷分散を、スケーラブルなNewSQLデータベース「TiDB」で置き換えへ。高負荷なオンラインゲームにも耐えると評価［PR］ 複数のデータベースに負荷分散を行い、スケーラビリティを高める代表的な方法の1つに「シャーディング」があります。 シャーディングによる分散処理には、例えばあるテーブルのプライマリキーが偶数の値はサーバAに、奇数はサーバBに分散させるような方法（水平分割）、あるいは「商品名」「価格」「在庫数」「画像へのリンク」の4列を持つテーブルを、「商品名」「価格」と「在庫数」「画像へのリンク」の2列ごとのテーブルに分割して別々のサーバに受け持たせる方法（垂直分割）などがあります。 『週刊少年ジャンプ』の創刊50周年を記念して製作されたゲーム「ジャンプチ ヒーローズ」やパズルRPG「クラッシュフィーバー」「アリスフィクション」をはじめと
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
2024年はこのインフラ技術が熱い、有識者5人がそれぞれの「推し」を公開
「実践ドメイン駆動設計」から学ぶDDDの実装入門の読了メモ – rinoguchi's techlog
「LINEアプリ」「出前館」などサービス横断でマシンラーニングを担当 LINEに欠かせない技術領域を担う専門部隊の業務内容
第11回 プラットフォームを超えるWebAssembly | gihyo.jp
放送大学からはじめるAI（が少しわかる）人材への道｜lumpsucker
Dataflowが解決するストリーミング処理の課題と基盤構築で考慮すること - case-kの備忘録
BigQueryってなんだっけ? そんな君たちに教えたい本見つけた�のでまとめてみる。 - Qiita
データ分析基盤とアナリストはどちらが先か？卵と鶏問題 - Data Analystのメモ帳
Apache Beam (Dataflow) 実践入門【Python】 - Qiita
Kubernetesとの連携はどうなる？ Apache Spark 2.4 & 3.0の新機能を解説 Part1
CTOやEMを目指すエンジニアが意識したい事業視点と、副業起点の学習サイクル | Offers Magazine
オープンソースと自社開発を組み合わせて、データプラットフォームの基盤を作る LINEのデータ基盤開発部門のお仕事
CitusDB + PG-StromでScale-up+outする。 - KaiGaiの俺メモ
Cloud FunctionsとCloud Workflowsを使ってDataprocを動かしてみよう
プレイイングマネージャーのポテンシャルエナジー理論
上智大学、全職員600人が使うVDIをVMwareで構築、テレワークを実現 | IT Leaders
ふくおかフィナンシャルグループ、次世代勘定系システムをGCPで稼働 | IT Leaders
海外で広がる「バグバウンティ＝脆弱性報償金制度」、もっと日本でも！：第1回 | IT Leaders
サーバーレスパターンから学ぶデータ分析基盤構築 #devio2022 | DevelopersIO
インフラでもAIでもAWSを活用するIT事業者は、自前のデータセンターとAWSをどう使い分けているか［PR］
マイクロサービスアーキテクトという役割 - pospomeのプログラミング日記
【図解】受動意識仮説〜脳はなぜ「心」を作ったのか〜 - Mental Health Biz
[論文解説] 強化学習による高頻度取引戦略の構築 - Qiita