AWS CodeBuildのGitHub Actions runnerサポートでLambdaが実行できるようになったので検証しました CTO統括室の黒崎(@kuro_m88)です。本日早朝に面白そうな発表を目にしました👀 AWS CodeBuild now supports managed GitHub Action runners AWS CodebuildがGitHub Actionsに対応したという内容ですが、要するにAWSがホストするGitHub Actions Runnerが出たということですね🎉 AWSがマネージしてくれることで、EC2(x64, arm)はもちろん、GPUとカスタムイメージも利用できるようです。 さらに注目したのはGitHub Actions RunnerとしてAWS Lambdaが使えるようです。Lambdaが使えると嬉しいポイントはActionsのjo

CTO統括室の黒崎(@kuro_m88)です。サイバーエージェントのエンジニアを中心に直近の半年で「みんなで金塊堀太郎」という施策を行い半年で億単位のコスト削減を実現できたので、どんなことをしたのか紹介します。また、社内の半期に一度の全社表彰で表彰されたので、サイバーエージェントの表彰の文化についても触れたいと思います。 「みんなで金塊掘太郎」とは？ メディア事業管轄で「金塊堀太郎」という施策を過去実施しており、それを全社に展開したのが「『みんなで』金塊堀太郎」という施策です。具体的には、社内のエンジニアが主体となって主にシステムコスト削減のアイデアを出し合い、それを実行するものです。 「金塊堀太郎」という名前の由来は把握していませんが、社内Slackに絵文字があり一定の知名度があったと思われるため、全社展開においてもこの名前が採用されました。 社内の偉い人たちが真顔で「金塊堀太郎が〜」と

チーム勉強会で Feature Flag とトランクベース開発の話をしました （追加訂正と書かれているスライドは、勉強会後議論した結果を反映したものです）

こんにちは、インターネットゼミの小障子(@The_Ko_Show_)です。 インターネットゼミは「インターネット」について日々研究を行っているゼミです。 「インターネット」には多くの意味合いが思い浮かぶと思いますが、ゼミとしては特定の定義に限定せず広く各個人のインターネットについて研究を進めています。 インターネットゼミについてはこちらの記事をご覧ください。 インターネットゼミ開講のお知らせ 現在はオフィス近郊にラックを借りた上でAS63790を取得し、そのAS番号を用いて実験や研究を行いつつ、その結果を社内にフィードバックしています。もしピアリングやネットワーキングに興味がある方がいらっしゃればぜひご連絡ください。 インターネットゼミのインターネット構成 インターネットゼミの「Public ASプロジェクト」ではパブリックなAS番号 (AS63790) を取得し、我々が利用しているThe

AWS cafeteria #1 〜サイバーエージェント×ゆめみ×クラスメソッド 3社共催LT会〜 で発表した資料です。 https://cyberagent.connpass.com/event/303690/

タイトルは今の自分の悩みであってこの記事を読んでも特に解決はしません。 ハッカーあるいはエンジニアとは ここでいうエンジニアはソフトウェアを開発したりデリバリーしたりするためにエンジニアリングを行う職業で、今の自分の職業でもある。 ハッカーがなんなのかはよくわかっていない。ただ自分がソフトウェアエンジニアになるきっかけになった憧れのようなものを想像している。 欲しいものがなければ自分で作るし、痒い所に手が届かないものがあれば手が届くようにする。成果を公開すれば誰かがそれを使ってくれるかもしれないし、物好きな人がそれを改造してくれるかもしれない。 好きでやっているので「技術の無駄遣い」と言われるようなこともしたりする。そしてそれを楽しそうに話す。 ビジネスとマッチすれば好きなことをしながらそこそこお金ももらえるらしい。社会貢献できる機会も増えてきた。そんな存在。 Web業界のソフトウェアエン

登壇者の自己紹介 服部佑樹氏（以下、服部）：準備ができたようなので、続いてパネルディスカッションを進めていきたいと思います。 ファシリテーターを務めるのは、GitHubの服部です。よろしくお願いします。では、左から自己紹介をしていただいてよいでしょうか？ 黒瀧悠太氏（以下、黒瀧）：よろしくお願いします。GMOペパボ株式会社の黒瀧と言います。GMOペパボでちょうど10年ぐらい働いて、今は11年目になります。2012年に入社していろいろなWebサービスを開発したあとに、「SUZURI」というオリジナルグッズを作成するサービスの技術の責任者をしています。 最近、GMOインターネットグループの中で技術的な新しい取り組みや、先進的な活動をしていることを認められて、今はデベロッパーエキスパートもやっています。 業務はWebシステムがメインですが、趣味ではIoTデバイスやハードウェアを作ったり、いろいろ

ML監視は従来のソフトウェア開発の監視要素に加え、モデルや予測値、データに関する監視が必要とされています。 監視の優先順位 上述のようにML監視項目は数多くあり、いきなり全ての監視項目を導入するのは難しいです。 クラウドベンダー各社のMLOpsの成熟度モデル [3]のように、ML監視も段階的に取り組んでいくことが望ましいと言えます。 A Comprehensive Guide on How to Monitor Your Models in Productionの記事ではGoogleのMLOps成熟度モデルに合わせた監視項目を取り上げています。 引用: A Comprehensive Guide on How to Monitor Your Models in Production [4] EVIDENTLY AIが公開してるMonitoring ML systems in product

CTO統括室の黒崎(@kuro_m88)です。今回はAWS Lambdaの高速なコンテナロードの仕組みについて紹介します。 AWS Lambdaはサーバレスなマネージドサービスであり、難しいことを知らなくてもユーザ(私たち)は簡単にアプリケーションをホストでき、簡単にスケールします。 ユーザから見るとシンプルですが、その裏側では様々な仕組みがあったり最適化が行われたりしています。 マネージドサービスの裏側を必ずしも知る必要はありませんが、仕組みを知っておくとより使いこなせるはずですし、自信を持って技術選定ができるはずです。(そして何より裏側を知ることは楽しい！🤗) 本記事はUSENIX ATC 2023で発表された論文「On-demand Container Loading in AWS Lambda」の内容に基づいて、読んでいて面白かったポイントをまとめています。 On-demand

【GitHub x サイバーエージェント共催】GitHub Copilotで変わる開発文化の現実 https://cyberagent.connpass.com/event/292982/

Cloudflare Meet-up Tokyo Vol.2で発表した資料です https://cfm-cts.connpass.com/event/291753/

CTO統括室の黒崎(@kuro_m88)です。 つい最近AWSからIPv4の料金体系の変更が発表されました。 新着情報 – パブリック IPv4 アドレスの利用に対する新しい料金体系を発表 / Amazon VPC IP Address Manager が Public IP Insights の提供を開始 AWSのパブリックIPv4アドレスの料金体系の変更後の影響、コスト削減のための対応策の検討、サイバーエージェントグループにおけるIPv6の推進活動についてご紹介いたします。 変わること 今までは VPC 内のリソース、Amazon Global Accelerator、AWS Site-to-Site VPN トンネルに割り当てられた、使用中のパブリック IPv4 アドレス（AWSが提供するパブリック IPv4 アドレスおよび Elastic IP アドレスを含む） という条件であれば

サイバーエージェントのGitHub CopilotのAnalyticsデータを公開！利用開始から約3ヶ月でエンジニアの生産性は向上したのか？ CTO統括室の黒崎(@kuro_m88)です。サイバーエージェントでは2023年4月下旬より、GitHub Copilotの導入を開始しました。 「実際のところどうなの？」という情報がまだまだ少ないと思われるので、本記事では導入から約3ヶ月が経過した現在の利用状況を公開します。 GitHub Copilotの利用状況 2023年7月現在、サイバーエージェントでは500名以上のエンジニアがGitHub Copilotを利用しています。 追記 7/20: そしてこの数字はGitHubによると現時点で日本で一番多いそうです🎉 サイバーエージェントではGitHub Enterpriseが導入されており、事業部や事業単位でOrganizationを保持してお

AI事業本部の黒崎( @kuro_m88 )です。 MySQL、PostgreSQLのようなRDBとAmazon DynamoDBやCloud SpannerのようなNoSQL、NewSQL系のDBを比較したときに、後者はRDBのauto incrementのような機能を実装しようとすると前者と比較して性能が出ない問題があります。この問題に対してRedisのLua Scriptingを用いて採番用のキャッシュを実装し、併用することで高速化した事例を紹介します。 本記事ではAmazon DynamoDBやCloud Spannerが採用されている環境を想定します。特に特定のDBに依存した考え方ではないので、その他のKVSやKVSベースのNewSQLにも応用できる考え方かと思います。手法を検討するのに使ったコードはGoで実装しました。 前提 前提としてKVSのような分散DBにおいて、auto

Akamai x UNIQLOコラボのTシャツのデザインが、エンジニアからすると目を引くようなものだった。 本日、Akamaiは @UNIQLO_JP のチャリティTシャツプロジェクト「PEACE FOR ALL」に参画したことを発表4月21日(金)より グローバルで発売されます。このデザインには人々の安全、安心を守りたいというAkamaiの願いが込められています。https://t.co/HVxINmoEzd#AkamaiPeaceForAll #Uniqlo #アカマイ pic.twitter.com/dIS9YOQVZM— アカマイ･テクノロジーズ (@akamai_jp) 2023年4月14日 Akamaiのリリース記事を読むと、 Akamai、ユニクロのチャリティTシャツプロジェクト「PEACE FOR ALL」に参画｜アカマイ・テクノロジーズ合同会社のプレスリリース このデザイ

開局から７年を迎える新しい未来のテレビ「ABEMA（アベマ）」は、“テレビの再発明“に挑戦しています。 昨年に開催された「FIFA ワールドカップ カタール 2022」では全64試合無料生中継を実施し、デイリーアクティブユーザーが 1700万人を突破、ウィークリーアクティブユーザーが3400万人を突破するなど多くの日本の皆様に視聴していただきました。 今年の「ABEMA Developer Conference 2023」のコンセプトは「日本が熱狂できる場を作るABEMAの挑戦と挑戦からみえた新しい未来」です。 本大会に向けて技術者が５つの挑戦、「サービスを絶対に落とさない」、「サッカー観戦に最適化したUIUX」、「地上波レベルの高画質配信」、「マルチデバイス」、「ハイライトの最速配信」に取り組みました。 この５つの挑戦の過程とそれを乗り越えたからこそ見えた新しい未来についてお伝えします。

作ったもの ikku-go というライブラリを作ったので公開しました。 github.com ロゴ画像(?)はStable Diffusionで生成しました。 575を検知したい このライブラリは何気ない会話から575が生まれているという気づきを与えてくれます。 もともとはr7kamuraさんの ikku を使っていたのですが、最近はgoを使うことが多かったため、go版も欲しくなったのが実装理由です。 実装の大部分を参考にさせていただきました。 GitHub - r7kamura/ikku: Discover haiku from text. 使い方 非常に簡単で、引数にとった文字列から5-7-5の形になっている部分を抽出します。 オプションで別途ルールを渡すことで、短歌のような5-7-5-7-7の型式にも対応可能です。 https://pkg.go.dev/github.com/kuro

この記事は CyberAgent Developers Advent Calendar 2022 の6日目の記事です。 AI事業本部の黒崎(@kuro_m88)です。CyberAgent Developers Advent Calendar 8回目の参戦です！ 今年はCloudflare Zero Trustを利用してオフィスでもリモートワークでも安全に必要な人だけが開発環境にアクセスできる仕組みを作ったので、それについてご紹介します。 開発環境におけるアクセス制御の課題 私が所属するサイバーエージェント AI事業本部の小売DX部門では様々な小売企業のアプリやCDPと呼ばれるデータ基盤の開発をしています。 事業内容についてはこちらをご参照ください。 この組織では、立ち上げから2年以上が経過し、組織として抱えるプロジェクトやメンバ、職種がかなり多くなってきました。 大きな組織の中で複数の顧客

基礎編 / 応用編１ / 応用編２ サイバーエージェント AI Lab の Conversational Agent Teamに所属している兵頭です。今回は私が半年ほど蓄積したONNXのチューニングテクニックを全てブログに残したいと思います。皆さんが既にご存知であろう基本的なことから、かなりトリッキーなチューニングまで幅広くご紹介したいと思います。長文になりますがご容赦願います。 このブログのメインターゲット層は「リサーチャーが実装したモデルを実環境へデプロイするタスクを有する方々」です。一部リサーチャーの方々の参考になる情報が混じっていることもあるかもしれませんが、あまり興味を引かない内容だとは思います。リサーチャーメインの組織に属しながらリサーチエンジニアの立ち位置で身を投じていますので、研究の観点の少し手前あるいは少しその先の部分を担っている立場からこのブログを記載しているものとご認

約5年5か月働いたTreasure Dataを7/22に退職した。7/25からShopifyに入社し、RustでJITコンパイラを開発してRubyを高速化する仕事をする。 仕事としてやりたい分野が変わってきて自分は今回転職したけど、とても良い会社なので、この記事がTreasure Data (以下TD) で働くことに興味がある人の参考になれば良いと思っている。*1 5年勤続記念にいただいたトロフィー やっていたこと APIチーム 元々TDにはJavaで分散システムを書きたくて入社したのだが、TD入社前に特にそういう経験があるわけでもなく主にRailsをやっていたこともあり、Railsでプラットフォームを開発するチームに入った。基盤開発をやりたいと思いながらサービス開発者として最初働き、後に基盤開発チームにジョインするみたいな過去の経験があったので、今回もそういう感じでいけると考えていた。実