AWS Cloud Development Kit(CDK)でURL短縮サービスを作ってみた | DevelopersIO
サーバーレスなURL短縮サービスを Python 版 AWS CDK で作るウェビナーを見つけたので、動かしてみました。 最終的には下図のようなサーバーレスなインフラを構築します。 ※図はウェビナーから引用 構築された URL 短縮サービスを触ってみます。 targetUrl に URL を渡し、短縮 URL を生成します。 $ curl https://go.example.info?targetUrl=https://aws.amazon.com/cdk/ Created URL: https://go.example.info/4692efec 短縮 URL でアクセスすると、元の URL にリダイレクトされます。 $ curl -I https://go.example.info/4692efec HTTP/2 301 date: Wed, 09 Oct 2019 10:03:35
継続事前学習による金融ドメイン特化LLMの構築の検証 - Preferred Networks Research & Development
この記事は、金融チームエンジニアの今城(@imos)と金融チームリサーチャーの平野(@_mhirano)による寄稿です。 概要 本稿では、ドメインに特化したLLMの構築の一環として、金融ドメイン特化のLLMの構築の検証を行いました。継続事前学習によるドメイン知識の獲得を模索し、特定のドメイン向けに専用のパラメータ数が多い高性能なLLMを提供を可能にすることを目指します。 実験では、nekomata-14bとPFNで構築した金融に特化したデータセットを用いて、継続事前学習を実施しました。 継続事前学習の結果として、金融ベンチマーク性能が向上することが確認できました。 出力の差としては、Instruction Tuningを施していないため、大きな差は見られないものの、一定の差が見られるケースもありました。 継続事前学習後のモデルは、https://huggingface.co/pfnet/n
[AAAI2021採択論文] 深層学習による株価予測 - Preferred Networks Research & Development
こんにちは。エンジニアのいもす (今城 健太郎) です。現在、投資ファンドを作るため金融時系列の予測モデルの研究開発を行っています。その予測モデルについて、PFN の今城健太郎・南賢太郎・伊藤克哉と野村アセットマネジメント株式会社の中川慧氏が共同で執筆した論文が、人工知能分野における世界トップクラスの国際会議である AAAI 2021 に採択されました。 今回採択された論文 Deep Portfolio Optimization via Distributional Prediction of Residual Factors では、深層学習を用いたポートフォリオ最適化を、様々な金融時系列の性質を帰納バイアスとして導入することで改善する手法を提案しました。本記事では、深層学習のモデル設計という観点でどのような面白さがあるかに触れつつ、採択論文について簡単に紹介します。 はじめに: 帰納バイ
![[AAAI2021採択論文] 深層学習による株価予測 - Preferred Networks Research & Development](https://cdn-ak-scissors.b.st-hatena.com/image/square/f5c641375ef30b37aca5e7d60b9ebd17be44d897/height=288;version=1;width=512/https%3A%2F%2Ftech.preferred.jp%2Fwp-content%2Fuploads%2F2020%2F12%2Fblog-fig3.png)
Best Practices for Working with Configuration in Python Applications - Preferred Networks Research & Development
Home Blog Best Practices for Working with Configuration in Python Applications Most computer applications can be configured to behave a certain way, be it via command line flags, environment variables, or configuration files. For you as a software developer, dealing with configuration comes with challenges such as parsing untrusted input, validating it, and accessing it on all layers of your progr
Coursera の新しい Modern Application Development 専門講座を発表 | Amazon Web Services
Amazon Web Services ブログ Coursera の新しい Modern Application Development 専門講座を発表 この記事は、2021年7月28日に Anand Tripathi によって投稿された Announcing new modern application development Specializations on Coursera を翻訳したものです。 International Data Corporation (IDC) は、2025年までに新しいアプリケーションの 90% 以上がクラウドネイティブになると予測していますが、最新のエンタープライズアーキテクチャに関する知識を持つ従業員が大幅に不足しています。Burning Glass は、米国だけでも200万以上のプログラミング言語ベースの開発者の求人数があると推定しており、今後10
[Cloud Development Kit ] LINEアプリのサンプルをCDKで書き直して見て、その凄さを実感しました | DevelopersIO
[Cloud Development Kit ] LINEアプリのサンプルをCDKで書き直して見て、その凄さを実感しました 1 はじめに CX事業本部の平内（SIN）です。 昨日、GAとなった AWS Cloud Development Kit (AWS CDK) 凄すぎます。 完全に、上の記事の真似事なんですが・・・私も、早速やってみたい！って事で、先日、作ったAWS SAM + TypeScriptで作成したLINE Bot のサンプルをAWS CDKで書き直してみました。 2 プロジェクト作成 CDKのコマンド initでプロジェクトを作成します。 $ mkdir line-sample $ cd line-sample [line-sample]$ cdk init app --language=typescript 3 Lambda 続いて、プロジェクトの階層下にsrc/lamb
![[Cloud Development Kit ] LINEアプリのサンプルをCDKで書き直して見て、その凄さを実感しました | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/b6f18c077a46ff42978cf3d487984a8b3056f9d2/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2019%2F05%2Faws-tools-and-sdks.png)
Introducing the Cloud Development Kit for Terraform (Preview) | Amazon Web Services
AWS Developer Tools Blog Introducing the Cloud Development Kit for Terraform (Preview) Infrastructure as Code (IaC) is a fundamental component of modern DevOps practices because it enables you to deploy any version of your application infrastructure at will, and facilitates the full lifecycle management of all the resources required to run and monitor your application. Organizations who have adopt
Learning operating system development using Linux kernel and Raspberry Pi
Learning operating system development using Linux kernel and Raspberry Pi Learning operating system development using Linux kernel and Raspberry Pi This repository contains a step-by-step guide that teaches how to create a simple operating system (OS) kernel from scratch. I call this OS Raspberry Pi OS or just RPi OS. The RPi OS source code is largely based on Linux kernel, but the OS has very lim
[2023/10/06 - Four Keysで改善する開発生産性] フロントエンド開発における、 デプロイ頻度を上げるための テスト設計と仕組みづくりのヒント / Tips for designing and structuring tests to increase deployment frequency in front-end development
2023/10/06にオンラインでタイミーさんと共同開催させてもらった「Four Keysで改善する開発生産性〜データ・モバイル・フロントエンド〜」での資料です。 https://uzabase-tech.connpass.com/event/294494/ === セクション② フロントエンド開発における、デプロイ頻度を上げるためのテスト設計と仕組みづくりのヒント https://www.youtube.com/live/mrfTRtL8gOI?feature=shared&t=1856
![[2023/10/06 - Four Keysで改善する開発生産性] フロントエンド開発における、 デプロイ頻度を上げるための テスト設計と仕組みづくりのヒント / Tips for designing and structuring tests to increase deployment frequency in front-end development](https://cdn-ak-scissors.b.st-hatena.com/image/square/60e555b2900801a1c6cc52f41796765a4a92a91a/height=288;version=1;width=512/https%3A%2F%2Ffiles.speakerdeck.com%2Fpresentations%2F5c3a4c39012049358f4cdea43d34ba5e%2Fslide_0.jpg%3F27291210)
How GitHub Copilot Transforms Development Productivity
【ハイブリッド開催】GitHub Copilotで拓く開発生産性 https://timeedev.connpass.com/event/292962/ 事例セッション「GitHub Copilotで開発生産性はどのように変わるのか」
Intel VT-x Hypervisor Development in RustThis article will cover the development of a minimalistic Intel VT-x research hypervisor in Rust. We will use the x86 crate and documentation, which help simplify the code. Credit and acknowledgments are given to the following individuals and their respective blogs or repositories for their invaluable contributions and references: @daax_rynd, @Intel80x86, @
PFNで10年続く読書会について - Preferred Networks Research & Development
総務・ファシリティ担当のやまかつです。初blogなので軽く自己紹介します。4年前にインテリア設計事務所からPreferred Networks (PFN)に総務担当として入社しました。ワークスペースや実験環境の構築や運営維持が主な仕事ですが、実は入社前から読書会のことは噂に聞いており、当時から参加することを楽しみにしていました。本好き・本屋好きです。 PFNが読書会について社外に紹介するのは初めてかもしれません。PFNの前身であるPFI時代から10年以上毎週続いている社内イベントです。読書会の紹介を通じて、みなさんにPFN社内の雰囲気を少しでもお伝えできればと思いblogにまとめてみました。併せて、読書会から派生した夏のインターン向け企画「PFNメンバーによる選書」についてもご紹介します。 PFN読書会とは PFN読書会とは、社員が最近読んだ本を紹介する会です。当初は知見を広めることが主な
TypeScript Custom GitHub Action Development Tips
GitHub Actions における JavaScript/TypeScript Custom Action の開発・運用知見を紹介します！ 2024-05-16 GitHub Actions Meetup Tokyo #3 にて発表 https://gaugt.connpass.com/event/317178/ 会場：株式会社サイバーエージェント Abema Towers YouTube 配信アーカイブ https://www.youtube.com/watch?v=mR684-oSAJw
Introduction to software development methods for infrastructure engineer
「Battle Conference Under30」 登壇資料 https://bcu30.jp/2019/ インフラエンジニアの為のソフトウェア開発手法入門 https://bcu30.jp/2019/talk/motouchi-shuya/ ソフトウェア開発手法はインフラエンジニアには関係がないと思っている方も多いようです。しかし、ミドルウェア開発やソフトウェアによる自動化によってインフラエンジニアもコードを書く機会が増えました。本発表では、世のいくつかの開発手法やアーキテクチャに言及し、インフラエンジニアの開発がどのように変移してくのか発表します
This article brought to you by LWN subscribersSubscribers to LWN.net made this article — and everything that surrounds it — possible. If you appreciate our content, please buy a subscription and make the next set of articles possible. The Rust programming language has long aimed to be a suitable replacement for C in operating-system kernel development. As Rust has matured, many developers have exp
GitHub - tailwindlabs/heroicons: A set of free MIT-licensed high-quality SVG icons for UI development.
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
NuShell: the shell where traditional Unix meets modern development, written in Rust
NuShell: the shell where traditional Unix meets modern development, written in Rust We interviewed its creators We interviewed its creatorsShells have been around forever and, for better or for worse, haven’t changed much since their inception. Until NuShell appeared to reinvent shells and defy our muscle memory. It brought some big changes, which include rethinking how pipelines work, structured
Apache Ozoneをやっていた一年 - Preferred Networks Research & Development
Why Apache Ozone? これまでPFNでは増え続けるデータやユースケースに対応するために、スケールアウト可能なストレージシステムをずっと模索し続けてきました。シミュレーションを基軸とした戦略を採用した[1]ことによりデータ量はさらに増加し、データ保管システムの重要性は高まっています。 Preferred Networks におけるHadoop – Preferred Networks Research で解説した基本的な要件は今でも変わっていませんが[2]、現在メインのシステムとして運用している Hadoop (HDFS) にはいくつかのシステム運用上の課題があります。たとえば、一番大きなHadoopクラスタは現時点で物理的に10PB近くのディスク容量を持っていますが、Ubuntu 16.04で動作しています。OSのバージョンアップを伴うクラスタのIn-placeなアップグレー
Next.js + Storybook Addon | Storybook: Frontend workshop for UI development
A no config Storybook addon that makes Next.js features just work in Storybook Storybook Addon Next ⚠️ DEPRECATED ⚠️ This addon has been deprecated in favor of @storybook/nextjs which is the Storybook official addon for supporting Next.js features in Storybook. It supports everything storybook-addon-next does and much more! I even worked on developing this with them so you should be in good hands.
動的な計算グラフの型とshapeの“半”静的推論 - Preferred Networks Research & Development
本記事は、2019年インターンとして勤務した服部桃子さんによる寄稿です。 こんにちは、2019年度PFN夏季インターン生の服部桃子と申します。 私は今回のインターンで、Chainerを用いてニューラルネットワークを記述しているPythonスクリプト中の式の型とshapeを “半”静的に推論するというプロジェクトに取り組みました。 なお以下の話のより詳細な内容については、6/15から開催される国際会議 PLDI 2020 (ACM SIGPLAN Programming Language Design and Implementation) 併設のワークショップ MAPL 2020 (the 4th Annual Machine Learning and Programming Languages Workshop) で発表してきます。 PLDIはプログラミング言語の設計と実装に関する最高峰
GitHub - wesql/wescale: WeScale is a database proxy that cares about your application, the development experience, and supports OnlineDDL.
Connection Management: WeScale efficiently manages connections to your database, reducing the overhead on your application and improving performance. WeScale relieves you of the worry of the max_connection problem in your database. Read Write Split: WeScale simplify application logic by automatically routing read queries to read-only nodes and write queries to the primary node. This is achieved by
Build Spin up new environments quickly Develop your own unique applications with Docker images and create multiple containers using Docker Compose. Integrate with your existing tools Docker works with all development tools such as VS Code, CircleCI, and GitHub. Containerize applications for consistency Run in any environment consistently from on-premises Kubernetes to AWS ECS, Azure ACI, Google GK
Testing infrastructure with the AWS Cloud Development Kit (CDK) | Amazon Web Services
AWS Developer Tools Blog Testing infrastructure with the AWS Cloud Development Kit (CDK) The AWS Cloud Development Kit (CDK) allows you to describe your application’s infrastructure using a general-purpose programming language, such as TypeScript, JavaScript or Python. This opens up familiar avenues for working with your infrastructure, such as using your favorite IDE, getting the benefit of autoc
software-development/commit-messages.md at master · aaronjensen/software-development · GitHub
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
Rust Web Development
Create bulletproof, high-performance web apps and servers with Rust. In Rust Web Development you will learn: Handling the borrow checker in an asynchronous environment Learning the ingredients of an asynchronous Rust stack Creating web APIs and using JSON in Rust Graceful error handling Testing, tracing, logging, and debugging Deploying Rust applications Efficient database access Rust Web Developm
AWS CDK(Cloud Development Kit )で、CodePipeline、CodeCommit、CodeBuildを使用した開発環境を作ってみました | DevelopersIO
AWS CDK(Cloud Development Kit )で、CodePipeline、CodeCommit、CodeBuildを使用した開発環境を作ってみました 1 はじめに CX事業本部の平内（SIN）です。 今回は、AWS CDKで、CodePipeline、CodeCommit、CodeBuildを使用した開発環境を作ってみました。デプロイされるのは、Lambdaファンクションのみです。 CodeCommitのリポジトリで、developブランチをコミットすると、dev環境のLambdaが更新され、masterブランチでprd環境が更新されるようになってます。 2 リポジトリ作成 最初に、CodeCommitでリポジトリを作成します。 スタックの中で作成することも可能ですが、その場合、スタックの削除でリポジトリも消えてしまうので、ちょっと運用上まずいかと思います。 $ aws
深層学習のための分散キャッシュシステム - Preferred Networks Research & Development
エンジニアの上野です。Cluster Servicesチームという、PFNのKubernetesベースの機械学習基盤を開発・運用するチームに所属して、基盤の改善や新機能の開発に務めています。本記事では、深層学習における学習データセット読み込み速度の改善を目指して開発し、現在もKubernetes上で運用中の分散キャッシュシステムを紹介します。 PFNの機械学習基盤については、ブログ「2022年のPFNの機械学習基盤」もご参照ください。 深層学習における学習データセット読み込み 深層学習を高速化するため、深層学習に向いたアクセラレータの開発が日々続けられています。PFNで開発しているMN-Coreシリーズや、NVIDIA社製GPUもそのひとつです。これらのアクセラレータは高速に行列演算を行うことができ、深層学習の1イテレーションにかかる時間を高速化、ひいては深層学習を活用する研究開発全体を加
分散深層学習における耐故障性と可塑性 - Preferred Networks Research & Development
ImageNetを15分で学習して以来 [1]、Chainerと沢山のGPUを使って深層学習を並列化し、一回の学習に必要な時間を大きく短縮することができるようになりました。その後、ImageNetの学習は深層学習における並列化 ・高速化のデファクト標準ベンチマークとなりました [2]。それと同時に、深層学習の並列化および大規模化は進み、複数GPUどころか複数ノードで学習することは当たり前のこととなりました。深層学習の計算が大規模化し所要時間はどんどん短くなりましたが、一般的にはノードが増えれば増えただけ部分故障の確率は高くなります。また、大規模なクラスタでは個々の分散ジョブをスケールアウトしたりスケールダウンする機能、つまり可塑性をもとにした計算資源のやりくりが運用上重要になってきます。そこでChainerを拡張し、分散深層学習に耐故障性だけでなく可塑性を導入する実験を行いましたので、ここ
MN-3が動き出します - Preferred Networks Research & Development
Preferred Networksは，2019年にMN-2を稼動させました．MN-2は1024基の NVIDIA V100 GPUを搭載するクラスタで，現在もMN-1と共に、PFNの主要な負荷を担っています．MN-2に引き続いて，次世代のPFNの計算基盤として，神戸大学の牧野教授のグループと共同で開発した MN-Core™ を計算アクセラレータとして採用した計算機クラスタ MN-3 を稼動させます． 計算基盤担当の土井といいます．前回PFN blogを書いたのはMN-2のときなので， だいたい1年近く前になると思います．その後世の中も大きく変化しましたが， PFNの計算機クラスタも一つの変革期を迎えます．PFNの計算アクセラレータの 計画は2017年から本格化しましたが，その成果の一つがMN-Coreです． そして，MN-Coreを利用した計算機クラスタ MN-3 は，2018年末の 展
Learn LangChain directly from the creator of the framework, Harrison Chase Apply LLMs to your proprietary data to build personal assistants and specialized chatbots In LangChain for LLM Application Development, you will gain essential skills in expanding the use cases and capabilities of language models in application development using the LangChain framework. In this course you will learn and get
GitHub - runfinch/finch: The Finch CLI an open source client for container development
Finch is an open source client for container development. Its simple installer provides a minimal native client along with an opinionated distribution of other open source components. Rather than creating even more options to reason about and choose from, Finch aims to help promote other projects by making it easy to install and use them, while offering a simple native client to tie it all togethe
Why Rust is the Future of Game Development | thefuntastic
Rust, not related to the video game also called Rust, is a promising systems programming language with novel features ideally suited for game development. Exposure and awareness within the game developer community, however, remains limited. In this post, I provide a gentle introduction to Rust and attempt to justify its place on your radar. A Short History LessonWhat is Rust, and where did it com
Tips and Tricks for Linux development with WSL and Visual Studio Code
Tips and Tricks for Linux development with WSL and Visual Studio Code In an earlier blog post, An In Depth Tutorial on Linux development on Windows with WSL and Visual Studio Code, we showed you how to set up Windows Subsystem for Linux (WSL) and Visual Studio Code for Linux development. In this post, we’ll go into more detail and provide tips and tricks to further enhance Linux development on Win
GitHub - jtbennett/create-ts-project: Create Typescript monorepo projects with project references, jest, eslint and prettier configured and ready for development.
Create TypeScript Project generates a ready-for-dev monorepo for projects using TypeScript project references, yarn (v2), jest, eslint and prettier. The generated repo includes scripts to help manage dependencies between packages in the repo. And it includes GitHub Actions for lint/test/build on every push or PR, publishing modules to NPM, and packaging NodeJS apps in Docker images. The short vers
GitHub - pkivolowitz/asm_book: A book teaching assembly language programming on the ARM 64 bit ISA. Along the way, good programming practices and insights into code development are offered which apply directly to higher level languages.
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
アクセシブルなフロントエンド開発のこれまでとこれから / the past and future of accessible front-end development
JSConfJP 2021 発表資料 昨今アクセシビリティに関する興味関心が増えてきた中で、SPAといったWebアプリケーションにおけるアクセシビリティを考慮した実装についてはまだ認識が広まっていないように感じます。 フロントエンドフレームワークを使ってより良いアクセシビリティ実装をするにはどうすればいいかの方法、その結果どういう形で伝わっているかを紹介しようと思います。 またWebアプリケーションでHTMLを使ってUI実装することに限界を感じており、それを解消するためのReactGUIやHeadless UIといった新たなアプローチにおける期待についても紹介したいと思っております。
How we built the Grafbase local development experience in Rust
How we built the Grafbase local development experience in Rust Grafbase provides an edge-native GraphQL platform that combines multiple data-sources into a single API and includes a serverless database, search, edge caching, preview environments and much more. Around May 2022 we started working on a local development experience, written in Rust, to mirror this functionality locally and allow you t
システム内製の原則 / principles-of-in-house-system-development
ラクス様主催の勉強会のLT枠で発表させていただきました(https://rakus.connpass.com/event/161744/)
小規模図書館における”必要十分な”デジタルアーカイブの構築について / Development of Digital Archives in small libraries, 2020
2020年5月26日に行った、株式会社ブレインテック社員向け研修のスライド。
2019年 PFN夏季インターンシップのコーディング課題公開 - Preferred Networks Research & Development
Preferred Networks 2019 夏季インターンシップの選考で用いたコーディング課題を github 上で公開しました。 https://github.com/pfnet/intern-coding-tasks PFN 楠本です。PFN では毎年8月9月の夏季休暇に約2ヶ月間の長期インターンシップを行っています。コーディング課題はその選考で応募者のプログラミング能力や問題解決能力を見るために出題させて頂いているものです。今年は「機械学習・数理」「バックエンド」「フロントエンド」「チップ」「性能最適化」「コンピュータービジョン(Chainer)」の6種類のコーディング課題を用意し、応募者の希望テーマに応じてこのうちのいずれかを解いていただく形にしていました。 今年のインターンシップでは去年をさらに上回る数の応募を頂きました。PFN では来年以降もインターンシップを開催する予定で
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Hypervisor Development in Rust Part 1
Supporting Linux kernel development in Rust
Docker: Accelerated Container Application Development
LangChain for LLM Application Development