並び順

ブックマーク数

期間指定

  • から
  • まで

161 - 200 件 / 5430件

新着順 人気順

csvの検索結果161 - 200 件 / 5430件

  • また make の話してる(2020年9月14日) - なにもわからない

    私の大好きな Makefile の話が盛り上がっていたのでまとめました。 「やめてね。」って方はお声がけください。 同じ会社にいるけど、真逆の感想を持っている。Makefile読まないと副作用が分からないし、Rakefile/package.jsonだけで済むのに無駄に1つレイヤ増えていて、Makefileできたときからいる人は楽だけど、途中から入った人にとっては学習コストが高い。 https://t.co/EXtmI3xl72— 神速 (@sinsoku_listy) 2020年9月13日 golangでMakefileを使うのは分かる。 ただ、RubyやNode.jsのリポジトリなら $ git clone xxx $ cd xxx $ bundle install && rake もしくは npm install && npm test で環境構築ができることを期待する。— 神速 (

      また make の話してる(2020年9月14日) - なにもわからない
    • SQL Training 2021

      Transcript SQL 株式会社 AI Shift 三宅 悠太 1. データベース 2. SQL I 3.トランザクション 4. データベース設計 5. インデックス 6. 実行計画 7. SQL II データベース データベースとは “A database is an organized collection of inter-related data that models some aspect of the real-world “ (CMU) データベースとは、実世界のある側面をモデル化した、秩序 だった、相互に関連したデータの集まり DBMS • データベース管理システム(DBMS)は、データベースを管理するソフトウェア ◦ 例:MySQL, Oracle Database, SQLite, MongoDB • DBMSの目的は、アプリケーションが簡単にデータベースにデー

        SQL Training 2021
      • 分散データシステム入門の決定版『データ指向アプリケーションデザイン』をたった30分で学んでみた #DataEngineeringStudy | DevelopersIO

        基調講演「30分でわかるデータ指向アプリケーションデザイン」 ・ スピーカー 斉藤 太郎氏  Twitter:@taroleo / Github:@xerial Principal Software Engineer , Treasure Data 東京大学理学部情報科学科卒。情報理工学 Ph.D。データベース、大規模ゲノムデータ処理の研究に従事。その後、スタートアップであるTreasure Dataに加わり、アメリカ、シリコンバレーを拠点に活動中。日本データベース学会上林奨励賞受賞。OSSを中心にプログラミングやデータ処理を簡単にするためのプロダクトを作成している。 「30分でわかるデータ指向アプリケーションデザイン」最新の論文にも触れながら、分散データシステムの世界の魅力を伝えていきます。後半、@tagomoris https://t.co/TQ2TnsFIOT… — Taro L.

          分散データシステム入門の決定版『データ指向アプリケーションデザイン』をたった30分で学んでみた #DataEngineeringStudy | DevelopersIO
        • おうちの回線速度をお手軽に可視化してみよう | IIJ Engineers Blog

          2018年新卒入社。名古屋支社にてSI中心にお仕事をするエンジニア。仕事ではサーバやミドルウェアを、趣味ではウェブやアプリを弄っています。 【IIJ 2022 TECHアドベントカレンダー 12/21(水)の記事です】 はじめに 名古屋支社の kmmt-t です。 今年の夏頃、インターネットの回線速度を測定するブームがありました。(なぜ?については触れませんが・・・) 俗に言われる「回線速度」というものは、時間帯やご近所さんの利用状況などの様々な要因で変化するものなので1回だけ測ったところで大した意味は持たないでしょう。先日公開された弊社のハンズオン研修の1つである「監視Overview」でも述べられている通り、何かのシステムを監視するのであれば「可視性」「通知性」「特定性」「分析性」を重視しなければなりません。・・・例えそれが自宅のインターネット回線であっても! というわけで今回は、以下

            おうちの回線速度をお手軽に可視化してみよう | IIJ Engineers Blog
          • 「自動テストとテスト駆動開発、その全体像」を執筆しました(Software Design 2022年3月号) - t-wadaのブログ

            【更新】寄稿した記事が Web に公開されました 技術評論社様のご厚意により、 Software Design 2022年3月号に寄稿した「自動テストとテスト駆動開発、その全体像」が gihyo.jp にて公開されました。誠にありがとうございます! gihyo.jp はじめに 2022年2月18日発売の Software Design 2022年3月号 にて、第2特集「そろそろはじめるテスト駆動開発」の第1章「自動テストとテスト駆動開発、その全体像」を執筆いたしました。第1章では、混同されることの多い自動テスト関係の概念を自動テスト、テストファースト、テスト駆動開発(TDD: Test-Driven Development)の3つの段階に分け、それぞれの効果や注意点を包括的に整理整頓しています。 ソフトウェアデザイン 2022年3月号 作者:大竹 章裕,瀬戸口 聡,庄司 勝哉,光成 滋生,

              「自動テストとテスト駆動開発、その全体像」を執筆しました(Software Design 2022年3月号) - t-wadaのブログ
            • 画像生成AI「Stable Diffusion」で崩れがちな顔をきれいにできる「GFPGAN」を簡単に使える「Stable Diffusion web UI(AUTOMATIC1111版)」の基本的な使い方

              「Stable Diffusion web UI(AUTOMATIC1111版)」は他のUIには搭載されていない機能なども盛り込んだ、いわば決定版の「Stable Diffusion」のUIといえますが、それだけにやれることが多いので、どこをどう触ればよいか悩むこともあるはず。 この記事ではまず、「Stable Diffusion web UI(AUTOMATIC111版)」のうち、テキストから画像を生成する「txt2img」の基本的な使い方をまとめています。 ◆目次 ・1:最も簡単な使い方 ・2:「txt2img」タブ内の各項目はどういう意味なのか? Stable Diffusion web UI(AUTOMATIC1111版)は画像生成AI「Stable Diffusion」を使うためのUIの1つ。Stable Diffusionの利用にはNVIDIA製GPUが必要で、該当するPCにS

                画像生成AI「Stable Diffusion」で崩れがちな顔をきれいにできる「GFPGAN」を簡単に使える「Stable Diffusion web UI(AUTOMATIC1111版)」の基本的な使い方
              • サヨナラHeroku 〜アプリケーションの知識だけで本番稼働を実現できる無料のプラットフォームを追い求めて〜

                はじめに Herokuの無料枠がもうすぐ消滅する(2022/11/28)ので、ソフトウェアエンジニアリングを勉強中の初学者の方々は、ポートフォリオの置き場所に頭を抱えることが確定しています。本稿では、その代替手段として、お金をかけず、かつなるべくアプリケーションの知識だけで、ポートフォリオの本番稼働を実現できる最適なプラットフォームを決定し、具体的な導入方法までを説明したいと思います。 オルタナティブHeroku まず海外にはオルタナティブHerokuを謳っているプラットフォームはそれなりにあります。その中で無料枠があってポートフォリオを公開するのに適していそうなプラットフォームは以下の通りです。 Cyclic Deta Fly.io Koyeb Railway Render AWSやGCPなどのメジャーなクラウドベンダーの中にも、それに類するサービスは存在しますが、場合によってはコンテナ

                  サヨナラHeroku 〜アプリケーションの知識だけで本番稼働を実現できる無料のプラットフォームを追い求めて〜
                • 「データ分析をやるならRとPythonのどちらを使うべき?」への個人的な回答 - 渋谷駅前で働くデータサイエンティストのブログ

                  (Background image by Pixabay) 最近また「データ分析をやるならRとPythonのどちらでやるべきか」という話題が出ていたようです。 言語仕様やその他の使い勝手という点では、大体この記事に書いてあることを参考にすれば良いと思います。その上で、人には当然ながら趣味嗜好がありますので、個々人が好みだと思う方を使えば良い話ではあります。 とは言え、僕自身もクソコードの羅列ながらこのブログにR & Pythonのコードを載せているということもあるので、便乗して今回の記事では僕個人の意見と感想も書いてみようと思います。いつもながらど素人の意見(特にPythonは本業ではない)なのと、自分がメインに使っているRでもtidyverseをほとんど使わないなど割とout-of-dateな使い方をしているということもあり、読んでいておかしなところなどあればどしどしご指摘くださると有難

                    「データ分析をやるならRとPythonのどちらを使うべき?」への個人的な回答 - 渋谷駅前で働くデータサイエンティストのブログ
                  • スプレッドシートとAWSでコストかからない業務システムを作る設計TIPS

                    はじめまして @shimma です。本業はD2C企業のCTOとして働く傍ら、業務支援として複数社、インフラを中心に直接手を動かして、社内で横展開できるような設計・コードベースをご提供しています。 枯れた技術で コード行数少なく 運用コストかからず 8-9割くらいのことを解決できる こちらが私の設計がポリシーです。 世の中9割はスプレッドシートで解決できる 私達の想像以上に、世の中の困りごとの大半はスプレッドシートやエクセルで解決ができます。エンジニアに依頼しなくても直接ロジック変更できるなど、組織リソースの有効化としてもメリットあります。 一方、複雑な数式やマクロにすべてを寄せ切り、ロジックを育てていくと、メンテナンスが困難を極めていきます。この記事を読んで頂いている技術者の方々であれば 複雑な箇所はコードによせて 変更しやすい所はスプレッドシート/Google App Script とい

                      スプレッドシートとAWSでコストかからない業務システムを作る設計TIPS
                    • Google、都道府県別コロナ予測「COVID-19感染予測(日本版)」提供開始

                      日本全国での新型コロナ感染に関する予測情報を、都道府県別に提供する。向こう4週間に予測される死亡者数、陽性者数、入院・療養等患者数などをダッシュボードで示す。 また、医療機関や研究機関向けにGoogle Cloud Platformで提供されるビッグデータ解析プラットフォーム「BigQuery」やCSVファイルとしても提供する。 オリジナルのCOVID-19 Public Forecastsは、Google Cloud AI と米Harvard Global Health Instituteが提携して開発した。ジョンズ ホプキンス大学、Descartes Lab、米国国勢調査局などが一般公開しているデータを使用してトレーニングされており、今後も更新が続けられる。 COVID-19 Public Forecastsの予測モデルのローカライズに当たっては、日本のデータセットのみを利用してトレー

                        Google、都道府県別コロナ予測「COVID-19感染予測(日本版)」提供開始
                      • KyashがOneLoginを選んだ理由 - rela1470のブログ

                        Kyashでは9月からIDaaSであるOneLoginを導入しました。 導入から3ヶ月が経過し、現時点でほぼすべての社内認証をOneLoginに統一することが出来ました! 今回は、なぜOneLoginにしたのか、使い勝手等を含めお伝えできればと思います。 すごくヨイショしている記事になってしまったんですが、お金はもらってません!!!!!笑 www.onelogin.com 公式HPにも取り上げて頂き、ありがとうございます! 実は前職でもかなり使い込んでおり、OneLoginは思い入れのあるプロダクトです。 www.pentio.com 今回の導入に関しても、OneLogin 日本代表の福見さんと代理店であるペンティオさんにかなりのお力添えを頂きました。ありがとうございます! Kyash Advent Calendar 2019 day11 ということでKyash Advent Calend

                          KyashがOneLoginを選んだ理由 - rela1470のブログ
                        • 注目すべき最新データベース技術(パート1)

                          この記事は、著者の許可を得て配信しています。 https://blog.pragmaticengineer.com/the-developer-culture-test/ 私はデータベースの大ファンで、いわゆる「NoSQL」データベースに関する本を書いたり、影響力の高い分散型データベースRiakに携わったりと、技術職として最も実りある年のいくつかを過ごし、昨年は楽しみのためにPurpleというデータベースを構築したりもしました。 当然のことながら、私はTwitterやReddit、HackerNewsなどをさらっと読む場合、データベースやDB関連ツールの新しくて刺激的な開発に常に気にして見ています。今回の記事では、私が興味をそそられる最近登場した3つのデータベース技術についてお話したいと思います。 TileDB Materialize Prisma 後半では次の3つについてお話したいと思っ

                            注目すべき最新データベース技術(パート1)
                          • テスト管理ツール「Qase」でスプレッドシートによるテスト管理を脱却した件 - Qiita

                            概要 試験工程をスプレッドシートで管理していたがそろそろ脱却したいと思ったので色々探してみました。 すると、同じことを考えている先駆者さんがいらっしゃったので参考にさせていただきました! 導入に至った経緯 QA体制が未成熟 3名までなら無料で利用できる テスト計画・テスト結果をエクスポートできる 入力項目が整理されているので試験表の質を一定にできる 自動化したテストケースを管理できる 手動テストと自動テストの結果を併せて一覧できる APIにより自動テストの実行結果を自動的に反映することができる etc これは、中々良いツールなんじゃないか!? ということで導入してみました 実際の導入方法を説明していきます 事前準備 以下からサインアップしてください サインアップ完了後、ダッシュボードに遷移した状態からスタートとします それぞれの設定方法は以下を参照してください 新しいプロジェクトを作成 プ

                              テスト管理ツール「Qase」でスプレッドシートによるテスト管理を脱却した件 - Qiita
                            • サイボウズさんの開運研修(データベース)で話してきました

                              2024 ( 17 ) 4月 ( 3 ) 3月 ( 6 ) 2月 ( 1 ) 1月 ( 7 ) 2023 ( 20 ) 12月 ( 3 ) 11月 ( 3 ) 10月 ( 1 ) 8月 ( 1 ) 5月 ( 2 ) 4月 ( 2 ) 3月 ( 3 ) 2月 ( 5 ) 2022 ( 27 ) 12月 ( 5 ) 10月 ( 1 ) 9月 ( 1 ) 8月 ( 5 ) 7月 ( 4 ) 6月 ( 3 ) 4月 ( 1 ) 3月 ( 3 ) 2月 ( 2 ) 1月 ( 2 ) 2021 ( 22 ) 12月 ( 4 ) 10月 ( 2 ) 9月 ( 6 ) 7月 ( 1 ) 6月 ( 3 ) 5月 ( 3 ) 東京都オープンデータカタログサイトのCSVを使ってLOAD DATA LOCAL INFILEの練習をする サイボウズさんの開運研修(データベース)で話してきました オプティマイザヒント

                              • 新しいデータ処理ライブラリの学習はもう不要! Python 初学者のための Ibis 100 本ノック - Qiita

                                新しいデータ処理ライブラリの学習はもう不要! Python 初学者のための Ibis 100 本ノックPython機械学習pandasデータ分析ibis-framework Information 2024/1/14: Kaggle notebook for Ibis Kaggle で Ibis を使用するための Sample Notebook を用意しました。Kaggle でもぜひ Ibis をご活用下さい。 🦩 [Ibis] Kaggle-Titanic-Tutorial Ibis 100 本ノック補足記事 Ibis 100 本ノックについて、よりスマートな書き方等について @hkzm さんが補足記事を書いてくれました(この記事を参考にコンテンツのほうもブラッシュアップしたいと思います)。 Ibis 100 本ノックの記事を受けて はじめに どうもこんにちは、kunishou です。

                                  新しいデータ処理ライブラリの学習はもう不要! Python 初学者のための Ibis 100 本ノック - Qiita
                                • やってみたら簡単!ディープラーニング・オセロを作って自分を負かすまで強くした話(その1) - Qiita

                                  オセロのAIアルゴリズムをディープラーニングで作成し、私が勝てないぐらいまでには強くなった、という話です。 また私の場合は2ヶ月ぐらいかかってしまいましたが、実装自体はそんなに難しくなかったので、実装方法についても説明したいと思います。 この記事でわかることは、ディープラーニングでオセロのAIアルゴリズムを作る方法です。基本的な考え方は他のボードゲームも同じなので、流用できると思います。 対象読者は、TensorFlowなどディープラーニングのライブラリを使い始めて、MNISTの数字分類など基本的な処理はできたけれど、それ以外の問題だとやり方がわからない、というような方です。 きっかけ 私の所属するエンジニアと人生コミュニティで、リバーシチャレンジなるものが開催されたことがきっかけです。このコンテストは「リバーシならどこにこだわっても良い」というルールでした。 私は、ちょうど少しまえに「将

                                    やってみたら簡単!ディープラーニング・オセロを作って自分を負かすまで強くした話(その1) - Qiita
                                  • 新規事業の決済機能としてStripeを導入する上で考えたこと全て - Timee Product Team Blog

                                    こんにちは、タイミーデリバリー開発チームの宮城です。 この記事はJP_Stripes Advent Calendar 2020の10日目の記事です。 タイミーデリバリーはデリバリーを頼みたい人が安い価格で注文でき、飲食店も安い利用料で注文を受けられるデリバリープラットフォームです。 その決済機能として今回はStripeを導入しました。 この記事では、決済基盤の技術選定/Stripeを活用したクレジットカード決済と各事業者への入金までの流れ/Railsでの具体的な実装内容 をそれぞれタイミーデリバリーでの活用事例として紹介します。 導入にあたった背景 決済基盤の技術選定基準 Stripeでできること PCI DSSについて 利用したStripeの機能 Custom Account Stripe SDKを利用したRails/Swiftでの実装内容 PaymentIntent Customer

                                      新規事業の決済機能としてStripeを導入する上で考えたこと全て - Timee Product Team Blog
                                    • Kaggleで戦いたい人のためのpandas実戦入門 - ML_BearのKaggleな日常

                                      はじめに 自分は元々pandasが苦手でKaggleコンペ参加時は基本的にBigQuery上のSQLで特徴量を作り、最低限のpandas操作でデータ処理をしていました。 しかし、あるコードコンペティションに参加することになり、pythonで軽快にデータ処理をこなす必要が出てきたので勉強しました。 そこで、当時の勉強メモをもとに「これだけ知っていればKaggleでそこそこ戦えるかな」と思っているpandasの主要機能をまとめました。 注記 実戦入門 のつもりが ほぼ辞書 になってしまいました orz pandasとはなんぞや的な内容は書いていません (import pandasやDataFrameとは何かなど) pandas1.0系でも動くように書いたつもりですが間違ってたらすみません 目次 はじめに 注記 目次 Options DaraFrame 読み書き CSVファイル 読み込み 書き出

                                        Kaggleで戦いたい人のためのpandas実戦入門 - ML_BearのKaggleな日常
                                      • Microsoft、iOS/Mac/Windows/Android対応のパスワードマネージャー「Microsoft オートフィル」をリリース - こぼねみ

                                        Microsoftは現地時間2月5日、iPhone、iPad、Mac、Windows PC、Androidデバイスなど、さまざまなデバイスでウェブサイトのパスワードを簡単に保存・同期・管理できる新しいAutofill(オートフィル)ソリューション「Microsoft オートフィル」を正式に発表しました。 「Microsoft オートフィル」はベータプログラムの一部としてすでに提供されていましたが、今後はMicrosoft Authenticatorアプリ、Google Chrome拡張機能、Microsoft Edgeを通じてすべてのユーザーが利用できるようになります。AppleのiCloudキーチェーンと同様に、Microsoft Autofillはパスワードを保存し、ウェブサイト上でパスワードを簡単に入力できるようになります。 Microsoft オートフィル Autofillとは自動

                                          Microsoft、iOS/Mac/Windows/Android対応のパスワードマネージャー「Microsoft オートフィル」をリリース - こぼねみ
                                        • 自然言語を簡単に可視化・分析できるライブラリ「nlplot」を公開しました - ギークなエンジニアを目指す男

                                          こんにちは。たかぱい(@takapy0210)です。 本日は自然言語の可視化を手軽にできるようにしたパッケージnlplotをPyPIに公開したので、これのご紹介です。 nlplotとは? nlplotで何ができるか 使い方 使用データ 事前準備 ストップワードの計算 N-gram bar chart N-gram tree Map Histogram of the word count wordcloud co-occurrence networks sunburst chart まとめ nlplotとは? 自然言語の基本的な可視化を手軽にできるようにしたパッケージです。 現在は日本語と英語で動作確認済みです。 基本的な描画はplotlyを用いているため、notebook上からインタラクティブにグラフを操作することができます。 github.com (スター★お待ちしております🙇‍♂️)

                                            自然言語を簡単に可視化・分析できるライブラリ「nlplot」を公開しました - ギークなエンジニアを目指す男
                                          • 画像生成AI「Stable Diffusion」で自動生成された画像からどのようなプロンプト・呪文だったのかを分解して表示できる「CLIP interrogator」の使い方

                                            2022年8月に一般公開された画像生成AI「Stable Diffusion」を簡単にWindowsローカル環境に導入でき、コマンドラインではなくブラウザ上に表示されるユーザーインターフェース(UI)から操作可能にするツールがAUTOMATIC1111版Stable Diffusion web UIです。AUTOMATIC1111版Stable Diffusion web UIはただ画像を生成するだけではなく、画像生成時に入力する文字列(プロンプト)について複数の組み合わせを一気にチェックしたり、画像生成の条件を複数設定して一度に画像を生成したりするなど、Stable DiffusionのUIとしては決定版といってもいいほど機能が充実しています。そんなAUTOMATIC1111版Stable Diffusion web UIでは、AIで生成した画像を解析してプロンプトを表示する「CLIP

                                              画像生成AI「Stable Diffusion」で自動生成された画像からどのようなプロンプト・呪文だったのかを分解して表示できる「CLIP interrogator」の使い方
                                            • 「Excelのデータってありますか?」「ありますよ!」ITエンジニアと現場の「綺麗なデータ」の認識の乖離がわかる画像が色々しんどい

                                              海野 @akanecco_0614 「Excelのデータ」とは言わんな。 誰と話すかにもよるけど「何かにまとまってるのありますか?Excelでもメモ帳でも良いんですけど」って聞く気がする。 基本的に"即使えるデータが貰える"とは思ってないから、とりあえず相手が出してきたものを見てから考えるわ。 twitter.com/kazoo04/status… 2020-11-09 23:20:12 きゃんたま王子®それで釣りに行く™ @seiji427 わかりみが深い! ExcelはExcelでいいけど、 データはデータでも。。 資料とデータは違うよ。。 あと。。文字列とか数式とかごちゃごちゃで機種依存文字がいっぱいとか。。 も.csvでくれw twitter.com/kazoo04/status… 2020-11-09 21:53:28

                                                「Excelのデータってありますか?」「ありますよ!」ITエンジニアと現場の「綺麗なデータ」の認識の乖離がわかる画像が色々しんどい
                                              • AWSで“データのサイロ化”を防げ すべてのデータを1ヶ所に集めるデータレイクの作り方

                                                リーガルテック領域のリーディングカンパニーである株式会社LegalForceが、「検索インフラTechTalk!」を開催しました。インフラ領域の中でも「検索インフラ」にフォーカスした今回は、検索インフラに関する具体的な事例や取り組みについて各スピーカーから発表がありました。野口真吾氏は、AWSを用いたデータレイクの基礎について紹介しました。 企業規模に関係なく起こるデータのサイロ化 野口真吾氏(以下、野口):みなさんこんばんは。本日は「検索インフラ Tech Talk!」ということで、検索インフラから少し広げた話題にはなるんですが、「AWSを用いたデータレイクの基礎」というお話をします。よろしくお願いします。 最初に簡単に自己紹介します。アマゾンウェブサービスジャパンでスタートアップ担当のソリューションアーキテクトをしている野口真吾と申します。Twitterでは@nogというIDを使って活

                                                  AWSで“データのサイロ化”を防げ すべてのデータを1ヶ所に集めるデータレイクの作り方
                                                • データ分析を元にFAQサイトを継続的に改善する - yasuhisa's blog

                                                  FAQサイト、サポート問い合わせをせずとも自分で疑問を解決できて便利ですよね。でも、検索した単語が一件もヒットしないと、ちょっとガッカリしてしまします。そういったガッカリを減らすために、簡単なデータ分析を使ってFAQサイトを継続的に改善する話を書いてみます。 ...というのも、自分が仕事で関わっているMackerelでは最近FAQをリニューアルしたからなのでした。 MackerelのFAQではZendesk Guideを利用していますが、Zendesk Guideは便利なAPIが用意されているので、それと既存のデータ基盤を組み合わせて改善していく形です。 FAQサイト内の検索語を列挙する まず、FAQサイト内でどういった単語が検索されているのかを列挙します。Google Tag Manager経由でFirebase Analyticsにデータを飛ばすと閲覧状況が分かりますが、そのログをBi

                                                    データ分析を元にFAQサイトを継続的に改善する - yasuhisa's blog
                                                  • 仕様起因の脆弱性を防ぐ!開発者向けセキュリティチェックシート(Markdown)を公開しました - Flatt Security Blog

                                                    はじめに こんにちは。株式会社Flatt Securityセキュリティエンジニアの村上 @0x003f です。 これまで弊社ブログでは様々な「仕様とセキュリティ観点の解説記事」を発表してきました。今回はいままでの記事を改めて紹介しつつ、読者の皆様が開発中のサービスでセルフチェックを行えるよう「仕様とセキュリティ観点チェックリスト」を作成しました。ご活用いただけると幸いです。 ダウンロードは下記のGitHubリンクよりどうぞ。 また、株式会社Flatt Securityではお客様のプロダクトに脆弱性がないか専門のセキュリティエンジニアが調査するセキュリティ診断サービスを提供しています。料金に関する資料を配布中ですので、ご興味のある方は是非ご覧ください。 はじめに アプリケーションの仕様起因の脆弱性とは アプリケーションの仕様起因の脆弱性を防ぐために 仕様の脆弱性によく見られる共通点 1. ク

                                                      仕様起因の脆弱性を防ぐ!開発者向けセキュリティチェックシート(Markdown)を公開しました - Flatt Security Blog
                                                    • Webスクレイピングとは?Pythonで始めるWebスクレイピング実践・活用法 - RAKUS Developers Blog | ラクス エンジニアブログ

                                                      はじめに Webスクレイピングの基本事項 Webスクレイピング(Scraping)とは Webスクレイピングの活用シーン Webスクレイピングの基本的な仕組み Webスクレイピングの注意事項 取得先への攻撃とみなされたり、規約違反や、著作権法違反に問われることもある 取得先の変更に影響を受ける 取得先がAPIを公開しているならそちらを活用する方が良い Webスクレイピングの実践方法 Webスクレイピングを実践するには 1. ベンダーのサービスやツールを利用する 2. 自分でプログラムを作成する なぜPythonなのか? Pythonでのスクレイピング実践方法 事前準備 BeautifulSoup4のインストール 模擬Webサイトの構築 Webサーバーを立ち上げる 初級編:特定の要素から単一の要素を抜き出す 中級編:あるページから繰り返しを伴う複数の要素を抜き出す 上級編:複数のページから複

                                                        Webスクレイピングとは?Pythonで始めるWebスクレイピング実践・活用法 - RAKUS Developers Blog | ラクス エンジニアブログ
                                                      • データ分析の基礎 - Qiita

                                                        1. データ分析の概要と目的 データ分析とは、大量のデータから有用な情報や知識を抽出するプロセスです。 このプロセスには、データの収集、前処理、探索、モデリング、評価、そして最終的な知識の抽出が含まれます。 データ分析の主な目的は以下の通りです ビジネスの意思決定をサポートする 新しい市場の機会を発見する 顧客の行動や傾向を理解する 製品やサービスの改善 予測や予測モデリングを行う 2. Pythonにおけるデータ分析のライブラリの紹介 Pythonはデータ分析のための多くのライブラリを持っています。 以下はその中でも特に人気のあるライブラリです Pandas: データの前処理や探索的データ分析に使用されるライブラリ NumPy: 数値計算を効率的に行うためのライブラリ Matplotlib & Seaborn: データの可視化に使用されるライブラリ Scikit-learn: 機械学習の

                                                          データ分析の基礎 - Qiita
                                                        • 世田谷区長の保坂展人氏がツイートした6月末期限のワクチンが、なぜか「デマ」あつかいされている件について - 法華狼の日記

                                                          キャンセル分のワクチンを区役所職員に接種するよう世田谷区がマニュアル化しているらしい件のあれこれ - 法華狼の日記 世田谷区は区長の保坂展人氏もツイッターで積極的に情報発信しているし、先に意見しても良さそうに思うのだが*3。 *3:先月の時点でPCR検査の「偽陽性」をおそれて、小学生の陽性者を見つけた世田谷区の検査を問題視しているので、個人的な不信感があるのかもしれない。 上記の件について、ちょうど補助線になりそうなTogetterがあった。はてなブックマークも多数集まっていて、まとめに同調するコメントも多い。 togetter.com しかしTogetterのタイトルにもなっている情報共有だが、報道されている自衛隊システムの稚拙さや*1、共有されるという記録システムの入力不具合を思うと*2、小林史明氏の説明を信頼することも難しい。 ワクチン接種記録システムVRSでデジタルに記録は自治体へ

                                                            世田谷区長の保坂展人氏がツイートした6月末期限のワクチンが、なぜか「デマ」あつかいされている件について - 法華狼の日記
                                                          • 無料&オープンソースで大規模なネットワークを常時グラフィカルに監視できる「Moloch」

                                                            コンピューターの通信をキャプチャするソフトウェアとしては「Wireshark」が有名ですが、Wiresharkは大規模なネットワークの通信を常時キャプチャして表示するのは得意ではありません。無料でオープンソースの「Moloch」は、大規模なネットワークで通信を常時監視し、わかりやすく表示するのに適したソフトウェアです。 Moloch https://molo.ch/ 記事作成時点ではCentOS 6/7/8、Ubuntu 16.04/18.04向けにコンパイル済みのパッケージが提供されているので、今回はUbuntu 18.04にMolochをインストールしてみます。 Molochは検索エンジンのElasticsearchを使用するため、Elasticsearchも準備しておく必要があります。今回はMolochが動作するサーバー上にDockerコンテナとしてElasticsearchを構築し

                                                              無料&オープンソースで大規模なネットワークを常時グラフィカルに監視できる「Moloch」
                                                            • 【2022年】AWS全サービスまとめ | DevelopersIO

                                                              こんにちは。サービスグループの武田です。このエントリは、2018年から公開しているAWS全サービスまとめの2022年版です。 こんにちは。サービスグループの武田です。 このエントリは、2018年から毎年公開している AWS全サービスまとめの2022年版 です。昨年までのものは次のリンクからたどってください。 AWSにはたくさんのサービスがありますが、「結局このサービスってなんなの?」という疑問を自分なりに理解するためにまとめました。 今回もマネジメントコンソールを開き、「サービス」の一覧をもとに一覧化しました。そのため、プレビュー版など一覧に載っていないサービスは含まれていません。また2021年にまとめたもののアップデート版ということで、新しくカテゴリに追加されたサービスには[New]、文章を更新したものには[Update]を付けました。ちなみにサービス数は 223個 です。 まとめるにあ

                                                                【2022年】AWS全サービスまとめ | DevelopersIO
                                                              • Geolonia 住所データ

                                                                Skip to the content. Geolonia 住所データ 全国の町丁目、大字、小字レベルの住所データ(277,543件)をオープンデータとして公開いたします。 本データは、国土交通省位置参照情報ダウンロードサービスで配布されている「大字・町丁目レベル位置参照情報」をベースとしていますが、「大字・町丁目レベル位置参照情報」データは年に一回更新であるのに対して、本リポジトリで配布するデータは毎月更新しています。 latest.csvをダウンロード latest.dbをダウンロード リリースノート 住所データ仕様 ファイルフォーマット latest.csv: CSV latest.db: SQLite3で読み込めるバイナリ形式 列 都道府県コード 都道府県名 都道府県名カナ 都道府県名ローマ字 市区町村コード 市区町村名 市区町村名カナ 市区町村名ローマ字 大字町丁目名 大字町丁目

                                                                • freee会計と楽天銀行のAPI連携契約満了に伴う 口座明細の自動取り込み停止のお知らせ | プレスリリース | フリー株式会社

                                                                  ■マジ価値サマリー(このお知らせでお伝えしたいこと) ・楽天銀行の参照系APIを活用した法人・個人ビジネス・個人口座のAPI連携契約が満了をむかえます ・それに伴い、2月24日17時頃に口座明細の自動取り込みが停止されます ・同日以降、楽天銀行口座との連携はCSVファイルのアップロードで対応いただくことが可能です ・本件により影響のあるユーザーの方へは個別にご連絡をさせていただきます 2月14日追記:楽天銀行口座の口座明細自動取り込み停止に伴いご不便をおかけしますこと重ねてお詫び申し上げます。 お客様のご利用しやすさに配慮し、明細アップロード機能の改修を行うとともに、明細アップロード操作方法の説明動画の公開とヘルプページの更新を実施いたしました。 ▼個人口座の明細アップロード方法(動画) https://youtu.be/NAFd6_qv35I(freee公式YouTube) ▼楽天銀行口

                                                                    freee会計と楽天銀行のAPI連携契約満了に伴う 口座明細の自動取り込み停止のお知らせ | プレスリリース | フリー株式会社
                                                                  • 都道府県別新型コロナウイルス感染者数マップ

                                                                    当マップの更新は、一部都道府県による感染者症例の非公開と当社リソース不足により、2020年11月末で終了しました。 CSV GeoJSON(β) / 緊急事態宣言状況JSON / 定義(Readme&FAQ) / 活用事例紹介 お問合せ / ご寄付 / Hosted by ロリポップ!レンタルサーバー by GMOペパボ / Powered by ArcGIS by ESRIジャパン

                                                                      都道府県別新型コロナウイルス感染者数マップ
                                                                    • 【Excel】CSVファイルをダブルクリックするのは絶対NG!CSVファイルはPower Queryで取り込みましょう【いまさら聞けないExcelの使い方講座】

                                                                        【Excel】CSVファイルをダブルクリックするのは絶対NG!CSVファイルはPower Queryで取り込みましょう【いまさら聞けないExcelの使い方講座】
                                                                      • 厳選TypeScript 〜おすすめしたいライブラリ、ツール、ノウハウ、情報源のリンク集〜 - Qiita

                                                                        個人的にTypeScriptプロジェクトで使って良かったと感じたライブラリやツール、役立ったノウハウ・情報源へのリンクをまとめていきます。随時更新します。 記事更新時に通知を受け取りたい方はこの投稿を「ストック」してください。 追加された内容は更新履歴をご覧ください。 書籍 『実践TypeScript ~BFFとNext.js&Nuxt.jsの型定義~』 - JavaScriptからTypeScriptに来た人が読むと、JSとTSの差分を学ぶことができる本。 『JavaScript Primer: ECMAScript 2019時代のJavaScript入門書』 - すでにプログラミング経験がある人が読むとJavaScriptの文法や機能を中心に学ぶことができる本。TypeScriptを書くにもJavaScriptの知識が必要不可欠なので、雰囲気でJSを書いてきた人やちゃんとおさらいしたい

                                                                          厳選TypeScript 〜おすすめしたいライブラリ、ツール、ノウハウ、情報源のリンク集〜 - Qiita
                                                                        • CSS Variablesを使ってWeb LP制作のエンジニア作業時間を0にした話 - Mirrativ Tech Blog

                                                                          こんにちは。Webフロントエンジニアの駒木です。 Mirrativでは毎週の様に運営主催イベントやゲーム会社様とのコラボ企画イベント等が開催されます。 そのイベント情報をユーザーへお伝えするメディアとして、イベント毎にWebページ いわゆる LP ( Landing Page ) を制作・公開しています。 Mirrativで公開している多種多様なLP ですが毎週の様に新しいイベントが企画・開催されますので、LPをエンジニアが都度制作していてはとても追いつきません。 そこでミラティブではCSS Variablesを活用することで、イベントの魅力が伝わるWeb LPをエンジニアが作業することなく制作・運用できる体制を構築しています。 本記事ではここまでに至った過程も含めお伝えします! 目指すはイベント運用の効率化と専門性の排除 遡ること半年ほど前、イベント企画チームの目標として『より多くのイベ

                                                                            CSS Variablesを使ってWeb LP制作のエンジニア作業時間を0にした話 - Mirrativ Tech Blog
                                                                          • 法人も個人もどっちでもカードを作ろうと思ってる人はSMBC VISAカードを選ばないほうがいい

                                                                            [2023/05/09追記]この記事には補足の記事があります。[/追記] 弊社、設立時からのメーンバンクはみずほ銀行だったんだけど、近年、みずほ銀行は色々アレな感じで、ネットバンキングがうっかり止まってしまったりしたらダメージもろに受けうるなぁというリスクをひしひしと感じていたので、去年の5月…だからちょうど1年前くらいですか。三井住友銀行(SMBC)に変更したんです。いっていの並行期間を持ちつつ、取引先の各方面へ周知しつつって感じで無事に移行完了と。 SMBCは、法人のネットバンキングが、振込制限が1日300万円までとか振込予約ができないとか明細のCSVがダウンロードできないとかの制約があるプランが一番下のグレードにあって、そうした制約でも構わないなら使用料ががただなんですよ。住信SBIネット銀行も維持費無料ですが、ネット専業銀行じゃない大手銀行としては珍しいというか良心的だなぁと。 で

                                                                              法人も個人もどっちでもカードを作ろうと思ってる人はSMBC VISAカードを選ばないほうがいい
                                                                            • Kaggleは実務の役に立つ? データサイエンティストがKaggleから学んだ「教師あり学習」の勘どころ - エンジニアHub|Webエンジニアのキャリアを考える!

                                                                              エンジニアHub > 記事一覧 > Kaggleは実務の役に立つ? データサイエンティストがKaggleから学んだ「教師あり学習」の勘どころ Kaggleは実務の役に立つ? データサイエンティストがKaggleから学んだ「教師あり学習」の勘どころ 機械学習のトレーニングとして、Kaggleに挑む方は多いでしょう。ただ、Kaggleで鍛えて、データサイエンティストとしての実際の業務に生かせるの?こんな疑問にこたえるべく、日本経済新聞社のデータサイエンティスト、石原祥太郎さんが、「仕事とKaggle」の関係性を綴ります。 日本経済新聞社でデータサイエンティストとして働いている石原です。 本稿では、筆者が社外活動として取り組んでいる世界規模の機械学習コンペティション「Kaggle」を紹介します。特に「Kaggleがどのような観点で実務に役立っているか」という筆者の経験談を基に、Kaggleの魅力

                                                                                Kaggleは実務の役に立つ? データサイエンティストがKaggleから学んだ「教師あり学習」の勘どころ - エンジニアHub|Webエンジニアのキャリアを考える!
                                                                              • Pythonでいい感じにバッチを作ってみる - prefectをはじめよう - JX通信社エンジニアブログ

                                                                                JX通信社シニア・エンジニアで, プロダクトチームのデータ活用とデータサイエンスのあれこれ頑張ってるマン, @shinyorke(しんよーく)です. 最近ハマってるかつ毎朝の日課は「リングフィットアドベンチャー*1で汗を流してからの朝食」です. 35日連続続いています. 話は遡ること今年の7月末になりますが, JX通信社のデータ基盤の紹介&「ETLとかバッチってどのFW/ライブラリ使えばいいのさ🤔」というクエスチョンに応えるため, このようなエントリーを公開しました. tech.jxpress.net このエントリー, 多くの方から反響をいただき執筆してよかったです, 読んでくださった方ありがとうございます! まだお読みでない方はこのエントリーを読み進める前に流して読んでもらえると良いかも知れません. 上記のエントリーの最後で, 次はprefect編で会いましょう. という挨拶で締めさせ

                                                                                  Pythonでいい感じにバッチを作ってみる - prefectをはじめよう - JX通信社エンジニアブログ
                                                                                • AWSのコストモニタリングの知見をシェアしたい - Uzabase for Engineers

                                                                                  NewsPicksの高山です。 今回は、AWSのコストを我々がどのように定点観測しているかを書いていきます。 あわよくば他社さんも事例を広く共有してもらえて業界全体の共有知が増えることに繋がってほしい狙いがあります。 NewsPicksでは過去2年ぐらいかけて地道にコストモニタリングのオペレーションを作ってきました。手法としては、毎週コストモニタリング担当のメンバーで定例ミーティングをして、以下の手順をやりながら議事録にまとめていきます。 毎週のオペレーション コスト異常検出 Savings Plansの購入 DynamoDBのReserved Capacityの購入 毎月のオペレーション 請求書CSVの取り込み Cost & Usage ReportとQuickSight たまにやるオペレーション Reserved Instanceの購入 規模の適正化に関する推奨事項 Trusted A

                                                                                    AWSのコストモニタリングの知見をシェアしたい - Uzabase for Engineers