並び順

ブックマーク数

期間指定

  • から
  • まで

1 - 40 件 / 262件

新着順 人気順

csvの検索結果1 - 40 件 / 262件

csvに関するエントリは262件あります。 データプログラミングCSV などが関連タグです。 人気エントリには 『全国民に配るべき!総務省が示した「データ入力の統一ルール」|Excel医ブログ』などがあります。
  • 全国民に配るべき!総務省が示した「データ入力の統一ルール」|Excel医ブログ

    2020年12月、総務省より 【機械判読可能なデータの表記方法の統一ルール】が策定されました。 統計表における機械判読可能なデータの表記方法の統一ルールの策定 https://www.soumu.go.jp/menu_news/s-news/01toukatsu01_02000186.html 2020年11月に河野太郎 行政改革担当大臣のツイートが話題となりました。 その後正式に統一ルールが公開された形です。 各省庁がネット上で公開する統計を機械判読可能にするために、データの表記方法を統一させます。「政府統計の総合窓口(e-Stat)」で本日から12月1日までの間、表記方法案に関する意見照会を行います。研究者をはじめ、皆様のご意見をお待ちしています。https://t.co/h07tCTDazc — 河野太郎 (@konotarogomame) November 25, 2020

      全国民に配るべき!総務省が示した「データ入力の統一ルール」|Excel医ブログ
    • 無料で使える「住所マスターデータ」公開、表記統一や緯度経度への変換に活用可能 全国の町丁目レベル18万9540件の住所データを記録

        無料で使える「住所マスターデータ」公開、表記統一や緯度経度への変換に活用可能 全国の町丁目レベル18万9540件の住所データを記録
      • セキュリティエンジニアのための English Reading | デジタル人材の育成 | IPA 独立行政法人 情報処理推進機構

        背景 私たちは中核人材育成プログラム 第5期受講生として、1年間にわたり様々な講義を受け、演習を実施してきました。その過程で、変化し続けるサイバーセキュリティの世界では、世界中の情報を的確に収集し成長を続けることが大事であることを学びました。 世界中の情報を利用するためには英語の力、中でもリーディングの力が不可欠です。しかし、私たち日本のセキュリティエンジニアの多くは英語に苦手意識を持っており、的確な情報活用ができていないのが現状です。 本プロジェクトは、日本のセキュリティエンジニアの情報収集力・成長力レベルアップのため、その手段としての英語リーディングの意欲・能力向上を目指して企画されました。実務や学習にお役立ていただければ幸いです。 想定利用者 日本語話者のセキュリティエンジニア全般ですが、中でも「ユーザー企業や官公庁で働く実務担当者」を主なターゲットとしています。「英語はちょっと……

          セキュリティエンジニアのための English Reading | デジタル人材の育成 | IPA 独立行政法人 情報処理推進機構
        • 話題の「ChatGPT」こんなに使えたら本当にすごい! 目からウロコの使い方を解説|GPTs活用事例も | 【レポート】Web担当者Forumミーティング 2023 秋

            話題の「ChatGPT」こんなに使えたら本当にすごい! 目からウロコの使い方を解説|GPTs活用事例も | 【レポート】Web担当者Forumミーティング 2023 秋
          • Home

            # タブで複数のCSVを一元管理 ファイルのドラッグ&ドロップにも対応し、 複数のファイルをまとめて開けます。 # 文字コード・改行コードの変換に対応 ShiftJIS や UTF-8 をはじめとした、 様々なエンコーディングに対応。 改行コードの変更も簡単に行なえます。 # 区切り文字の指定が可能 .csv はもちろん、 .tsv 形式のファイルにも対応。 「カンマ区切り」や「タブ区切り」のほか、「|(パイプ)」「★」など任意の区切り文字を指定できます。

              Home
            • さよなら本番サーバー - Qiita

              とあるSESの現場では本番リリースの時期が近づいてきており、僕を含めた数人のエンジニアは間に合いそうもない残作業の開発を進めたり、本番で使うためのデータの整備を本番サーバー内で行ったりしていた。ほとんどがその案件のために集められたメンバーだったため特に和気あいあいとするでもなく、エアコンの風の音が響く小さなオフィスの片隅で静かに作業をしていた。 業務上のやりとりもRedmineで行われており、声を発するのもたまにメンバー同士で話をしたり、クライアントから電話がかかってきた時だけ。その日もメールで通知が届いてきており、確認してみるとRedmineで僕が関係しているチケットにコメントが届いているという通知だった。 通知のURLをクリックしてRedmineのチケットを確認してみる。 それによると一旦本番サーバー上に存在するデータの中の一部の主要データをCSV形式で送ってほしいという依頼だった。無

                さよなら本番サーバー - Qiita
              • 個人情報テストデータジェネレーター

                アプリケーションのテストなどで利用できる、リアルな架空の個人情報データ(疑似データ)を生成するツールです。

                  個人情報テストデータジェネレーター
                • ChatGPTは、質問するより作業を依頼する方が良さげ | ちゃんとブログ。

                  賢いチャットAIとして話題のChatGPT。筆者も試しに課金をして、あれこれチャットを楽しんでいます。それで、ここまでの結論としては表題の通り、ChatGPTは質問をするよりも、作業を依頼する方が良さげだなと思いました。 知識が古くて、質問には使えない なぜかというと、ChatGPTは現状では学習データが若干古く、例えば2023年2月時点で「日本の総理大臣は誰?」と質問をすると、菅義偉氏であると回答されます。(実際には岸田文雄氏) また、情報をまとめて管理している訳ではなく、例えば「店名」と「住所」など関連しているはずの情報がバラバラに管理されているのか、例えば「新宿駅近くのイタリアンのお店は?」といった検索サイトの代わりに使おうと思っても、実在しないお店などが表示されてしまって、現状では使い物になりませんでした。 一番上の「イルポンテ」というお店は、該当の住所はなさそうです(上石神井には

                    ChatGPTは、質問するより作業を依頼する方が良さげ | ちゃんとブログ。
                  • Kindle蔵書一覧を取得する方法 - Qiita

                    Kindleの蔵書が1万冊を超えてきて、そろそろ蔵書管理したくなり、 蔵書一覧を取得する方法を調べたので、まとめておく。 概要 蔵書一覧の取得方法としては大きく2つあり、 コンテンツと端末の管理ページからスクレイピングする方法と、 Kindle Cloud Readerが使っているWeb SQL Databaseのクライアント側のDBからそのまま取得する方法がある。 後者のほうが簡単なため、ここでは後者の方法について記載する。 (前者の方法が知りたい方は、https://qiita.com/yshr1982/items/072e8b44d456f6d9358bなどを参考にしてください。) // 追記 上記の2つの方法以外のやり方を情報共有してもらったので追記。 @error_401さんから頂いた情報によると Kindle for PCを利用している場合、本の情報が入ったXMLが生成されるた

                      Kindle蔵書一覧を取得する方法 - Qiita
                    • VS Code の使い始めに入れておくと便利な拡張機能 10 選

                      はじめに この記事では、IT エンジニアである/ないに関係なく、Visual Studio Code (以下、VS Code) をこれから初めて使い始める人が、最初に入れておくと後々便利になるだろうと思われる拡張機能を紹介しています。 拡張機能 (Extension) とは、サードパーティー製の追加機能のようなものであり、誰でも自由に開発・公開することができるようになっているものです。VS Code は無償で提供されているテキストエディタですが、それだけでは不便というユーザーの悩みを解消してくれるものです。 (という立ち位置で存在していた当初でしたが、最近は標準機能のみでも最早テキストエディタという範疇を超えている気がしなくもないです) まだ拡張機能を使い始められていない/使いこなせていないという方は、是非この記事を参考に、VS Code の拡張機能を使い始めるきっかけにしてもらえれば幸い

                        VS Code の使い始めに入れておくと便利な拡張機能 10 選
                      • Visual Studio Codeを使うなら絶対に入れておきたい拡張機能Top20【2022最新版】 - Qiita

                        この記事はNuco Advent Calendar 2022の14日目の記事です。 VSCodeに必須の機能20個を紹介していきます。 インストール数と星の数は記事作成時点(2022年11月時点)のものです。 Japanese Language Pack for Visual Studio Code vscode-icons Code Spell Checker zenkaku Path Autocomplete Prettier - Code formatter indent-rainbow GitLens Git History HTML CSS Support Output Colorizer TODO Highlight vscode-random Atom One Dark Theme Trailing Spaces REST Client Live Server Jupyter

                          Visual Studio Codeを使うなら絶対に入れておきたい拡張機能Top20【2022最新版】 - Qiita
                        • 【動画付き】 draw.io 使い方まとめ 〜エンジニアでなくても使えるTips集〜 - Qiita

                          draw.io はブラウザを使用してフローチャート、プロセス図、組織図、UML 図、ER モデル、ネットワーク図などを作成できる優れたツールです。作成した図は xml ファイルとして保存でき、GitHub との連携もシームレスに行われます。3 年ほど愛用しているツールですが、隠された使い方がたくさんあります。すぐに忘れてしまうので取りまとめておきます。 「こんな使い方あるよ!オススメだよ!!」という方はぜひ編集リクエストをいただければ追記していく予定です 😊 ※ 主に参照している文献は以下、公式ブログは非常に分かりやすいのでオススメです。 ツイッター公式アカウント 公式ブログ ショートカット ショートカット集です。机の上に置いて覚えましょう。 Line / 線 まずは最も頻繁に使う Line(線)の使い方からご紹介します。 矢印をまっすぐに揃える ちまちまと矢印の線をドラッグして微調整し

                            【動画付き】 draw.io 使い方まとめ 〜エンジニアでなくても使えるTips集〜 - Qiita
                          • スプレッドシートをWeb開発の万能ツールに変えるおすすめサービス厳選まとめ! - paiza times

                            どうも、まさとらん(@0310lan)です! 今回は、Googleが提供しているスプレッドシートを表計算ではなく、Web開発の即戦力になる万能ツールへと変えてしまうサービスを厳選してご紹介しようと思います。 スプレッドシートのデータを活用して、Webコンテンツを作成したりデータベースとして活用するなどさまざまな開発手法に応用できるので、ご興味ある方はぜひ参考にしてみてください! ■スプレッドシートのデータを即座にAPIで提供する! 【 SwiftSheet 】 SwiftSheetはExcelやスプレッドシートなどで管理しているデータを、即座にRESTful APIとしてホスティングしてくれるのが大きな特徴です。 CSVで保存したファイルをアップロードするだけという簡単な操作のため、ユーザー登録や課金などは一切不要です。 たとえば、お店のリストをスプレッドシートで管理しているとします。 こ

                              スプレッドシートをWeb開発の万能ツールに変えるおすすめサービス厳選まとめ! - paiza times
                            • 【自動化】PDF内の表をPythonで抜き出す - Qiita

                              PDFは扱いにくい PDFファイルをPythonで扱うのは大変です。 表がPDFの中に埋め込まれているケースも割とあります。 例えば 平成30年 全衛連ストレスチェックサービス実施結果報告書の中にはたくさんの表データが埋め込まれています。 例えばファイルの40ページの【表14 業種別高ストレス者の割合】を抜き出したいと思ったとします。 この表を選択して、Excelにコピペしてみましょう。 コピーして、Excelに貼り付けます。 おや?うまくいかないですね。 1つのセルの中に、全部のデータが羅列されてしまっています。 実はPythonを使ってこのPDF中の表を比較的簡単にcsvやExcelに変換することができます。 PythonでPDFの表をcsvに PythonでPDF内の表(テーブル)をcsvやexcelに変換する手順は2ステップです。 ステップ1. PDFから表をpandasのData

                                【自動化】PDF内の表をPythonで抜き出す - Qiita
                              • pythonを使った株価の自動収集 - Qiita

                                Help us understand the problem. What are the problem?

                                  pythonを使った株価の自動収集 - Qiita
                                • 行政をハックし、行政データをオープンにしてみようとした結果

                                  2019年6月29日に開催されたCivic Tech Forum 2019の資料です。

                                    行政をハックし、行政データをオープンにしてみようとした結果
                                  • AWS、SQL互換の新問い合わせ言語「PartiQL」をオープンソースで公開。RDB、KVS、JSON、CSVなどをまとめて検索可能

                                    Amazon Web Services(以下AWS)は、SQL互換の新しい問い合わせ言語およびそのリファレンス実装である「PartiQL」をオープンソースとして公開したことを発表しました。 PartiQLはSQL互換の構文に最小限の拡張を施すことで、リレーショナル形式のデータベースだけでなく、KVSやJSONなどを含むNoSQLデータベースやCSVファイルなど、さまざまなデータソースに対して横断的に検索できる問い合わせ言語およびそのリファレンス実装です。 下記はPartiQLを発表したブログからの引用です。 Today we are happy to announce PartiQL, a SQL-compatible query language that makes it easy to efficiently query data, regardless of where or in

                                      AWS、SQL互換の新問い合わせ言語「PartiQL」をオープンソースで公開。RDB、KVS、JSON、CSVなどをまとめて検索可能
                                    • S3のコストを大幅に削減した話 - Gunosy Tech Blog

                                      広告技術部のUTです。 最近はカービィディスカバリーをゆっくりやってます 概要 過去の失敗 どうやったか 仕組み 結果 まとめ 概要 昨今ではデータドリブンな意思決定を重視する企業がどんどん増えており、データを活用することにより事業成長へのインパクトを出そうとしています。 データを事業へと活用するためには、蓄積されるデータを分析するために保管しておく必要があります。 弊社も創業時からデータを蓄積し事業に活用することに力を入れてきた企業の一つであり、日々大量のログが収集されています。 またAWSアカウントを複数運用していますが、一番データ量の多い広告アカウントのS3にはペタバイトレベルのデータが保管されています。 普段何気なく使っているデータレイクとしてのS3ですが、少量であれば無視できるくらい小さいので、コストを気にせず使っておられる方も多いのではないでしょうか? そのようなS3でも巨大な

                                        S3のコストを大幅に削減した話 - Gunosy Tech Blog
                                      • プログラマーを苦しめてきた郵便番号データ「KEN_ALL.CSV」が改善! 扱いやすい新形式/従来形式のデータも引き続き利用できるから安心してネ【やじうまの杜】

                                          プログラマーを苦しめてきた郵便番号データ「KEN_ALL.CSV」が改善! 扱いやすい新形式/従来形式のデータも引き続き利用できるから安心してネ【やじうまの杜】
                                        • bash の危険な算術式 - どさにっき

                                          ■ bash の危険な算術式 _ 使ってる人がいちばん多いだろうからタイトルでは bash としてるけど、ここで取り上げることは zsh および ksh 一族(本家 ksh、pdksh、mksh)にも該当する。ash、dash などでは該当しない。 _ 以下のシェルスクリプトには脆弱性がある。わかるだろうか。 #!/bin/bash # "品目,単価,個数" の形式の CSV を読んで、"品目,合計金額" の形式で出力する csv="foo.csv" while IFS=, read item price num; do echo "$item,$((price*num))" done < "$csv" これ、細工された CSV ファイルを食わせることで、任意コードの実行ができてしまう。数ある脆弱性の中でもとくにヤバいやつだ。どこが穴なのかというと、タイトルにもあるとおり算術式なのだが、し

                                          • データ収集からディープラーニングまで全て行って競馬の予測をしてみた - Qiita

                                            Register as a new user and use Qiita more conveniently You get articles that match your needsYou can efficiently read back useful informationWhat you can do with signing up

                                              データ収集からディープラーニングまで全て行って競馬の予測をしてみた - Qiita
                                            • 先頭のゼロを勝手に消すな ~「Excel」のお節介な自動データ変換を抑制する機能が一般提供開始/「Microsoft 365」アプリ最新チャネルの「バージョン 2309」で

                                                先頭のゼロを勝手に消すな ~「Excel」のお節介な自動データ変換を抑制する機能が一般提供開始/「Microsoft 365」アプリ最新チャネルの「バージョン 2309」で
                                              • 1100万行・32GB超の巨大CSVファイルの基本統計量を4GBメモリマシンで算出する - Qiita

                                                はじめに この記事は,Kaggle Advent Calendar 2022第6日目の記事になります。 本記事では、 32GB超のCSVデータの基本統計量を、小規模マシンでも省メモリかつ高速に計算するテクニック について解説します。 Kaggleコンペに限らず、 マシンスペックが低いため、大きなデータセットを満足に処理できず困っている 毎回行うファイル読み込みが遅いので、もっと高速化したい ⚡ といった悩みや課題を抱えている方の参考になれば幸いです。 モチベーション データ分析業務やKaggle等のコンペティションで初めてのデータセットを扱う場合、いきなり機械学習アルゴリズムを行うことはまず無く、最初にデータ観察を行うのが一般的です。 テーブルデータであれば、各カラムの基本統計量(最小値、最大値、平均、分散、四分位数)などを計算・可視化し、データクレンジングの要否や特徴量設計の方針などを検

                                                  1100万行・32GB超の巨大CSVファイルの基本統計量を4GBメモリマシンで算出する - Qiita
                                                • 「CSVを開いて」と言われたのでExcelじゃないエディタで開いたら「それCSVじゃないから」と言われてしまった

                                                  ツーシーム投げ猫 @0000snao 問:「CSVを開いて」と言われたので、ExcelではなくSakuraエディタで開いた際、「それ、CSVじゃないから😅」と言われた時のぼくの気持ちを答えよ 2021-10-01 21:11:37

                                                    「CSVを開いて」と言われたのでExcelじゃないエディタで開いたら「それCSVじゃないから」と言われてしまった
                                                  • 【Excel】CSVファイルをダブルクリックで開いてはいけない!?エクセルでCSVを正しく取り込む方法【いまさら聞けないExcelの使い方講座】

                                                      【Excel】CSVファイルをダブルクリックで開いてはいけない!?エクセルでCSVを正しく取り込む方法【いまさら聞けないExcelの使い方講座】
                                                    • なぜRDBからCSV + COBOLに変更する事でコスト削減と高速化を同時に実現出来たかの考察 - ブログなんだよもん

                                                      そもそも既存はどんなロジック? RDBなんだからWhere句使ったら? なぜファイルにすると速くなるのか? 並列化と分散処理による高速化の可能性 COBOL使う必要あったの? Javaとかじゃダメだったの? まとめ TLを見てると以下の記事が少し話題になってました。 tech.nikkeibp.co.jp tech.nikkeibp.co.jp 対象の記事は有料会員じゃないと見れないのだけど事例としては以下みたい。 リソース - ユーザー事例 - COBOL製品 ユーザー事例 : マイクロフォーカス さて、この記事の驚きポイントは「1億レコードくらいのDB処理をRDBからCOBOL + CSVに変更してUnixサーバからWindowsサーバに変える事で性能を維持しつつコストを1/5くらいにした」という事でしょう。 「せっかく7割もあったSQLを全部COBOLに変えるとか時代に逆行しすぎ!」

                                                        なぜRDBからCSV + COBOLに変更する事でコスト削減と高速化を同時に実現出来たかの考察 - ブログなんだよもん
                                                      • xlsxファイルにSQLを実行するxlsxsql - Qiita

                                                        xlsxファイルに対してSQLを実できるxlsxsqlというツールを作りました。 GitHubのxlsxsqlからダウンロードできます。 これは何? xlsxsqlは、xlsxファイルに対してSQLを実行するツールです。 また、CSV,LTSV,JSON,YAMLといったファイルに対してSQLを実行することもでき、その結果をxlsxファイルに出力することもできます。 trdsqlにxlsxファイルの読み書き機能を追加したものになります。 使い方 単純にファイルをテーブルとして指定できます。 -oまたは-outオプションは出力ファイル形式を指定します。 CSV, LTSV, JSON, JSONL, YAML, TBLN, AT, MD等が指定できます。

                                                          xlsxファイルにSQLを実行するxlsxsql - Qiita
                                                        • 株式会社ゆめみサーバサイドコーディング試験模試(2023年度版)の回答例とフィードバック例 - Qiita

                                                          はじめに 株式会社ゆめみでは、採用時にコーディング試験を課しています。 2023年5月中旬より、数年間内容を更新せずに利用してきたこのコーディング試験の内容を刷新、合わせて模試も新しいものにすることとしました。(※まずは2025年度新卒採用から変更しますが、順次展開する予定です。) この記事では、2023年度版のサーバサイドコーディング試験の模試の内容、およびそれに回答があった場合にゆめみがどういう観点でどういうレビューを実施するかをまるっと全部解説します。 過去のコーディング試験の目的とレビュー観点はこちらを御覧ください。 刷新した理由 5年以上同じ問題を利用してきて、準備されたテストケースの通過率がほとんどの人が90%以上となってしまったこと。 応募者のレベルが上ってきたことに合わせて、より難易度を上げないと差別化が難しくなってきたこと。 【New!!】本試験もChatGPTに回答でき

                                                            株式会社ゆめみサーバサイドコーディング試験模試(2023年度版)の回答例とフィードバック例 - Qiita
                                                          • Python で大量のファイルを並列で速く読み込む - Qiita

                                                            from glob import glob files = glob('data/*.csv') len(files) # 10000 この 1万件の CSV ファイルを Pandas DataFrame として読み込みたい。 ちなみに検証用のデータは以下のようにして生成した。 (3列 x 10,000行 の CSV ファイル 10,000 個) import numpy as np import pandas as pd row_n = 10000 col_n = 3 columns = [f'col{i}' for i in range(col_n)] for i in range(10000): df = pd.DataFrame(np.random.randn(row_n, col_n), columns=columns) df.to_csv(f'data/{i:04}.csv',

                                                              Python で大量のファイルを並列で速く読み込む - Qiita
                                                            • やってみたら簡単!ディープラーニング・オセロを作って自分を負かすまで強くした話(その1) - Qiita

                                                              オセロのAIアルゴリズムをディープラーニングで作成し、私が勝てないぐらいまでには強くなった、という話です。 また私の場合は2ヶ月ぐらいかかってしまいましたが、実装自体はそんなに難しくなかったので、実装方法についても説明したいと思います。 この記事でわかることは、ディープラーニングでオセロのAIアルゴリズムを作る方法です。基本的な考え方は他のボードゲームも同じなので、流用できると思います。 対象読者は、TensorFlowなどディープラーニングのライブラリを使い始めて、MNISTの数字分類など基本的な処理はできたけれど、それ以外の問題だとやり方がわからない、というような方です。 きっかけ 私の所属するエンジニアと人生コミュニティで、リバーシチャレンジなるものが開催されたことがきっかけです。このコンテストは「リバーシならどこにこだわっても良い」というルールでした。 私は、ちょうど少しまえに「将

                                                                やってみたら簡単!ディープラーニング・オセロを作って自分を負かすまで強くした話(その1) - Qiita
                                                              • Kaggleで戦いたい人のためのpandas実戦入門 - ML_BearのKaggleな日常

                                                                はじめに 自分は元々pandasが苦手でKaggleコンペ参加時は基本的にBigQuery上のSQLで特徴量を作り、最低限のpandas操作でデータ処理をしていました。 しかし、あるコードコンペティションに参加することになり、pythonで軽快にデータ処理をこなす必要が出てきたので勉強しました。 そこで、当時の勉強メモをもとに「これだけ知っていればKaggleでそこそこ戦えるかな」と思っているpandasの主要機能をまとめました。 注記 実戦入門 のつもりが ほぼ辞書 になってしまいました orz pandasとはなんぞや的な内容は書いていません (import pandasやDataFrameとは何かなど) pandas1.0系でも動くように書いたつもりですが間違ってたらすみません 目次 はじめに 注記 目次 Options DaraFrame 読み書き CSVファイル 読み込み 書き出

                                                                  Kaggleで戦いたい人のためのpandas実戦入門 - ML_BearのKaggleな日常
                                                                • 「Excelのデータってありますか?」「ありますよ!」ITエンジニアと現場の「綺麗なデータ」の認識の乖離がわかる画像が色々しんどい

                                                                  海野 @akanecco_0614 「Excelのデータ」とは言わんな。 誰と話すかにもよるけど「何かにまとまってるのありますか?Excelでもメモ帳でも良いんですけど」って聞く気がする。 基本的に"即使えるデータが貰える"とは思ってないから、とりあえず相手が出してきたものを見てから考えるわ。 twitter.com/kazoo04/status… 2020-11-09 23:20:12 きゃんたま王子®それで釣りに行く™ @seiji427 わかりみが深い! ExcelはExcelでいいけど、 データはデータでも。。 資料とデータは違うよ。。 あと。。文字列とか数式とかごちゃごちゃで機種依存文字がいっぱいとか。。 も.csvでくれw twitter.com/kazoo04/status… 2020-11-09 21:53:28

                                                                    「Excelのデータってありますか?」「ありますよ!」ITエンジニアと現場の「綺麗なデータ」の認識の乖離がわかる画像が色々しんどい
                                                                  • Webスクレイピングとは?Pythonで始めるWebスクレイピング実践・活用法 - RAKUS Developers Blog | ラクス エンジニアブログ

                                                                    はじめに Webスクレイピングの基本事項 Webスクレイピング(Scraping)とは Webスクレイピングの活用シーン Webスクレイピングの基本的な仕組み Webスクレイピングの注意事項 取得先への攻撃とみなされたり、規約違反や、著作権法違反に問われることもある 取得先の変更に影響を受ける 取得先がAPIを公開しているならそちらを活用する方が良い Webスクレイピングの実践方法 Webスクレイピングを実践するには 1. ベンダーのサービスやツールを利用する 2. 自分でプログラムを作成する なぜPythonなのか? Pythonでのスクレイピング実践方法 事前準備 BeautifulSoup4のインストール 模擬Webサイトの構築 Webサーバーを立ち上げる 初級編:特定の要素から単一の要素を抜き出す 中級編:あるページから繰り返しを伴う複数の要素を抜き出す 上級編:複数のページから複

                                                                      Webスクレイピングとは?Pythonで始めるWebスクレイピング実践・活用法 - RAKUS Developers Blog | ラクス エンジニアブログ
                                                                    • データ分析の基礎 - Qiita

                                                                      1. データ分析の概要と目的 データ分析とは、大量のデータから有用な情報や知識を抽出するプロセスです。 このプロセスには、データの収集、前処理、探索、モデリング、評価、そして最終的な知識の抽出が含まれます。 データ分析の主な目的は以下の通りです ビジネスの意思決定をサポートする 新しい市場の機会を発見する 顧客の行動や傾向を理解する 製品やサービスの改善 予測や予測モデリングを行う 2. Pythonにおけるデータ分析のライブラリの紹介 Pythonはデータ分析のための多くのライブラリを持っています。 以下はその中でも特に人気のあるライブラリです Pandas: データの前処理や探索的データ分析に使用されるライブラリ NumPy: 数値計算を効率的に行うためのライブラリ Matplotlib & Seaborn: データの可視化に使用されるライブラリ Scikit-learn: 機械学習の

                                                                        データ分析の基礎 - Qiita
                                                                      • Geolonia 住所データ

                                                                        Skip to the content. Geolonia 住所データ 全国の町丁目、大字、小字レベルの住所データ(277,543件)をオープンデータとして公開いたします。 本データは、国土交通省位置参照情報ダウンロードサービスで配布されている「大字・町丁目レベル位置参照情報」をベースとしていますが、「大字・町丁目レベル位置参照情報」データは年に一回更新であるのに対して、本リポジトリで配布するデータは毎月更新しています。 latest.csvをダウンロード latest.dbをダウンロード リリースノート 住所データ仕様 ファイルフォーマット latest.csv: CSV latest.db: SQLite3で読み込めるバイナリ形式 列 都道府県コード 都道府県名 都道府県名カナ 都道府県名ローマ字 市区町村コード 市区町村名 市区町村名カナ 市区町村名ローマ字 大字町丁目名 大字町丁目

                                                                        • freee会計と楽天銀行のAPI連携契約満了に伴う 口座明細の自動取り込み停止のお知らせ | プレスリリース | フリー株式会社

                                                                          ■マジ価値サマリー(このお知らせでお伝えしたいこと) ・楽天銀行の参照系APIを活用した法人・個人ビジネス・個人口座のAPI連携契約が満了をむかえます ・それに伴い、2月24日17時頃に口座明細の自動取り込みが停止されます ・同日以降、楽天銀行口座との連携はCSVファイルのアップロードで対応いただくことが可能です ・本件により影響のあるユーザーの方へは個別にご連絡をさせていただきます 2月14日追記:楽天銀行口座の口座明細自動取り込み停止に伴いご不便をおかけしますこと重ねてお詫び申し上げます。 お客様のご利用しやすさに配慮し、明細アップロード機能の改修を行うとともに、明細アップロード操作方法の説明動画の公開とヘルプページの更新を実施いたしました。 ▼個人口座の明細アップロード方法(動画) https://youtu.be/NAFd6_qv35I(freee公式YouTube) ▼楽天銀行口

                                                                            freee会計と楽天銀行のAPI連携契約満了に伴う 口座明細の自動取り込み停止のお知らせ | プレスリリース | フリー株式会社
                                                                          • 【Excel】CSVファイルをダブルクリックするのは絶対NG!CSVファイルはPower Queryで取り込みましょう【いまさら聞けないExcelの使い方講座】

                                                                              【Excel】CSVファイルをダブルクリックするのは絶対NG!CSVファイルはPower Queryで取り込みましょう【いまさら聞けないExcelの使い方講座】
                                                                            • Pythonでいい感じにバッチを作ってみる - prefectをはじめよう - JX通信社エンジニアブログ

                                                                              JX通信社シニア・エンジニアで, プロダクトチームのデータ活用とデータサイエンスのあれこれ頑張ってるマン, @shinyorke(しんよーく)です. 最近ハマってるかつ毎朝の日課は「リングフィットアドベンチャー*1で汗を流してからの朝食」です. 35日連続続いています. 話は遡ること今年の7月末になりますが, JX通信社のデータ基盤の紹介&「ETLとかバッチってどのFW/ライブラリ使えばいいのさ🤔」というクエスチョンに応えるため, このようなエントリーを公開しました. tech.jxpress.net このエントリー, 多くの方から反響をいただき執筆してよかったです, 読んでくださった方ありがとうございます! まだお読みでない方はこのエントリーを読み進める前に流して読んでもらえると良いかも知れません. 上記のエントリーの最後で, 次はprefect編で会いましょう. という挨拶で締めさせ

                                                                                Pythonでいい感じにバッチを作ってみる - prefectをはじめよう - JX通信社エンジニアブログ
                                                                              • AWSのコストモニタリングの知見をシェアしたい - Uzabase for Engineers

                                                                                NewsPicksの高山です。 今回は、AWSのコストを我々がどのように定点観測しているかを書いていきます。 あわよくば他社さんも事例を広く共有してもらえて業界全体の共有知が増えることに繋がってほしい狙いがあります。 NewsPicksでは過去2年ぐらいかけて地道にコストモニタリングのオペレーションを作ってきました。手法としては、毎週コストモニタリング担当のメンバーで定例ミーティングをして、以下の手順をやりながら議事録にまとめていきます。 毎週のオペレーション コスト異常検出 Savings Plansの購入 DynamoDBのReserved Capacityの購入 毎月のオペレーション 請求書CSVの取り込み Cost & Usage ReportとQuickSight たまにやるオペレーション Reserved Instanceの購入 規模の適正化に関する推奨事項 Trusted A

                                                                                  AWSのコストモニタリングの知見をシェアしたい - Uzabase for Engineers
                                                                                • GitHub - lana-k/sqliteviz: Instant offline SQL-powered data visualisation in your browser

                                                                                  Sqliteviz is a single-page offline-first PWA for fully client-side visualisation of SQLite databases or CSV files. With sqliteviz you can: run SQL queries against a SQLite database and create Plotly charts and pivot tables based on the result sets import a CSV file into a SQLite database and visualize imported data export result set to CSV file manage inquiries and run them against different datab

                                                                                    GitHub - lana-k/sqliteviz: Instant offline SQL-powered data visualisation in your browser

                                                                                  新着記事