日本株式のデータをスクレイピングなしで取得・リストにしたい - Qiita
大きなデータを取り扱ってみたい！ 株価を分析するのって面白そう！ と思い立って調べてみると，海外の株式はPandasのDataReaderで案外簡単にデータとして手に入りますが， （例えばGoogle financeやFREDなど） 日本の株価は，案外データとして見つかりません． Yahoo!ファイナンスから引っ張ってくればいいじゃん！という記事は多いですが， Yahoo!ファイナンスはスクレイピングを禁止しているため，こちらから引っ張ってくるわけにもいきません． モジュールのjsmを使えば…という意見もあるかもしれませんが，こちらもスクレイピングを使用しています． 本記事は，スクレイピングなしでデータを取得し，ひとつのリストとすることを目的とします． せっかちな人のためのコード いいから結論だけ教えてくれ！って人のために（がんばってかいた）コードをおいておきます． 細かい点は各自修正をお
日本株の日足データ取得方法をまとめました | mabui.org
こんにちは、mabuiです。 現在IPO銘柄のチャートを一覧表示するサービスを作成中で、quandlという幅広いデータを取り扱う海外のサイトのapiから日本株日足データを取得する予定でしたが、何と無料データの配信が2017年末で更新終了していました、、、 (気づいたのは2018年9月26日現在です) そこで今回は日本株の日足データが取得できるサイト(+α)を調べてみました！ 最後におまけで日足以外の便利なデータが取得できるサイトも乗っけています。 日足データが取得できるサイト 株式投資メモ 株式投資メモ 無料で銘柄ごとにCSVで時系列ダウンロード可能です。 株価調整に対応しているようですが、少なくとも直近一ヶ月の株価では対応されないみたいです。 3562 (株)Ｎｏ．１ 8/29の株式分割の終値調整(最後の値)が過去のデータに反映されていませんでした(9/26現在)。 6531 リファイン
株価データ・株主優待情報・先物データ・ランキングデータ・CSVダウンロード無料 | 株式投資メモ・株価データベース
システム変更につき、サイト更新を一時停止しております。 完了次第速やかに再開しますので、今しばらくお待ちくださいませ。
Stock Screener
Access Global Markets -> Public Markets (Listings) North American Markets European Markets Private Markets Nasdaq Fund Secondaries Featured Solutions Nasdaq's IPO Process ETF Listings Nasdaq-100 Index Options Derivatives Academy Drive Growth with Insights Investment Intelligence Market & Alternative Datasets Nasdaq Global Indexes Featured Solutions Nasdaq Data Link Nasdaq-100 Index Nasdaq Dorsey W
【自動化】PDF内の表をPythonで抜き出す - Qiita
PDFは扱いにくい PDFファイルをPythonで扱うのは大変です。 表がPDFの中に埋め込まれているケースも割とあります。 例えば 平成30年 全衛連ストレスチェックサービス実施結果報告書の中にはたくさんの表データが埋め込まれています。 例えばファイルの40ページの【表14 業種別高ストレス者の割合】を抜き出したいと思ったとします。 この表を選択して、Excelにコピペしてみましょう。 コピーして、Excelに貼り付けます。 おや？うまくいかないですね。 1つのセルの中に、全部のデータが羅列されてしまっています。 実はPythonを使ってこのPDF中の表を比較的簡単にcsvやExcelに変換することができます。 PythonでPDFの表をcsvに PythonでPDF内の表(テーブル)をcsvやexcelに変換する手順は2ステップです。 ステップ1. PDFから表をpandasのData
JavaScriptだけでExcel風のスプレッドシートを開発できる「jExcel」を使ってみた！ - paiza times
どうも、まさとらん（@0310lan）です！ 今回は、JavaScriptで簡単にExcelのようなスプレッドシートを作成できるライブラリをご紹介します！ 基本的な操作はすべてJavaScriptから制御可能であり、自分の好きなようにカスタマイズできる強力な機能が多数提供されています。また、簡単なプログラムだけでファイルの書き出し機能が利用できるなど便利なメソッドも多く含まれています。 自作のWebアプリなどにも手軽に組み込めるので、ご興味ある方はぜひ参考にしてみてください。 なお、JavaScriptの基本はpaizaラーニングの「JavaScript入門編」で学ぶことができますので合わせてチェックしてみてください。 【 jExcel 】 ■「jExcel」の使い方 それでは、まず最初に「jExcel」の導入方法から見ていきましょう！ 全部で3通りの方法が以下のように提供されています。
Cacooのデータベーススキーマ機能で、例えばBigQueryのER図を出力する - Copy/Cut/Paste/Hatena
Cacooで「データベーススキーマを自動生成できる」という素晴らしい機能が先週発表されました。 cacoo.com Cacooが提供するSQLクエリをデータベースで実行して、その結果をCSVファイルとしてエクスポートしてCacooにアップロードするだけでER図が生成されるというものです。 現時点で公式サポートされているのはMySQLとPostgreSQLですが、 一応1列目にRDBMSの名前が入るようになってるんですが、CSVのフォーマットとしては統一されてます。— Kohei Kimura (@cohhei) 2020年4月16日 ということなので、tbls out のサポートフォーマットにCacooのデータベーススキーマ機能用のCSV（ cacoo ）を追加しました。tbls v1.33.0で試すことができます。 MySQLのデータベーススキーマ まずはMySQLのデータベースで試して
さよなら本番サーバー - Qiita
とあるSESの現場では本番リリースの時期が近づいてきており、僕を含めた数人のエンジニアは間に合いそうもない残作業の開発を進めたり、本番で使うためのデータの整備を本番サーバー内で行ったりしていた。ほとんどがその案件のために集められたメンバーだったため特に和気あいあいとするでもなく、エアコンの風の音が響く小さなオフィスの片隅で静かに作業をしていた。 業務上のやりとりもRedmineで行われており、声を発するのもたまにメンバー同士で話をしたり、クライアントから電話がかかってきた時だけ。その日もメールで通知が届いてきており、確認してみるとRedmineで僕が関係しているチケットにコメントが届いているという通知だった。 通知のURLをクリックしてRedmineのチケットを確認してみる。 それによると一旦本番サーバー上に存在するデータの中の一部の主要データをCSV形式で送ってほしいという依頼だった。無
期間を指定して、GitのコミットログをCSV出力する - Qiita
概要 ちょっと探したら、そういうことの出来る、素敵なWebサービスもありそうではあるのですが。 開発者じゃない人に「今月の開発内容」のようなものを共有したい。 開発メンバーごとに、どのくらい作業をしているかの目安を出したい。 毎月、開発した内容を振り返るのに使える資料を簡単に作りたい。 ということで。 何となくGitのコミットログをCSV出力して、Google SpreadSheetとかExcelとかに貼り付けることを考えました。 やり方 コンソールでGitレポジトリのディレクトリを開き git --no-pager log --since=2017-03-01 --until=2017-03-31 \ --pretty=format:"\"%ad\",\"%h\",\"%an\",\"%s\"" \ --date=short --no-merges --all --date-order
SplFileObjectでのCSVファイル読み込みでの文字化け対策
SplFileObjectでのCSVファイル読み込みでの文字化け対策 戻る カテゴリー PHP 投稿日時 2018-05-30 18:56:13 今回は自分がちょっとハマった問題を紹介しようと思います。 PHPには[SplFileObject](http://php.net/manual/ja/class.splfileobject.php)というファイル入出力のために便利なオブジェクトがあります。 これを使ってCSVファイルを読み込む場合は、通常は以下のようにします。 ``` <?php $file = new SplFileObject("data.csv"); $file->setFlags(SplFileObject::READ_CSV); $data = []; foreach ($file as $i => $line) { foreach ($line as $j => $c
PHP: fgetcsvでもSJISのCSVをUTF-8として《安全》に読む方法(ストリームフィルタ使用) - Qiita
fgetcsvでShift-JIS文字コードのCSVを読むと、文字列がShift-JISのままの配列が返ってくるため、UTF-8を基本的な文字コードに据えたシステムでただ不便というだけにとどまらず、SJISのCSVをfgetcsvで直接読み取るのは「5C問題」のため危険である。 本稿では、ストリームフィルタを使ったSJIS CSVの安全な読み込み方法を紹介する。なお、本稿で作るストリームフィルタの完成形はGitHubで公開する。 5C問題とは よく見かける次のような実装は5C問題のため、データによっては読めないものが出てくる危険性がある: $fp = fopen('sjis.csv', 'r'); while ($row = fgetcsv($fp) !== false) { // fgetcsvで読み取った後に、文字コードを変換している mb_convert_variables('UTF
Go言語: CSVを色分け表示するフィルタ「csvu」を作った｜TechRacho by BPS株式会社
CSVを色分けするだけのコマンド作ってみたhttps://t.co/7CaNaZBrW3 #golang pic.twitter.com/MfeoKQYzyN — OreKanegon (@hachi8833) December 26, 2018 csvuコマンド rainbow_csvというVim向けのプラグインを見かけて、これをCLIでパイプで使いたくなってきました。 ちゃんと探してませんが、ネットにはありそうでなかったっぽいので、帰りの電車が着くまでの間にGo言語でざざっと書いてしまいました。 リポジトリ: hachi8833/csvu 何のひねりもない、Hello Worldに毛が生えたようなツールです。ネーミングも脊髄反射です。 package main import ( "encoding/csv" "fmt" "github.com/logrusorgru/aurora" "
AWSの意図しない料金の上昇に気付く仕組み - dely engineering blog
はじめに 本記事はSRE 2 Advent Calendar 2018の11日目の記事です。 SRE 2 Advent Calendar 2018 - Qiita dely Advent Calendar 2018もやっていますので目を通していただけると嬉しいです。クラシルの秘話がたくさん書かれています。 dely Advent Calendar 2018 - Adventar dely Advent Calendar 2018 - Qiita こんにちは！delyでSREをやっている井上です。 SREのみなさん！インフラコストの最適化してますか？ delyはどうかというと、正直まだまだ不十分な状況です。。。 クラシルでまだまだやりたいこと・やるべきことがたくさんあり、コスト最適化の優先順位がなかなか上がりにくいのが現状です。 ちなみについ先日クラシルに待望の献立機能がリリースされました！
【Python】スクレイピング→データ収集→整形→分析までの流れを初心者向けにまとめておく ～Pythonに関するはてな記事を10年分スクレイピングし、Pythonトレンド分析を実際にやってみた～ - Qiita
【Python】スクレイピング→データ収集→整形→分析までの流れを初心者向けにまとめておく ～Pythonに関するはてな記事を10年分スクレイピングし、Pythonトレンド分析を実際にやってみた～Pythonスクレイピングpandasデータ分析 やりたいこと はてなブックマークで、Python記事を検索しトレンドを分析 はてなブックマークにSeleniumでログイン ブックマーク数をスクレイピング 時系列比較を行う バズるタイトルを分析 実装方法 詳しくは下記記事を参考にしてください。Pandasを利用したデータ分析まで載せています。 【Python】スクレイピング→データ収集→整形→分析までの流れを初心者向けにまとめておく ～Pythonに関するはてな記事を10年分スクレイピングし、Pythonトレンド分析を実際にやってみた～ 実装 from selenium import webdri
Franchise - 多数のデータベースに対応したSQLノートブック
SQLを覚えると実務で使える様々なデータを取得できるようになります。毎回同じようなSQLを記述するのが面倒で、テキストファイルに定番のSQLをメモで残している方も多いのではないでしょうか。 そんな方にお勧めなのがFranchiseです。SQLを残しておけるノートブックです。 Franchiseの使い方 メイン画面です。複数のデータベースに対応しています。 結果を地図に描画する例です。 グラフ。線グラフです。 棒グラフ。 並び替えた棒グラフ。 ドットだけ。表示を2カラムにしています。 一般的な一覧表も可能です。 レンジを使ってその時の値を表示するパターン。 メールを取り込んでクエリを投げるパターン。 FranchiseのデータリソースはSQLite/PostgreSQL/BigQuery/MongoDB/Microsoft SQL Server/Oracle/DB2/Teradataなどとな
Pandasを使ったデータ操作の基本 - ぴよぴよ.py
データ分析の会社に転職してから3ヶ月。 最初の1ヶ月はPandasの扱いに本当に困ったので、 昔メモしてたことを簡単にブログに記録しておく(o ･ω･)ﾉ 【追記】2017/07/31 0:36 データが一部間違ってたので修正しました Pandasとは pandasでよく使う型 テストデータについて 余談 Pandasでのデータ操作入門 pandasのload データ(csv)のロード データのサイズ データのカラム 行列から必要な列(カラム)を取り出す 条件にマッチするデータを取り出す 1. DataFrame.queryで取り出す True/FalseのSeries型を指定し、Trueの行だけを取り出す 追記(2017/12/14) 行列から必要な行番号を指定してを取り出す グループ分けと集計 新たな列を追加する 固有値を追加する 他の列を加工して新たな列を作る 他の複数列を加工して新
ローカル(file:///)上で外部ファイル読み込みのセキュリティ制約を回避するいくつかの方法 - Qiita
Aさん「AjaxでCSVファイルを読み込んで動かすJavaScriptのプログラムを作りました」 Bさん「HTMLファイルをPC上で直接開いても動作しますか？」 上記のような場合、ブラウザのセキュリティ制約によりファイルの読み込みがブロックされてしまい、うまく動かすことができません。 この文書では、上記のような場合にどういう方法を用いればセキュリティ制約を回避できるかの例を紹介します。 ※基本的な対象ブラウザはIE11と2016/12時点のFirefox, Chrome, Edgeです。最後の方の方法は前提条件を満たさない方法になってしまっていますが、参考として記載しています。 読み込む外部ファイルをHTMLと同フォルダか同フォルダの下層に配置(Firefox) + Ajaxに Microsoft.XMLHTTP を使用する (IE) Firefoxでは、外部ファイルをHTMLと同フォルダ
Big Sky :: UNIX コマンドを SQL で抽出できるツール qq を作った。
昨日僕の Twitter タイムラインで q というツールが話題に上がっていました。 GitHub - harelba/q: q - Run SQL directly on CSV or TSV files Text as Data q is a command line tool that allows direct execution of SQL-like q... https://github.com/harelba/q 標準入力を SQL で抽出できるという物です。ただ個人的には「こういうの python じゃなくて Go でビルドされてると助かるよなー」と思ったので q と同じ様な動作になるツールを作ってみました。 GitHub - mattn/qq Select stdin with query https://github.com/mattn/qq 例えば msys2 のシ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
無料で使える「住所マスターデータ」公開、表記統一や緯度経度への変換に活用可能 全国の町丁目レベル18万9540件の住所データを記録
Creating and downloading Excel files with Slim · GitHub