2023年版データ分析の100冊 - Qiita
【データ分析の必読10冊+差をつける10冊＋100冊超】データサイエンス、データ分析、機械学習関連の本がご好評いただいてましたが古くなりごちゃごちゃしているので新たに作り直しました 本記事のめあて IT系の技術者の方がデータ分析関連の仕事をするために役立つ本を紹介する（私が学び始めた時にあれば欣喜雀躍したであろう）記事として書いております。 本記事作者の青木はバイオインフォマティクス（ゲノムデータのDB化中心・Perl・MySQL）からRで時系列分析→Pythonでデータ分析一般と業務をしてまいりました。 ですので研究者目的の本はありません。また、データ分析の基礎は主にRで学んだのですが、昨今の流行に合わせてPython本を中心に、Rの本は参考程度にしています（本記事のR版のご要望があれば爆裂書きます！） こういうリストをあげる奴は大抵読んでいない、と過去にも言われたのですが、ほとんど読ん
分散型SNSが世界を変え、中国を滅ぼす。｜ふくゆき
- メタ(facebook), bluesky(Twitterの創業者が作った), nostr をはじめ多くの会社か分散型 SNS に進出している。 - 分散型 SNS が流行すると世界を変えてしまう可能性がある。 - 政府の検閲/削除ができないので、中国やロシアが(ちゃんとした)民主化をしたり、中国が分裂する可能性も秘めている。 - 日本にとっては、分散型SNSのメリットはあまりない。 - 米国にとっては、分散型SNSが流行ると中国などで米国の影響を加速できる。 - 分散型SNSは米国と、非米国的価値観の国との闘いなのかもしれない。 分散型SNSの特徴: - 分散型SNSはデータが分散しているので政府の意図的な検閲、削除がむずかしい。 - 分散しているので中国の金盾や国家間のIPブロックがきかない事が多い。 - ユーザー全員が秘密鍵を持ち、プライバシーは保全されるかもしれない。(nost
ChatGPTに自社データを組み込んで新しい検索体験を模索してみました｜masa_kazama
イントロChatGPTやBing、NotionAIなどの大規模自然言語モデル(LLM)を活用したサービスが注目を集めています。対話、要約、翻訳、アイデア生成などの多様なタスクにおいて、とても性能が高いです。ただ、ChatGPTでは、ときどき嘘が混じっていたり、文献が捏造されたりすることがあります。 ChatGPTとの対話画面（結果の書籍は存在しない）それを防ぐために、BingやPerplexityでは、文献を引用した上で、なるべく嘘が紛れ込まない形で回答してくれます。 Perplexityでは引用もつけてくれるしかし、これらのAIは、Web上の公開されている一部のデータを元に学習しているので、公開されてないデータに対しては当然ながら、正しく回答できません。 そこで、この記事では、自社が保有しているデータをChatGPTに組み込んで、自社オリジナルのPerplexityのようなシステムを作る
クックパッドマートの失敗したデータ設計 Before / After 大放出
https://cookpad.connpass.com/event/249346/ にて発表。
日本語による画像キャプション自動生成AIを作ったので丁寧に解説します！ - Qiita
はじめに こんにちは、AI修行中のoreyutaroverです。 最近Kerasを使い始め、CNN単体やRNN単体のモデルはお手軽に構築させて頂いています。 次にどんなAIを勉強しようかなーとネットを眺めていたところ、CNNとRNNを組み合わせた面白い題材がありました。 それが、”画像キャプション生成”です！ 画像キャプション生成とは、画像を入力として与えると、出力として画像の内容を説明する短い文章を生成することです。 CNNとRNNの両方を使用した複雑なモデルを構築することは非常に良い勉強になりますし、これを手作りするとどんな結果が得られるかも気になるところなので、取り敢えずチャレンジすることに決めました。 画像キャプション生成のサンプルコードを調べてみると、ほぼ全てが英語キャプションでした。 これをそのまま真似するだけではつまらないので、今回は画像の”日本語キャプション”を自動生成する
Re: ブロックチェーンでそんなことはできない - Software Transactional Memo
はじめに chike0905.hatenablog.com この記事は大変楽しく拝読したが、ブロックチェーン素人ながら気になる点がいくつかあったので指摘する。要旨は以下である。 タイトルで「できない」と言ってる割には「できるけど筋が悪い」だけに見える 研究中で結論が出ていないトピックを「できない」と呼ぶのは違うのではないか 文体が学術めいている割には用語の使い方がやや雑に見える ブロックチェーンに「不可能」な事にフォーカスすべき 浮足立つ界隈に対して問題提起するならば的を絞って指摘すべきで、容易に解決可能そうに見えてしまう批判はかえって混乱を招く恐れすらある ノードの独立性 各自で検証し、他のノードに依存するプロセスは本定義のブロックチェーンの動作の中には含まれない。 従って、他のノードに何かを問い合わせる必要もなく、信頼する第三者などは存在しない。 この部分はあまり正しく理解している人が
PlantUML で JSON データを簡単視覚化
最近，仕事で使うことがあってたまたま気がついたのだが， PlantUML って JSON や YAML のデータを視覚化できるんだね。 やり方は簡単。たとえば { "firstName": "John", "lastName": "Smith", "isAlive": true, "age": 28, "address": { "streetAddress": "21 2nd Street", "city": "New York", "state": "NY", "postalCode": "10021-3100" }, "phoneNumbers": [ { "type": "home", "number": "212 555-1234" }, { "type": "office", "number": "646 555-4567" } ], "children": [], "spous
図書館オープンデータを使って図書館データポータルサイトを作りました - Qiita
国立国会図書館では、さまざまなオープンデータが公開されています。 その中に「図書館及び関連組織のための国際標準識別子（ISIL）」試行版LODがあります。 これは、日本全国の図書館に関する情報が網羅的にまとめられているRDFデータとなります。 提供されているデータはXMLファイルなので個別にデータを取得するためにはプログラムなどで処理する必要があるので、Webブラウザで各データを見やすく提供するWebサイト「図書館施設データポータル」を作成しました。 ここでは、 図書館施設データポータル を紹介します。 図書館及び関連組織のための国際標準識別子（ISIL）」試行版LOD とは 元データは、「図書館及び関連組織のための国際標準識別子（ISIL）」という図書館等につけられる国際的な識別子で、国立国会図書館では、このISILが付与される図書館の情報をオープンデータ(XMLファイルのRDFデータ)
1000万件オーバーのレコードのデータをカジュアルに扱うための心構え - joker1007’s diary
自分が所属している会社のメンバーの教育用資料として、それなりの規模のデータを扱う時に前提として意識しておかなければいけないことをざっくりまとめたので、弊社特有の話は除外して公開用に整理してみました。 大規模データ処理、分散処理に慣れている人にとっては今更改めて言うことじゃないだろ、みたいな話ばかりだと思いますが、急激にデータスケールが増大してしまったりすると環境に開発者の意識が追い付かないこともあるかと思います。 そういったケースで参考にできるかもしれません。 弊社は基本的にAWSによって運用されているので、AWSを前提にした様なキーワードやサービス名が出てきます。後、句読点があったり無かったりしますが、ご容赦ください。 追記: 社内用の資料の編集なのでかなりハイコンテキストな内容だから誤解するかもしれませんが、これらはそもそもRDBの話ではありません。(関係無くは無いけど) 1000万オ
今更だけど、データ圧縮についてまとめてみたい | 株式会社PLAN-B
bz2, xz, Deflate, gzip, zip, snappy, …データ圧縮に関しての名前です。 なんとなく見覚えがあるだけのものから、普段使いしているものまで色々あって、なんとなく使ってはいるけれど、それぞれどのような意図を持って使い分けたら良いのでしょうか。そもそもどんな違いがあるのでしょうか。 この違いがちゃんとわかっていたら、なんとなくかっこいい気がしませんか？というわけで、今回は圧縮アルゴリズムの歴史と、特性を追っていきたいと思います。 可逆圧縮と非可逆圧縮の違い圧縮をまず大きく大別すると、可逆圧縮と非可逆圧縮に分けられます。その名の通り、元に戻せる圧縮方法と、元には戻せない圧縮方法です。非可逆圧縮の用途には音声、画像や動画などの圧縮があります。 データとしてはわざと欠落させるけれど、人間の認識には影響の少ないようにするものがあります。用途、画像でよく使われるJPEGや
正式提供開始の衛星データプラットフォーム「Tellus」とは、どんなサービスか
このサービスは、経済産業省からの3年間にわたる委託を受けて、さくらインターネットが提供するもの。委託期間終了後は同社が自立して運営することになっている。 Tellusでは、どんなデータが提供されるのか 衛星データに関しては、サービス開始時点で利用できるのは、日本の衛星「ASNARO-1」「ALOS（だいち）」「ALOS-2（だいち2号）」の光学データ（「衛星写真」）と、SAR（合成開口レーダー）画像が中心。SAR画像は、植生や地表の状況を把握するために使われる。例えば洪水被害地域を特定し、保険金支払いの迅速化に役立てるといった用途で使われているという。 光学データでは、ASNARO-1のデータ（地上分解能0.5m）、ALOSが搭載する光学センサー「AVNIR-2」のデータ（地上分解能10m）、Landsat-8のデータ（地上分解能15／30m）がある。地上分解能0.5mの光学画像を無償で提
電話番号の桁数
桁数は何ケタだったのか、よく忘れるので、メモ書き 電話番号は、 市外局番 – 市内局番 – 加入者番号 で構成される。 市外局番が2~5桁、市内局番が、1～4桁、加入者番号が4桁 市外局番の最初の数字は、国内プレフィックスで、必ず0から始まる。 市外局番と市内局番は、合計で6桁まで 2007年（平成19年）2月までは、 0578の地区 -岐阜県高山市(奥飛騨温泉郷・上宝町に限る)及び飛騨市神岡町 0460の地区 -神奈川県足柄下郡箱根町、静岡県裾野市茶畑 が市内局番が1桁で、合計9桁だったが、全て、市内局番2桁に変更され、現在は固定電話は10桁しかない模様。 電話自体は、市内局番からかけることができるので、フォーム等の入力では、近いということがわかっている場合、市外局番を入れない人もまれにいる。 その場合は、 市内局番が、1～4桁、加入者番号が4桁 なので、5桁～8桁で、最初の文字が2～9
簡単なXML Schemaから始めよう
この連載では、XML Schemaについて解説します。簡単なXMLの構造をXML Schemaにより記述できるようになることを目標に、XML Schemaの概要、要素・属性の定義、Complex TypeやSimple Type、属性グループについて解説していきます。連載を読むに当たり、整形式のXMLに関して十分理解していることを前提とします。 XMLの構造を表すスキーマ言語とは？ XML Schemaはスキーマ言語です。ところで、「スキーマ言語」とは何なのでしょう？そもそも「スキーマ」とは何なのでしょう？ スキーマとは、XMLの構造です。「いつ、どの要素が出現するのか」「その要素にはどのような属性があるのか」など、XMLの木構造についての定義がスキーマです。そして、スキーマを記述する言語が「スキーマ言語」です。 例えば、インターネットショップなどでWebを通して商品を購入するとします。こ
MySQL でテーブルやカラムの情報を確認する方法まとめ :: by and for engineers
Sep 1, 2015 MySQL で作成済みのテーブルやカラムの定義を調べる方法をまとめました。知っておくといろいろ捗るかも。 DESC +-------+--------------+------+-----+---------+-------+ | Field | Type | Null | Key | Default | Extra | +-------+--------------+------+-----+---------+-------+ | id | int(11) | NO | PRI | 0 | | | name | varchar(64) | NO | UNI | NULL | | | age | int(11) | NO | | NULL | | | photo | varchar(255) | YES | | NULL | | +-------+--------
Railsエンジニアなら最低限これだけは知っておきたいSQLのJOINの動き - Qiita
class User < ActiveRecord::Base has_many :items end +----+--------+-----+ | id | name | age | +----+--------+-----+ | 1 | user01 | 10 | | 2 | user02 | 20 | | 3 | user03 | 30 | +----+--------+-----+ class Items < ActiveRecord::Base belongs_to :user end +----+---------+----------------------+-----------+ | id | user_id | content | published | +----+---------+----------------------+-----------+ | 1 |
Railsエンジニアなら知っておきたい！RDBでindex作成を検討するときってどんなとき？ - Qiita
はじめに 前回に引き続き、またまたDBネタです(^o^) 前回：Railsエンジニアなら最低限これだけは知っておきたいSQLのJOINの動き 今回は、インデックスについてです。インデックスにはいくつか種類がありますが、 RDBで一般的に使われるB-treeインデックスについて書いていきます。 いきなりですが、インデックスは深い！かなり深い！バイカル湖くらい深いです。 ある程度の指針的なものはありますが、インデックスをどう設計するかの見極めは状況によって変わってくるようです。クエリの実行頻度、テーブルサイズ、カーディナリティ（カラム内のデータの種類の多さ）などなど。。 なので今回は、こんなときはインデックス作成を検討した方がいいというパターンだけザッとまとめる感じで行きたいと思います。 なお、今回の記事作成にあたっては、以下の本を参考にさせて頂きました。 そもそも的なところから分かりやすく書
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
オープンデータ、使ってほしいけどオススメしづらい3つの理由
無料で使える「住所マスターデータ」公開、表記統一や緯度経度への変換に活用可能 全国の町丁目レベル18万9540件の住所データを記録
トップページ｜Tellus
国立国会図書館、書誌データを4月1日からだれでも無償で自由に利用可能と発表 | HON.jp News Blog
