先日、博士（情報学）になりました。学部と大学院をあわせた 9 年間で読んだ情報科学関連の教科書・専門書を思い出を振り返りつつここにまとめます。私は授業はあまり聞かずに独学するタイプだったので、ここに挙げた書籍を通読すれば、大学に通わなくてもおおよそ情報学博士ほどの知識は身につくものと思われます。ただし、特に大学院で重要となる論文を読み書きすることについては本稿には含めておりません。それらについては論文読みの日課についてや論文の書き方などを参考にしてください。 joisino.hatenablog.com 凡例：（半端）とは、数章だけ読んだ場合か、最後まで読んだものの理解が浅く、今となっては薄ぼんやりとしか覚えていないことを指します。☆は特におすすめなことを表します。 学部一年 寺田 文行『線形代数 増訂版』 黒田 成俊『微分積分』 河野 敬雄『確率概論』 東京大学教養学部統計学教室『統計学
エンジニアに読んで欲しい技術書90選 - Qiita
はじめに タイトル通り、読んで欲しい（圧）技術書をたくさん集めてみました。自身の担当から外れる領域に関しては、会社の人に協力を仰ぎ、編集しました。「何を読めばいいかわからない」、「次の読む本を探したい」などのように考えている方の参考になればと思います。 また、大きく、 ・新米エンジニア ・脱新米エンジニア と分けてまとめたので、参考にしてみてください。 技術書のススメ 技術書の紹介の前に、技術書で得られるものについて説明したいと思います。全然読み飛ばしてもらって大丈夫です。この章から本の紹介を行なっていきます。 技術書は体系的な構成となっているため、技術書を読むことで、 ・論理的な思考力が身に付く ・技術の歴史・背景を知れる ・技術の知識、手法を学べる これらを学ぶことができます。論理的な思考力、知識はわかるけど、技術の歴史・背景を知ってどうするんだと思う方もいるかもしれません。しかし、歴
※本記事はOracleの下記Meetup「Oracle Big Data Jam Session」で実施予定の内容です。 ※セミナー実施済の動画に関しては以下をご参照ください。 本記事の対象者 これから機械学習を利用した開発をしていきたい方 機械学習のトレンド技術を知りたい方 なるべく初歩的な内容から学習したい方 はじめに Transformerの登場以降、著しい技術革新が続くここ数年、特にOpenAI社のChatGPTのサービス開始以降、おびただしい数の技術ブログや記事がインターネット上に存在する中、本記事に目を留めていただいてありがとうございます。 この勉強会では、専門用語や難解な公式を極力排除し、初学者の方々を対象に、「そもそも自然言語の機械学習ってどういうもの？」、「言語モデルって要するに何？」というところからGPTをざっくり理解することを目的としています。従って、本記事に記載のあ
LGのスマート洗濯機が、1日に3.6GBもの膨大なデータを通信をしていると報告するX(旧Twitter)の投稿が大きな話題となりました。 Homeowner Baffled After Washing Machine Uses 3.6GB of Internet Data a Day https://www.newsweek.com/homeowner-baffled-washing-machine-uses-3-6gb-internet-1862675 Your washing machine could be sending 3.7 GB of data a day — LG washing machine owner disconnected his device from Wi-Fi after noticing excessive outgoing daily data traf
Kaggleアドベントカレンダー2023の19日目の記事です． TL;DR データ分析未経験からkaggleでどんなことを学んだか 想像していたデータ分析と実業務とのGap kaggleやっていて良かったこと、kaggleでは学ばなかったこと はじめに 趣味でkaggleを始めたことをきっかけに、現在はデータ分析の仕事をしています。 Muj!rush!というアカウントでKaggleをしています。Kaggle expertです。 kaggleを始めてから3年程度経過したので(この3年間は、地球の公転が早まってんのかってくらい時間が経つのが早かったです)、これまでを振り返ることで、今後kaggleを始めてデータサイエンティストを目指すような方への参考になれば幸いです。 Kaggleと出会ったことで仕事への向き合い方や、今後のキャリアの考え方が変わったので、 僭越ながら一言だけ言わせてもらうと、
こんにちは。LINEヤフー株式会社でテキストマイニングや自然言語処理などをやっている山下（ @yto ）です。 Yahoo!デベロッパーネットワークのテキスト解析 Web API が CORS（Cross-Origin Resource Sharing）対応したため、サーバがなくてもブラウザから直接 Web API にアクセスできるようになりました（参考）。 そのテキスト解析 Web API の機能の一つである「校正支援」は日本語文章の品質チェック（校正）を支援するもので、文字の入力ミス、言葉の誤用、わかりにくい表記、不適切な表現などが使われていないかをチェックして、指摘します（内部の辞書データをベースとしているため完全なものではないことをご承知おきください）。 この校正支援機能のサンプルプログラムとして「HTML ファイル1つだけで完結する校正支援ツール」を作ったので紹介します。入力され
“LLM for SRE“の世界探索 - ゆううきブログ
ChatGPTが登場した当初、対話や要約、翻訳、コード生成などの典型的な言語タスクができても、SREやAIOpsの研究開発にはあまり関係ないのではないかと正直思っていた。AIOpsでは典型的にはいわゆるObservabilityデータ（メトリクス、ログ、トレースなど）が入力となるため、自然言語ではなく数値のデータを解析することが求められる。自然言語のタスクを研究対象としていなかったため、AIOpsとChatGPTに強い関係性は見いだせなかった*1。 しかし、自分で大規模言語モデル（Large Language Model: LLM）を日常的に使用したり、表題にあるようにSREのためのLLM（LLM for SRE, LLM4SRE）に関する論文を読むうちに、LLMのテキスト生成器としての性質よりもその優れた推論機械としての性質に注目するようになった。特にSREの障害診断は、人間の専門家が推
2024年版：独断と偏見で選ぶ、データ分析職の方々にお薦めしたいホットトピックス＆定番の書籍リスト - 渋谷駅前で働くデータサイエンティストのブログ
毎年四の五の言いながら書いている推薦書籍リスト記事ですが、何だかんだで今年も書くことにしました。なお昨年度版の記事を上にリンクしておきましたので、以前のバージョンを読まれたい方はそちらをお読みください。 今回のバージョンでは、趣向をちょっと変えて「定番」と「注目分野」というように分けました。何故こうしたかというと、平たく言って 「初級＆中級向け」推薦書籍リストは定番化していて毎年あまり変更点がない 逆に直近のホットトピックスに関するテキストは毎年入れ替わりが激し過ぎて網羅しづらい という課題があり、特に2点目についてはあまりにもデータサイエンス関連書籍の新規刊行が多過ぎる＆僕自身がその流れについていけておらず完全に浦島太郎状態ですので、万人向けに等しくウケるようなリストを作るのは今回をもって完全に諦めたというのが実態です。 その上で、前回まで踏襲されていた定番書籍リストはバルクで提示すると
熊野寮祭 @kuma_d_fes 京大カオスの祭典、それが熊野寮祭。2023年は12/1(金)〜12/10(日)に開催！寮祭に関する情報や寮生の声を発信します。質問があればDMまで インスタ→ instagram.com/kuma_d_fes?igs WEB→ryosai2023.kumano-ryo.com ryosai2023.kumano-ryo.com
また「マインクラフト」がやりたいな
初めてプレイしたマイクラはマルチ鯖だった。 バージョンは1.5くらいだったかな？ 立方体で構成されたレトロなグラフィックの、しかしどこまでも広がる広大なフィールド。ログインすると他のプレイヤーたちが作り上げた街があって、道は石で舗装され、各自の土地に自宅が、中心地にはでかい城が建っていた。 街から出ると広大な小麦畑。知識のなかった自分はダッシュジャンプで畑を荒らしながらひたすら走り、湧き潰し用の松明を勝手に拝借して人の手の入っていない土地を目指した。森を抜け、砂漠を抜け、誰かが乗り捨てたボートで海を渡った。 一際高い山があったので登ると、カルデラ湖のような地形が形成されていた。しかし雨が降り出して、もう真夜中で、空腹だしゾンビに追われてどうにもならない。地面に穴を掘ってシェルターにして夜を明かした。 夜が明けた。雨も止んだ。ゾンビも燃えた。 暗い土の中から這い出すと、目の前にはカルデラ湖と
【文春オンライン「ChatGPTには逆立ちしてもできないことがある」平井鳥取県知事が誤解覚悟で「使用禁止」を訴えた真意】の記事を読んで｜ppp
【文春オンライン「ChatGPTには逆立ちしてもできないことがある」平井鳥取県知事が誤解覚悟で「使用禁止」を訴えた真意】の記事を読んで ■5/22追記 投稿したのは数日前なのに、なんだこれ？ ちょっと怖い。 ■はじめに 日曜日、chatGPT-4（以下「GPT」）のプロンプトや拡張機能を色々と試していました。また、GoogleのBardも使えるようになっていたので、素人なりに試行錯誤していました。 朝から何時間も試行して疲れたので、ちょっと気分転換にTwitterの”おすすめ”に流れてくるツイートを漫然と見ていました。 すると、見出しの記事が流れてきました。別に私は鳥取県知事に対して好意も悪意もない・・・というか、あの時おすすめツイートが流れてこなければ、他組織の首長のインタビューを読むことは恐らくなかったでしょう。北海道知事や沖縄県知事が何をしようと関心ないし、それと同じ程度に関心ないも
NTTドコモ、Python GUIライブラリ「Streamlit」でデータ可視化アプリを内製開発 | IT Leaders
IT Leaders トップ ＞ 経営課題一覧 ＞ データ活用 ＞ 事例ニュース ＞ NTTドコモ、Python GUIライブラリ「Streamlit」でデータ可視化アプリを内製開発 データ活用 データ活用記事一覧へ [事例ニュース] NTTドコモ、Python GUIライブラリ「Streamlit」でデータ可視化アプリを内製開発 データ抽出/分析にかかるコストを54％削減 2024年2月22日(木)日川 佳三（IT Leaders編集部） リスト NTTドコモは、全社規模でデータ活用を推進する中で、データ可視化アプリケーションを容易に開発するため、オープンソースのPython GUIライブラリ「Streamlit（ストリームリット）」を導入した。導入効果として、開発に着手してから8営業日でアプリを運用開始している。また、開発したアプリの利用により、データの抽出や分析にかかるコストを54％
米政府、ビットコイン採掘の電力消費量の「緊急調査」開始 | Forbes JAPAN 公式サイト（フォーブス ジャパン）
バイデン政権は先日、ビットコインの価格の上昇で暗号資産のマイニング（採掘）が急増するとの懸念から、マイニングを行う企業がどれだけの電力を消費しているかについての緊急調査の開始を承認した。これを受け、米エネルギー省（DOE）の統計機関であるエネルギー情報局（EIA）は、2月5日からデータの収集を開始する。 ビットコインのマイニング企業は、電力使用に関する詳細を回答することを求められる。 EIAのジョー・デカロリス長官はこの調査について「マイニングのためのエネルギー需要がどのように進化しているか、成長地域を特定し、特にマイニング需要を満たすために使用されている電力源を定量化することに焦点を当てる」と述べている。 ビットコインのマイニングは、莫大な電力を消費することが批判されており、その使用量はいくつかの小国に匹敵するとされている。EIAは、マイニングの増加と電力システムにかかる負荷が「公共的な
アフターコロナの世界でソフトウェアエンジニアの未来はどう変わるのか？ 転職市場動向から見る、企業と求職者の今 - はてなニュース
世界に大きな影響を与えたコロナ禍、そしてスマートフォン誕生以来の衝撃ともいわれる「ChatGPT」の登場──。エンジニアを取り巻く環境は、激動の真っ只中にあります。 アフターコロナとも言われる状況になった今、エンジニアの働き方や企業の動きにはコロナ禍とはまた違った変化が見られています。例えばリモートワークからハイブリッド出社、完全出社に切り替えた企業もあり、働き方や技術トレンドの変遷に合わせた対応や、それらに伴いこれからの時代において必要となるスキルセットも注目されています。 経済や市場をはじめとした外的環境の変化に対応し、キャリアを積むために、エンジニアはどのような考えのもとで行動すべきなのでしょうか。また企業はどのようにして優秀なエンジニアを見つけて採用すればいいのでしょうか。 今回はエンジニア転職サービス「Findy」を提供するファインディ株式会社CTO・佐藤将高さん（写真右）と同社
セキュリティ研究者で、有名な拡張機能「AdBlock Plus」の元開発者でもあるウラジミール・パラント氏が、Chromeウェブストアにある多数の拡張機能に難読化された悪意あるコードが含まれていたことを発表したと報告しました。 More malicious extensions in Chrome Web Store | Almost Secure https://palant.info/2023/05/31/more-malicious-extensions-in-chrome-web-store/ パラント氏が最初にこの問題を発見したのは、PDFファイルの編集や結合などの機能を持つ「PDF Toolbox」という拡張機能です。200万人以上のユーザーと「4.2」の評価を得ていたこの拡張機能は、表面的には何の変哲もない拡張機能でしたが、アドウェアを配布している「serasearchtop
実務につなげる数理最適化
はじめに はじめまして、2023年10月にシニアリサーチャーとして入社したアドバンスドテクノロジーラボ（ATL）の梅谷俊治です。2023年9月まで、大阪大学大学院情報科学研究科にて数理最適化寄附講座教授を務めていました。 本記事では、リクルートのデータ推進室における数理最適化を活用した問題解決の取り組みをご紹介します。 数理最適化は、与えられた制約条件の下で、目的関数を最小（もしくは最大）にする最適化問題を通じて、現代社会における意思決定や問題解決を実現する数理技術の一つです。 近年では、機械学習によるデータ分析や予測の技術開発が進み次々と実用化されています。数理最適化は、それらのデータ分析や予測の結果を踏まえた上で意思決定や計画策定を実現する問題解決における出口を担当する技術です。例えば、オンライン広告などカスタマーに商品を推薦するレコメンデーションでは、機械学習を活用してカスタマーの商
アメリカ合衆国サイバーセキュリティ・社会基盤安全保障庁が、先日2023/08/04に2022 Top Routinely Exploited Vulnerabilitiesというレポートを公開していました。 2022年に最も悪用された脆弱性トップ12がリストアップされているようです。 以下では該当の脆弱性をそれぞれ紹介してみます。 理論上危険とか原理上危険とかではなく、実際に使われた脆弱性ということなので、対策する必要性は極めて高いといえるでしょう。 心当たりのある人はすぐに対処しましょう。 2022 Top Routinely Exploited Vulnerabilities CVE-2018-13379 Fortinet社のVPN機器FortiGateに存在する脆弱性で、VPNのログイン情報を抜かれます。 VPNでなりすまし放題ということなわけで、極めて重大な脆弱性と言えるでしょう。
はじめに - 作って学ぶ正規表現エンジン
はじめに 正規表現は様々なプログラミング言語で利用されている、テキスト処理のためのパターン言語です。 正規表現はテキストエディタでの検索や置換、入力文字列のバリデーションなどプログラミングの様々な分野で実用されています。 ある程度の規模のプログラムにおいて、正規表現を全く利用しない (利用していない) ということはほとんど無く、正規表現は今日のプログラミングにおいて非常に重要なパーツだと言えます。 JavaScriptやRubyといったプログラミング言語では正規表現はファーストクラスのリテラルとして実装されているため、とても簡単に利用できます。 例えば次のRubyプログラミングでは変数fooに入った文字列の部分にfizzかbuzzが含まれるかどうかを、正規表現/fizz|buzz/を使ってチェックしています。 foo =~ /fizz|buzz/ さらに、計算機科学 (コンピューターサイエ
まえがき データ分析はなんて広いんだろう。影響力の強まりに応じ、自然・社会・人間ほぼすべてが対象となりどんどん拡大していく。対象に応じ手法も広がり複雑化し、学ぶべきことが多すぎる。データサイエンティスト協会のスキルチェックリストVer.3.001（ごめんもう4.00が出てるね）も500超の項目があります。読むべき図書も良書と思われるものだけでも増え続けており、もう手に負えない状況です。 ただ、これはやってはだめだ、ここを知らないと道に迷う、という絶対に知っておくべき点は学べる範囲だと思います。本書では、データ分析において間違えやすい、誤解しやすい点を共有し、データ分析全体をよくする目的で、かつ データ分析の入門書・専門書に分野ごとには書かれてはいますが1つにまとまっておらず目に触れにくいもの データ分析の入門書・専門書でもスルーされていたり場合によっては誤っていると思われるもの で自分なり
ニュースを見てるアメリカ人のあいだでこれほど多くの悲観論が通説になりつつあるのは，どうしてだろう？ ひとつには，2010年代後半の社会全体の動揺が挙げられる．それと，国が危機のさなかにあるという感覚をつくりだすことで利益を手に入れたがってるアウトサイダー政治派閥が〔そういう悲観的で危機を煽る〕メッセージを送り出していることも，理由の一端にあると思う．ただ，この十年～二十年ほどで，他でもなくニュースメディアがますます悲観的になってきたっていう事情もある． Binsbergen et al. による新しい論文では，テキストマイニング手法を使って新聞で用いられている言葉を分析している．彼らは，経済ニュースと経済以外のニュースの両方でプラスの感情とマイナスの感情をはかる尺度を構築した．短期的には，経済に関する感情は経済関係の出来事に対応している――景気後退やインフレにはマイナスの感情が対応するし，
ぜんぶ翻訳 「AI と著作権に関する考え方について」への協議 CISACについて 私は、国際作家・作曲家協会連合である CISAC を代表してこの文章を書いています。 CISACは、著作者団体の世界的なネットワークとして、116カ国から225の団体が加盟しています。 CISACは、会員を通じて、音楽、演劇、文学、オーディオビジュアル、グラフィック、ビジュアル・アートなど、あらゆる芸術分野の500万人以上のクリエイターの利益を代表しています。 CISACは、「人工知能と著作権に関する協議」について、日本政府にコメントを提出する機会を得たことを嬉しく思います。 AIについて このテクノロジーは人間の創造性を高め、イノベーションを支援する一方で、クリエイターの権利や生活を脅かす存在にもなっています。 重要な問題のひとつは、テキストマイニングやデータマイニング（TDM）を含むAIの学習目的で、権利
読売新聞社は1月25日、Webメディア「読売新聞オンライン」の利用規約を改定すると発表した。掲載記事を生成AIなどに学習させる行為などを新たに禁じる。2月1日から適用する。 禁止事項として新たに3点を追加。「データマイニング、テキストマイニングなどのコンピュータによる言語解析行為」「クローリング、スクレイピングなどの自動化した手段でデータ収集や抽出、加工、解析、蓄積などをする行為」「生成AIなどに学習させる行為、生成AIなどを開発する行為」を禁じた。 これらの禁止事項を含めた情報解析のために、同メディアの記事を利用したい場合は、読売新聞とライセンス契約を結ぶ必要があるとしている。 生成AIを巡っては、米The New York Timesは2023年12月に米Microsoftと米OpenAIを著作権侵害で提訴するなど、新聞業界は反発している。The New York Timesは「両社が
データサイエンスエキスパート ゲームクリア 攻略チートシート配布 攻略指針 図書館を巡ってアイテム収集 図書館の初見殺しトラップ攻略 参考書籍 統計基礎 統計学（初歩） 統計学（高度） ベイズ統計 分散分析 数学基礎 線形代数 微積分 計算基礎 情報全般 データベース アルゴリズム モデリング・AIと評価 歴史・応用分野・AIなど 多変量解析 時系列解析 グラフィカルモデル テキスト分析 因果推論 機械学習・モデル評価・ニューラルネットワーク データサイエンスエキスパート ゲームクリア 日本統計学会が主催するデータサイエンスエキスパート試験に合格した。 www.toukei-kentei.jp データサイエンスエキスパートは、統計検定より実践寄りであるデータサイエンスシリーズの最上位資格という位置付け。下位資格には「データサイエンス基礎」や「データサイエンス発展」があるが簡単そうだったので
米Dropboxは、企業が「必要なだけ」無制限に容量を利用できるストレージサービス「Dropbox Advanced」を従量制に移行する。 Dropbox Advancedは「大量のデータを保存する企業のためのサービス」だが、最近は「個人が集まって使ったり、容量を再販したり、仮想通貨のマイニングに利用する」などの悪用が増え、容量無制限を維持するのが困難になったという。 問題行為は「他のサービスがポリシー変更を行った後に急増する」傾向がある。不正利用者は「実際の企業ユーザーの何千倍ものストレージを消費」しており、他のユーザーに悪影響を及ぼすリスクがあるという。 さまざまな利用形態のうち、許容できるものとできないものを峻別し続けるのは「持続可能な解決策ではない」とし、従量制に移行することにした。 新プランでは、15TBのストレージを3ライセンスまでのチームで共有でき、追加1ライセンスごとに5T
謎の天才「サトシ・ナカモト」は何者か？――NHKは、正体も動機も不明の謎の存在「市民X」が社会を揺り動かした出来事の真相に迫る新ドキュメンタリーシリーズ「市民X」の初回を、NHK総合で11月13日午後10時から放送する。 取り上げるのは、ブロックチェーンを開発し、ビットコインを生みだした「サトシ・ナカモト」だ。「“現代社会、最大のミステリー”とされる謎めいた存在の光と影、功罪に迫る」という。 放送は13日午後10時から44分間。26日午後9時からは、地上波放送に盛り込めなかった99分間の「完全版」（前編・後編）をBS1で放送する。 関連記事 「マイニングはゲーム理論」「ブロックチェーンの源流、27年前に」――ビットコインが受け継ぐ“DNA”、MIT研究員が語る 米マサチューセッツ工科大学（MIT）メディアラボの研究者が、ビットコインが受け継ぐ技術とその長所・短所を語った。 今更聞けない「ブ
高木浩光＠自宅の日記 - 速報：Claude 3に判例評釈を自動生成させてみた（Coinhive事件最高裁判決の巻）
■ 速報：Claude 3に判例評釈を自動生成させてみた（Coinhive事件最高裁判決の巻） 一昨日の「Claude 3に例の「読了目安2時間」記事を解説させてみた」の感触からすると、これだけLLMが長文の意味内容を「理解」するようになったとなると、もはや、書評や論文紹介、判例批評など、定形的なスタイルを持つ学術記事は、LLMによって自動生成が可能なんではないか？と思えてくる。 というわけでやってみた。土地勘のあるところで、Coinhive事件最高裁判例（刑集第76巻1号1頁）でやってみよう。しかし、さすがに、ただ最高裁の判決文を投入するだけでは、通り一遍の内容のない判例評釈になってしまうことが予想される。そこで、実在する一審の解説と二審の解説（私が書いたやつ）を読ませて、それを踏まえた最高裁判決の評釈を生成させてみる。これはうまくいくに違いない。たぶん。いや、どうかな。 さて結果は……
オフェンシブ視点による Cloud Security 入門 ~AWS 編~ - blog of morioka12
1. 始めに こんにちは、morioka12 です。 本稿では、AWS 環境における攻撃者のオフェンシブな視点で Cloud Security の入門として紹介します。 1. 始めに 免責事項 想定読者 2. クラウドにおける脅威 クラウドの重大セキュリティ脅威 11の悪質な脅威 クラウドサービス利用に関連するリスク Top 10 AWS セキュリティ構成ミス Top 10 3. AWS 環境における攻撃者の観点 3.1 AWS 環境の外部からの観点 3.2 AWS 環境の内部からの観点 4. MITRE ATT&CK Framework for Cloud (IaaS) 4.1 初期アクセス (Initial Access) 4.2 実行 (Execution) 4.3 永続化 (Persistence) 4.4 権限昇格 (Privilege Escalation) 4.5 防御回避
AWSセキュリティ成熟度モデルを活用することで自分たちのAWSセキュリティの現在地を確認できます。AWSセキュリティ成熟度モデルとはどんなものなのか、どうやって活用すべきかをコツも含めて解説します。 こんにちは、臼田です。 みなさん、AWSのセキュリティ対策できてますか？(挨拶 といっても具体的にどれくらいできているかって判断するのが難しいですよね。 今回はAWSから提供されているAWSセキュリティ成熟度モデル(AWS Security Maturity Model)を活用した、どれくらいできているのかを確認する方法を紹介します。こんな感じになります。 ぱっと見いい感じじゃないですか？これはちょっと作り込んでありますが、ベースはAWSセキュリティ成熟度モデルを活用しています。まずはAWSセキュリティ成熟度モデルがなんなのか、というところから説明していきます。 AWSセキュリティ成熟度モデル
内閣府知的財産戦略推進事務局より募集がありました「AI時代における知的財産権」に対して、NAFCAが提出したパブリックコメントを公開します。 第１ I．生成ＡＩと知財をめぐる懸念・リスクへの対応等について１ 生成ＡＩと著作権の関係について、どのように考えるか(1) 生成ＡＩの学習に用いられる著作物の著作権について生成ＡＩが絵、文章、音声、映像などを生成するためには、人間が創作した著作物を学習用データとして利用する必要があります。 現在、わが国では著作権法３０条の４第２号に定める「情報解析」については、その必要と認められる限度において、いずれの方法によるかを問わず、原則として自由に利用することができることとされています。 そして、生成ＡＩ開発・学習段階における学習用データの収集・加工・入力等は、この「情報解析」に該当すると考えられ、実際に様々な著作物や実演が生成ＡＩの学習に供されています。
ローコード/ノーコード開発ツール導入シェア1位は「GeneXus」、導入予定1位は「kintone」─ノークリサーチ | IT Leaders
IT Leaders トップ ＞ テクノロジー一覧 ＞ 開発ツール／プラットフォーム ＞ 調査・レポート ＞ ローコード/ノーコード開発ツール導入シェア1位は「GeneXus」、導入予定1位は「kintone」─ノークリサーチ 開発ツール／プラットフォーム 開発ツール／プラットフォーム記事一覧へ [調査・レポート] ローコード/ノーコード開発ツール導入シェア1位は「GeneXus」、導入予定1位は「kintone」─ノークリサーチ クラウドサービス間連携の用途が上昇 2024年1月29日(月)日川 佳三（IT Leaders編集部） リスト ノークリサーチは2024年1月29日、国内の中堅・中小企業におけるローコード/ノーコード開発ツールの社数シェアと用途を調査し、結果を発表した。導入済みツールのシェア1位はジェネクサス・ジャパンの「GeneXus」で21.8％だった。導入予定ツールの1位
セキュリティって本当に難しくて苦手意識を持っている方も少なくないと思います。今回改めてAWSセキュリティについて考えたときに、分かりやすく考えが纏まったのでブログで共有することにしました。なお本記事ではAWS環境を前提に紹介しますが、セキュリティ全般に応用できる考え方です。 こんにちはAWS事業本部コンサルティング部のこーへいです。 セキュリティの難しさ いきなりですが、セキュリティってすごく難しくないですか？ 自分はセキュリティに関しては苦手意識が強く、同じくセキュリティに対して苦手意識を持っていらっしゃる方も少なくないと思います。 なぜ苦手意識があるのかを言語化した際に、以下のような理由がありました。 セキュリティ分野の範囲が非常に広く、また日々情報が更新されるので学習が追いつかないから 攻撃と対策について、個別パターンごとに学習しようとすると難解な内容も多いから 実際に攻撃を受けて被
AI で個人にあった学習を提案する技術
はじめに とても前になるが、コグニカル というサイトが盛り上がっていた。 これは知識を体系的に記述されていて、分からない概念があればその概念の理解に必要な概念を逆引けるサイトだ。コンピュータ以外にも数学や理工学全般を学べる。 コメントを見ると、インターネットを使った学習で、自分の分からなかったことを辿れる学習や体系だっていることに対して価値を感じているようだ。「誰が何のためにどうやって作ったのか情報がぜんぜんなくて怖い」というコメントがあるが、同感だ。怖い。そして教育工学を専攻していた身としては地に足ついたアウトプットが人の役に立っていて羨ましくも思うし、尊敬する。 実はこのような教授手法は古くから研究されている。それは知識をネットワークで表現するだけでなく、個々人の学習履歴や成績を元に次に学ぶものを提案する方法も提案されている。コグニカルを知った時にその技術についてのブログを書こうと思っ
DMBOK第1章データマネジメント｜zono
要約データマネジメントはデータと情報の価値を最大化し、ライフサイクルを通じて計画・実施・監督するものです。価値の定量的評価が難しく、データ品質の管理が重要になります。 また、リーダーシップとコミットメントが効果的なデータマネジメントに必要になります。 課題としてデータの特異性やデータ品質、横断的な視点が挙げられ、その1つの解決策として様々なフレームワークが存在します。 データマネジメントとは定義についてはDMBOKに以下のように記載されています。 データマネジメントとは、データとインフォメーションという資産の価値を提供し、管理し、守り、高めるために、それらのライフサイクルを通して計画、方針、スケジュール、手順などを開発実施監督することである。 DMBOKよりデータマネジメントの失敗は、企業資本の管理に失敗することと同じでチャンスを逃すことになります。 また、ITの変化とともに、データとは一
政府による監視施策が採られようとするとき、人によっては「隠すことは何もない」と答え、政府による監視をそのまま受け入れて「違法行為が発見されない限りは、プライバシーを脅かすものは存在しない」と考える人もいます。こうした考えにどのような問題があるのかについて、ジョージ・ワシントン大学法科大学院のダニエル・ソロヴ氏が考察しています。 'I've Got Nothing to Hide' and Other Misunderstandings of Privacy by Daniel J. Solove :: SSRN https://ssrn.com/abstract=998565 ソロヴ氏がこの考察を発表したのは2007年のことで、アメリカ同時多発テロ事件の影響で政府が大規模な監視とデータマイニングを開始した時期でした。監視に関しては、2005年12月、ニューヨーク・タイムズが「9月11日以降
こんにちは、ラボで研究開発をしたりプロトタイプを作っている藤本(X(Twitter))です。ABEJAアドベントカレンダー2023の21日目の記事です。ここ近年、生成AIの勢いが凄いです。最近は一夜明けたら世界が変わっているみたいなことがしょっちゅう起きています。そんな状況なので、なかなか世の中についていくのが難しいのではないかと思います。そこで今回は、これまでに色々と出てきた生成モデルを振り返りつつ、ひたすら思いつく限りColabで動かしまくってみる企画をやってみようかと思います。流石に全部Colabで動かすのは大変でした・・・。 まずは言語を対象として日本語モデルを含む様々なモデルを対象に推論実験を行います。続いて高速化の実験、更にSFTによるInstructionチューニングや、RLHFもやってみます。最後に、ソースコード生成もやってみましょう。次に、画像を対象として、言語同様に色々
生成AIは誰かの著作権を侵害しているのか？ 弁護士・柿沼太一が語る“日本の著作権法とAIの関係性”（リアルサウンド） - Yahoo!ニュース
2023年8月17日、新聞協会ら4団体は共同声明を発表し、生成AIについて著作権者の権利が侵害されるリスクがあること、権利の保護策を検討すべきことを訴えた。 【写真】柿沼太一の撮り下ろしカット （参考：https://www.pressnet.or.jp/statement/copyright/230817_15114.html） 個人レベルでも自分の作品が無断で「AIに食われている」ことに反感を覚えるクリエイターは少なくないはずだ。一方で、既に創作活動にAIを活用しているクリエイターのなかには、意図せずに他者の権利を侵害していないか不安を感じる人もいるだろう。 今回は上記の問題について詳しい弁護士の柿沼太一氏に、AIと著作権の関係について話を聞いた。（福地敦） ・AI開発のためならば、著作物は原則として無許諾で利用できる ――日本は生成AI開発に関する規制が他国よりも緩やかで、「機械学習
Hashcatのようなパスワード復元ツールは、パスワードのクラックや解析を行うことが可能で、サイバーセキュリティの観点から用いられることがあります。セキュリティ企業のSEVN-Xが、優れたパスワードクラッカーを構築するために必要なハードウェアやソフトウェアについて紹介しています。 How to Build a Password Cracker https://www.sevnx.com/blog/post/building-a-password-cracker ◆グラフィックカード(GPU) SEVN-Xによると、市販のデスクトップPC向けNVIDIA製GPUは、パスワードのクラックに特化したリグを構築する上で最もコストパフォーマンスに優れるとのこと。また、Hashcatのパフォーマンスに関しては、「GeForce RTX 4090」が最も高い性能を示しています。 また、正しいドライバーが
配布資料 資料 ＡＩと著作権に関する考え方について（素案）（365KB） 参考資料1 第23期文化審議会著作権分科会法制度小委員会委員名簿（115KB） 参考資料2 生成ＡＩに関するクリエイターや著作権者等の主な御意見（199KB） 参考資料3 法30条の4と法47条の5の適用例について（第4回法制度小委員会配布資料）（412KB） 参考資料4 論点整理―これまでの議論の振り返り―（案）（第4回AI時代の知的財産検討会配付資料）（7.7MB） 参考資料5 広島AIプロセス等における著作権関係の記載について（579KB） 参考資料6 文化審議会著作権分科会法制度小委員会 開催実績及び今後の進め方（予定）（123KB） 議事内容 【茶園主査】それでは、定刻になりましたので、ただいまから文化審議会著作権分科会法制度小委員会（第5回）を開催いたします。 本日は御多忙の中、御出席いただきまして、誠に
Steven J. Vaughan-Nichols （Special to ZDNET.com） 翻訳校正： 川村インターナショナル 2024-04-12 07:30 すべての始まりは、Microsoftの主任ソフトウェアエンジニアであるAndres Freund氏が、「Debian Linux」ベータ版のSSHリモートセキュリティコードの実行速度が遅い理由に関心を持ったことだった。Freund氏が詳しく調べたところ、問題が明らかになり、xzデータ圧縮ライブラリーのチーフプログラマー兼メンテナーだったJia Tanと名乗る人物がコードにバックドアを仕掛けていたことが分かった。その目的は、攻撃者が「Linux」システムを乗っ取れるようにすることだ。 近年は、悪意あるハッカーがソフトウェアに不正なコードを挿入する事例が非常に多くみられる。一部のオープンソースコードリポジトリー、たとえば人気の「
【総まとめ】GuardDutyによるコンテナランタイム脅威検知の注意事項と設定手順と検出の様子 #AWSreInvent | DevelopersIO
AWSマネージドサービスGuardDutyによる待望のコンテナランタイム脅威検知。その検知内容と設定上の注意事項、検出の様子をまとめてお届けします。 「ECSのランタイム脅威検知って、商用製品必須だよね。どれにすっかなぁ。結構高いよね」 「1年前の予告を経て、よーーーやくAWSマネージドなやつがGAされましたよ」 去年のre:Invent2022においてKeynote中に予告だけされていたコンテナ環境のランタイム検知（【速報】GuardDutyによるコンテナランタイムの脅威検知サービスが発表されました！）。 先日のre:Invent 2023のアップデートにより、待望のECSにおけるランタイム検知が、GuardDutyで実現できるようになりました！！もともとEKSにおけるランタイム検知は提供されていましたが、それがECSにも拡張されたアップデートです。 これまでAWSのECSにおいてランタ
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
大学で読んだ情報科学関連の教科書 - ｼﾞｮｲｼﾞｮｲｼﾞｮｲ
ChatGPTのコア技術「GPT」をざっくり理解する - Qiita
LGの洗濯機がなぜか1日3.6GBもデータ通信をしていると持ち主が困惑、LGが調査に乗り出す
趣味でKaggleを始めたことをきっかけにデータサイエンティストになった話 - Qiita
1つの HTML ファイルだけで完結する校正支援ツールの作り方
京都大学の寮祭で、『手計算で仮想通貨マイニング』とかいう全てがカオスなイベントが行われた「令和の炭鉱労働」
悪意あるコードが仕込まれたChrome拡張機能が大量に発見される
2022年に最も悪用された脆弱性12選 - Qiita
ヤバいデータ分析（書籍・記事であまり扱われてないが重要なこと） - Qiita
ノア・スミス「ニュースはますます悪いことを偏って取り上げがちになってきてる」（2024年1月16日）
著作権協会国際連合「日本のAI学習は権利者からの許可と報酬の支払いを条件に」文化庁に申し入れ
読売新聞、Web記事の“生成AIへの学習利用”を禁止に 利用規約を改定 スクレイピングなどもNG
23/7/5 データサイエンスエキスパート合格 チートシートと攻略ガイド - LWのサイゼリヤ
Dropbox「容量無制限」終了 「容量再販やマイニングなど悪用」で「正規ユーザーの数千倍消費」のため
NHK、ビットコイン開発者「サトシ・ナカモト」に迫る 新番組「市民X」初回
AWSセキュリティ成熟度モデルによるセキュリティ現在地確認のススメ | DevelopersIO
パブリックコメント「AI時代における知的財産権」
AWSにおけるセキュリティについて改めて考えると本質はすごくシンプルだった | DevelopersIO
「悪いことをしていないなら隠す必要はない」という考えはプライバシー問題においては間違いだという指摘
色々な生成AIモデルをColabで動かして今年を振り返る - ABEJA Tech Blog
パスワードクラッキング用PCの構築に必要なハードウェアやソフトウェアとは？
文化審議会著作権分科会法制度小委員会（第5回） | 文化庁
「XZ Utils」のバックドア問題--オープンソースのセキュリティを考える