【ChatGPT】ファインチューニングをわかりやすく解説 - Qiita
本記事は日本オラクルが運営する下記Meetupで発表予定の内容になります。発表までに今後、内容は予告なく変更される可能性があることをあらかじめご了承ください。当日は記事内容以外にデモンストレーションも実施する予定です。 以下の記事内容とセットで実施する予定です。以下の記事がメインでこちらの記事がサブというアジェンダとなります。 はじめに 2022年暮れ、ChatGPTの登場以降、あらゆる企業がDXの在り方を問われはじめ、大規模言語モデルの仕組みをどのように業務に取り入れるかを検討されていると思います。 その検討の一つとして、「GPT(LLM)が学習していない企業内のデータや最新のデータも有効活用すべき」 という点は非常に大きな論点なのではないでしょうか。 ご存じの通り、LLMとはインターネット上に存在するドキュメントデータをクローリングにより大量に収集し、それを学習データとして機械学習にか
データ分析の基礎 - Qiita
1. データ分析の概要と目的 データ分析とは、大量のデータから有用な情報や知識を抽出するプロセスです。 このプロセスには、データの収集、前処理、探索、モデリング、評価、そして最終的な知識の抽出が含まれます。 データ分析の主な目的は以下の通りです ビジネスの意思決定をサポートする 新しい市場の機会を発見する 顧客の行動や傾向を理解する 製品やサービスの改善 予測や予測モデリングを行う 2. Pythonにおけるデータ分析のライブラリの紹介 Pythonはデータ分析のための多くのライブラリを持っています。 以下はその中でも特に人気のあるライブラリです Pandas: データの前処理や探索的データ分析に使用されるライブラリ NumPy: 数値計算を効率的に行うためのライブラリ Matplotlib & Seaborn: データの可視化に使用されるライブラリ Scikit-learn: 機械学習の
Apache Iceberg とは何か - 流沙河鎮
はじめに 概要 Apache Iceberg(アイスバーグ)とは [重要] Icebergの本質はTable Specである Table Spec バージョン Icebergハンズオン Icebergの特徴 同時書き込み時の整合性担保 読み取り一貫性、Time Travelクエリ、Rollback Schema Evolution Hidden Partitioning Hidden Partitioningの種類 時間 truncate[W] bucket[N] Partition Evolution Sort Order Evolution クエリ性能の最適化 ユースケース Icebergのアーキテクチャ Iceberg Catalog Iceberg Catalogの選択肢 metadata layer metadata files manifest lists manifest f
とほほのWSL入門 - とほほのWWW入門
Windows Subsystem for Linux の略です。 Windows 上で Ubuntu などの Linux ディストリビューションを実行する機能です。 Microsoft が提供しています。 2017年10月に WSL1 が、2019年2月に WSL2 が公開されました。 WSL1 では Linux 自体のカーネルを動かすものではなく、Linux 互換のシステムコールを提供するものでした。 WSL2 からは Linux 自体のカーネルを動作させ、互換性が向上しました。 提供されるディストリビューションは Ubuntu、openSUSE、Debian、OracleLinux、Kali Linux などがあります。 Red Hat Enterprise Linux、CentOS、Rockey Linux、AlmaLinux はサポートされていません。 Windows 10 バー
Windows Subsystem for Linux（WSL）に新機能。使用メモリや仮想ディスクの自動縮退、LAN経由でWSLへ直接アクセス可能など
Windows Subsystem for Linux（WSL）に新機能。使用メモリや仮想ディスクの自動縮退、LAN経由でWSLへ直接アクセス可能など マイクロソフトは、Windows上でLinuxの機能を利用できるWindows Subsystem for Linux（WSL）の2023年9月版となる新バージョン「WSL 2.0.0」で、使用メモリをWindowsに返却して自動的に縮退する「autoMemoryReclaim」や仮想ハードディスクを自動的に縮退する「Sparse VHD」、従来のNATに代わる新しいネットワークモード「Mirrored」によるLANからWSLへの直接アクセスなどの新機能を搭載したことを明らかにしました。 下記は今回の新機能を説明するブログの作者であるCraig Loewen氏のツイートです。 WSL has a new update with some b
2020年6月に発生したドメイン名ハイジャックのインシデント対応について - coincheck tech blog
はじめまして、サイバーセキュリティ推進部の喜屋武です。 今回は2020年6月に発生したお名前.com上の当社アカウント乗っ取りによる「coincheck.com」のドメイン名ハイジャックのインシデントについて、発覚までの経緯とその後のインシデント対応についてご説明します。 1 発覚までの経緯 1.1 サービスの応答時間の遅延の確認 当社利用のドメイン登録サービス「お名前.com」で発生した事象について（最終報告） | コインチェック株式会社 でもタイムラインを記載しましたが、最初の異変は日頃からモニタリングしているサービスのレスポンスタイムが著しく遅延していたことでした。 当時のサービスのレスポンスタイム この異常を確認し、SRE チームが調査に乗り出しましたがこの段階では他に問題は確認されず、レスポンスが遅延している原因の特定には至っていませんでした。 1.2 他部署やユーザーからの問い
(翻訳) ストーリーポイント再考 - forest book
本稿は Ron Jeffries 氏によって書かれた次の記事の日本語翻訳です。著者に翻訳の許可を得て公開しています。 ronjeffries.com また本稿は DeepL Pro を使って下訳したものに手を加えています。日本語翻訳の不具合または誤訳については Ron Jeffries 氏ではなく、本稿のコメント欄にお願いします。 ここから本文です。 ストーリーポイント再考 私はストーリーポイントを発明したかもしれない。もしそうだったとしたら、いまは申し訳なかったと言いたい。ストーリーポイントに関する私の現在の考えを探ってみよう。少なくとも何人かは私の考えに興味をもっているでしょう。 もちろん、ストーリーは XP のアイディアであり、スクラムのアイディアではありません。どういうわけか、スクラムの実践者はこのアイディアを採用しています。公式のスクラムガイドではバックログアイテムに言及している
awkが新しくなる！？ 本家AwkがUnicode (UTF-8)とCSV対応に！ - Qiita
はじめに 2023年、長い時を経て awk がとうとう Unicode (UTF-8) と CSV に対応しました 🎉🎉🎉 awk で日本語がうまく扱えない（場合がある）、Excel が出力する CSV ファイルが扱えない（場合がある）、といった問題が解決に向けて一歩に進みます。 去年、本家 awk (One True Awk, nawk) に Unicode サポートが Brian Kernighan の手によって追加されたと話題になった（参照）ことを覚えているでしょうか？ Brian Kernighan が誰だか知らない方がいるかもしれないので説明すると、オリジナルの awk の開発者の一人で awk の頭文字、Alfred Aho、Peter Weinberger、Brian Kernighan の一人です。通称「K＆R」の「プログラミング言語C」や「プログラミング言語AWK」
Linux システムコール 徹底入門
Linux システムコールについて調べたことをまとめる。システムコールの仕組みを理解すると、 OS とアプリケーションがどのように連携して動いているのかを理解できるようになります。 システムコールは CPU に依存する処理が多いため、 x86_64 に絞ります。 検証環境]# cat /etc/redhat-release CentOS Linux release 8.0.1905 (Core) ]# uname -a Linux localhost.localdomain 4.18.0-80.11.2.el8_0.x86_64 #1 SMP Tue Sep 24 11:32:19 UTC 2019 x86_64 x86_64 x86_64 GNU/Linux ]# cat /proc/cpuinfo | head processor : 0 vendor_id : GenuineInte
10年前に「ムーアの法則が終わる」と言われた頃から現在までのサーバ進化の技術的模索を振り返る（前編）
先々月、あるサーバベンダ主催のイベントで、最近のサーバにおける技術トレンドを紹介して欲しいという依頼を受けて、過去10年のサーバ技術のトレンドを振り返るという講演を行いました。 ほぼ10年前は「ムーアの法則が終わる」と本格的に言われ始めた頃で、そこから実はさまざまな技術、例えばストレージクラスメモリやFPGAやメモリドリブンコンピュータなどのプロセッサの回路の微細化以外の技術によるサーバの性能向上技術が注目され、その一部は市場に投入され定着しつつある一方で、商業的な成功を収められなかった多くの技術もありました。 それらをざっと振り返る内容にしたところ、現在のサーバ技術の方向性がなんとなく見えてきたのではないかと思うので、ここで記事として紹介します。 記事は前編と後編に分かれています。いまお読みの記事は前編です。 10年前、「ムーアの法則」が終わると言われ始めた 今から約10年ほど前、201
Terraformのライセンス変更を受けてオープンソース版のフォークとして「OpenTF」の開発が進んでいる
コードを元にインフラストラクチャを構成できるツールのTerraformのライセンスが変更されたことを受けて、オープンソース版のフォークとして「OpenTF」の開発が進んでいます。 The OpenTF fork is now available! https://opentf.org/fork OpenTF Foundation https://opentf.org/ Terraformはコードを元にインフラストラクチャを自動で構築することで、安全かつ効率的に構築、変更、バージョン管理できるようにするツールです。2014年からMozilla Public License 2.0のオープンソースソフトウェアとしてHashiCorp主導で開発されてきましたが、HashiCorpは2023年8月10日に突然Terraformのライセンスを商用利用を一部制限するBSLに切り替えると発表し、コミュニ
OpenInterpreter / ついにAIがガチのアシスタントに!これは凄い、というか凄すぎる｜shi3z
凄いものが出てきてしまった。 ChatGPTの「Code Interpreter」が話題になったが、あれはあくまでクラウド上で動いているだけ。それを模してローカルで動作するようになった「Open Interpreter」は、衝撃的な成果である。 Open Interpreterのインストールは簡単。コマンド一発だ $ pip install open-interpreter起動も簡単 $ interpreter -yこれだけでOK。 あとはなんでもやってくれる。 たとえばどんなことができるのかというと、「AppleとMetaの株価の推移をグラフ化してくれ」と言うとネットから自動的に情報をとってきてPythonコード書いてグラフをプロットしてくれる。 凄いのは、ローカルで動くのでたとえばApplescriptを使ってmacOSで動いているアプリを直接起動したり操作したりできる。「Keynot
S3互換のオブジェクトストレージminioを試す | DevelopersIO
はじめに AWSを利用するシステムを開発するときに、まだリソースを用意してないけどちょっと動かしてみたいな、ということが稀によくありますよね。 最近S3を使う機能の開発でそういう状況になったので、S3互換オブジェクトストレージのminioを試してみました。 簡単に動かすことができたので今回は導入方法とaws-cliからの操作方法を紹介します。 検証環境 Docker: 18.06.0-ce minio: 2018-08-02T23:11:36Z aws-cli: 1.16.1 minioとは minioはプライベートクラウドでの利用を想定した分散オブジェクトストレージです。Go言語実装で、ソースはGitHubのリポジトリで確認できます。 GitHub - minio/minio: Minio is an open source object storage server compatibl
西武池袋本店に関する騒動を理解するためのそごう・西武の財務分析｜massinaの企業分析小ネタ
西武池袋本店の売却にからんで、労組がストしただの、企業価値は2,200億円だけど株式価値は8500万円だの、フォートレスがヨドバシに3,000億円で売るだの、先には史上最低のディールと書かれるだの池袋区長がヨドバシ嫌だとか言って物議を醸すだの、色々騒がしいことになってますが、なんでこんなことになってるのか(西武の旗艦店を閉店して売却しなければならないほど困ってるのか)というのを理解するのにちょっと財務諸表等から分析してみようかと思ってやってみましたというのが今回の話です。 資料としては、そごうと西武統合(2010年2月期)以降の決算公告と、セブン＆アイ・ホールディングスのIR資料(主に決算補足資料)にある各種KPIを用います。 結論から言えば、 ・ 統合以来ずっと中小規模店舗を閉鎖し大規模店中心にする方向で縮小均衡を図っている ・ その割に係数の改善が物足りなく、負債の負担感については重い
なぜ脱OSSが増えているのか？
はじめに TerraformやVaultを開発するHashiCorpは自社製品をOSSのMPL(Mozilla Public License v2.0) から、ソースコードは公開するも一部の利用に制限があるBSL(Business Source License) への変更をアナウンスしました。 これは2018年のRedisを皮切りにMongoDBやCockroachDB、ElasticSearchなど多くのプロダクトで進められている脱OSSの流れです。商用のオープンソース[1]と言われてしまうこともある最近のこの動きの理由は何故なのか？ という点を以下の動画で解説しました。 動画中では尺の都合で端折った個所も多いので、こちらの記事の方にもまとめておきたいと思います。 OSSとは？ OSSの定義 まず、OSS（オープンソース）とはなんでしょうか？ これはRMSのフリーソフトウェアを源流とする
AIお姉ちゃんへの道 - nomolkのブログ
ちょっと前に話題になっていたこの記事を読んだ。 honeshabri.hatenablog.com へー真似しよ〜と思ってやってみたら意外に難しくて謎のやりがいを感じ始めてしまい、仕事のクソ忙しい時期にかなりハマり睡眠不足で生命の危機を味わった。 おかげで寿命と引き換えに自分のAIお姉ちゃんを手に入れることができた。これは黒魔術か何かなのだろうか。 一通り終えて振り返ってみると、今まで生成AIをあまり積極的に触ってこなかった自分にとってはちょうどいい難しさの課題で、これは入門者向けのチャレンジとしてかなり良い気がする。 元記事に書かれていない少し細かい手順も含めてやったことを記録としてまとめようと思う。 初心者が試行錯誤でやったことなので誤りや非効率な手順もあるかもしれないけどご了承ください。 AIお姉ちゃんの姿を作る 元記事では「魂」、つまりChatGPTの設定から始まっているけど、それ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
パスワードがハッシュ値で保存されているサイトのSQLインジェクションによる認証回避の練習問題 - Qiita
【新卒研修資料】基礎統計学 / Basic of statistics
1100兆円もある日本の借金、日本はどうして破綻していないのでしょうか。今後はどうなりますか？
JWTセキュリティ入門
