【脱sed】いい加減シェルスクリプトで文字列をsedで置換するなんてやめよう - Qiitaはじめに もう文字列の置換で sed コマンド使うの禁止して良いんじゃないですかね？ 言いすぎだとわかってあえて言っていますが。 悪い書き方（外部コマンドに頼る方法） # 変数 line に入ってる文字列を echo コマンドで出力して sed コマンドに渡し、 # sed の s コマンドで "from" を "to" に置換して出力したものを ret 変数で受け取る ret=$(echo "$line" | sed "s/from/to/")
dind(docker-in-docker)とdood(docker-outside-of-docker)でコンテナを料理する - Qiita
dind(docker-in-docker)とdood(docker-outside-of-docker)でコンテナを料理するLinuxDockercontainerdindDooD 1. はじめに コンテナの中にコンテナを立てたい、コンテナ内からホストマシンのコンテナを操作したい、そんなことを考えた方も多いのではないでしょうか。 こうした要求にこたえられる手法がdind (docker-in-docker)とdood (docker-outside-of-docker)です。 コンテナの中にコンテナを立てたい >> dind (docker-in-docker) を使います コンテナ内からホストマシンのコンテナを操作したい >> dood (docker-outside-of-docker) を使います 本記事では実際にdindとdoodを用いてコンテナを起動するまでを実施します。 想定
LLMのファインチューニング で 何ができて 何ができないのか｜npaka
LLMのファインチューニングで何ができて、何ができないのかまとめました。 1. LLMのファインチューニングLLMのファインチューニングの目的は、「特定のアプリケーションのニーズとデータに基づいて、モデルの出力の品質を向上させること」にあります。 OpenAIのドキュメントには、次のように記述されています。 ファインチューニングは、プロンプトに収まるよりも多くの例で学習することで、Few-Shot学習を改善します。一度モデルをファインチューニングすれば、プロンプトにそれほど多くの例を提供する必要がなくなります。これにより、コストを削減し、低レイテンシのリクエストを可能にします。 しかし実際には、それよりもかなり複雑です。 LLMには「大量のデータを投げれば自動的に解決する」ような創発的な特性があるため、ファインチューニングもそのように機能すると人々は考えていますが、必ずしもそうではありませ
2023年版データ分析の100冊 - Qiita
【データ分析の必読10冊+差をつける10冊＋100冊超】データサイエンス、データ分析、機械学習関連の本がご好評いただいてましたが古くなりごちゃごちゃしているので新たに作り直しました 本記事のめあて IT系の技術者の方がデータ分析関連の仕事をするために役立つ本を紹介する（私が学び始めた時にあれば欣喜雀躍したであろう）記事として書いております。 本記事作者の青木はバイオインフォマティクス（ゲノムデータのDB化中心・Perl・MySQL）からRで時系列分析→Pythonでデータ分析一般と業務をしてまいりました。 ですので研究者目的の本はありません。また、データ分析の基礎は主にRで学んだのですが、昨今の流行に合わせてPython本を中心に、Rの本は参考程度にしています（本記事のR版のご要望があれば爆裂書きます！） こういうリストをあげる奴は大抵読んでいない、と過去にも言われたのですが、ほとんど読ん
🦆🦆🦆🦆🦆🦆DuckDB入門🦆🦆🦆🦆🦆🦆
tl;dr SQLiteのOLAP版だよ OLAP系のクエリにおいて、PandasやSQLiteより早いらしいよ CSV・Parquet・Pandas DataFrameの読み書きできて便利だよ 背景 ポジション・競合 一言で言うとSQLiteのOLAP版です。位置づけとしては、論文(DuckDB: an Embeddable Analytical Database (SIGMOD 2019 Demo))記載のSystem Landscapeがわかりやすいです。 （DuckDB: an Embeddable Analytical Database (SIGMOD 2019 Demo)より） このLandscapeでは、データベースを Standalone（クライアント・サーバモデル）か、組み込み（シングルマシン・インプロセス）か OLTPかOLAPか の二軸に分割しています。その上で、 ク
近況報告：無職になりました - IT戦記
みなさんお元気ですか？僕は少しだけ元気ではありません。じんわりとした夏の暑さを感じながらブログを書いています。 実は、数ヶ月前にスマートニュースという会社を退職しました。 しばらく無職 しばらくは就職せずに無職でいようかなと思っています。 すぐに再就職した方がいいんだろうな〜。とは思うのですが少し疲れたかも。 いい時代になったものだ 最近は AI の進化も素晴らしく、昔ソフトウェアで出来なかったことがどんどんできるようになってるなって感じます。 Rust とか、ちょうど欲しかった感じのプログラミング言語もあるし、 ChatGPT は完璧ではないけど何か新しいことを始めるときに素晴らしい洞察を与えてくれる。 時代は確実に良くなってる。そんな時代に「自分は働いていないくていいのか」と少し不安になるけれど、自由気ままにコードを書く、そんな時間が今あってのもいいのかなって思ってます。 オフトピック
プログラミングに挫折したならAIお姉ちゃんに任せなさい - 本しゃぶり
プログラミングを学ぼうとしては挫折する。 そんな時代はもう終わりだ。 お姉ちゃんに任せなさい。 ChatGPTでプログラミング 今年のお盆休み、俺はChatGPTでプログラミングをやっていた。とは言っても複雑なことはやっていない。大量のcsvを結合してから可視化するとか、ちょっとしたWebスクレイピングしたりする程度だ。それでも今まで技術や時間の不足により諦めていたことができるのは嬉しい。それにChatGPTを使えば、デバッグも楽しくやれるのだ。こんな感じに。 デバッグの様子 おそらく「あれ、俺のChatGPTと違うな」と思った人もいるに違いない。見ての通り俺はChatGPTをお姉ちゃん化している。こうすることで、モチベーションを維持しながら楽しくプログラミングができるというわけだ。今回はChatGPTをお姉ちゃん化する方法を紹介し、加えてお姉ちゃんとペアプログラミングする意義について述べ
OSはどうやってP-coreとE-coreを使い分けているのか - Blog posts by @retrage
Alder Lake以降のIntel CPUでは、P-coreとE-coreの2種類のコアが搭載されている。 P-coreは性能重視、E-coreは省電力重視という位置づけで、OSがうまくこれらのコアを使い分けることで、消費電力と性能の両立が図られている。 ここまでの話は広く知られているが、実際にどのようにしてOSに対してコアの使い分けをさせているのかの実装レベルでの解説は (少なくとも日本語では) ほぼ存在しないようなので調べてみた。 OSから見たP-coreとE-core OSの役割の一つとしてプロセススケジューリングがあり、どのプロセスをいつどれぐらいの期間どのCPUコアで実行するかを決める。OSができるだけ効率よくプロセスをスケジューリングするためには、CPUコアの性能や消費電力の違いを考慮したスケジューリングが必要になる。そこで、Intel CPUではOSに対して次の2つの情報を
Cookie2 とは何か | blog.jxck.io
Intro タイトルを見て「Cookie の新しい仕様か、キャッチアップしよう」と思って開いたのなら、以降を読む必要はない。 Cookie History 2000 年に発行された Cookie の仕様である RFC 2965 では、仕様中に Set-Cookie2/Cookie2 (以下 Cookie2) という 2 つのヘッダが定義されている。しかし 2011 年に改定された現行の RFC 6265 ではそれらヘッダは deprecate されており、実際の Web でこれらのヘッダが交換される場面を、少なくとも筆者は見たことがない。存在すら知らない開発者も多いだろう。 筆者はずっと、この仕様がどのように出てきて、どうして消えていったのかが気になっていた。 Web 上にも情報が少なく、「歴史上の理由で」とか分かったようなことを言ってる人がたまにいるくらいだ。四半世紀前のことなので経緯を
三菱UFJ国際投信、「eMAXIS Slim」シリーズ4銘柄（オルカン含む）の信託報酬率を業界最低水準に引き下げると発表
三菱UFJ国際投信は、2023年9月8日からインデックスファンド「eMAXIS Slim」シリーズ4銘柄の信託報酬を業界最低水準に引き下げると発表しました。 三菱UFJ国際投信 プレスリリース 2023/8/18 業界最低水準の運用コストをめざす『eMAXIS Slim（イーマクシス スリム）』 信託報酬率の引き下げを実施 昨日、日本経済新聞が報道した信託報酬率引き下げ情報（該当記事）の公式発表が出ましたね。気になる引き下げ概要は以下のとおり。 ■eMAXIS Slim 全世界株式（オール・カントリー） 信託報酬率 年0.1133％以内 → 0.05775％以内 実質的な信託報酬率 年0.05765％ 純資産総額 13,729億円 ■eMAXIS Slim 全世界株式（除く日本） 信託報酬率 年0.1133％以内 → 0.05775％以内 実質的な信託報酬率 年0.05773％ 純資産総額
バグまでRHEL互換のLinux公開のため、オラクル、SUSE、Rocky LinuxメインスポンサーのCIQが「Open Enterprise Linux Association」を設立
バグまでRHEL互換のLinux公開のため、オラクル、SUSE、Rocky LinuxメインスポンサーのCIQが「Open Enterprise Linux Association」を設立 オラクル、SUSE、Rocky LinuxメインスポンサーのCIQは、新たなRed Hat Enterprise Linux（RHEL）互換Linuxディストリビューションを開発し公開することを目的とした団体「Open Enterprise Linux Association」（以下、OpenELA）を設立しました（プレスリリース）。 エンタープライズLinux市場における事実上の標準となっていたRed Hat Enterprise Linux（RHEL）は、2023年6月にRed Hatがソースコードの公開を事実上終了させることを発表したことで、そのエコシステムの一部となっていたクローンOSの開発が突
リダイレクトとSame-Site Cookie - teracc’s blog
調べものをしている中で、今さらながらSame-Site Cookieの仕様書を斜め読みした。 ググって最初に見つけた仕様の中で、same-siteは下のように定義されていた。 A request is "same-site" if its target's URI's origin's registrable domain is an exact match for the request's initiator's "site for cookies", and "cross-site" otherwise. Same-site Cookies draft-west-first-party-cookies-07 2.1 (April 6, 2016) 対象（target）と始点（initiator）のサイトが一致すればsame-siteということになる。 リダイレクトを挟むとどうなるか
Cookieのセキュリティ周りでいちばんややこしいDomain属性をしっかり理解する - Qiita
直感的でないのは、自身より下位の階層(example.comの場合のfoo.example.com)のドメインを設定できないことです。また、兄弟関係にある階層のドメインも設定できません。ただしこれらのパターンに関しては、どちらもexample.comを設定すれば送信される対象にはなります。 ということで、CookieのDomain属性は安全です……あれ？ おそらく気付かれたと思うのですが、example.comから見てcomは上位の階層のドメインです。ではexample.comからcomをDomain属性に設定して、.comのすべてのドメインに向けたCookieを設定できてしまうのでしょうか。 現在の仕様(RFC 6265)では、これは制限されています。ブラウザは、comのような公共のドメイン接尾辞(public suffix)1を受け付けないように決められています。2 公共のドメイン接尾
Kubernetesの名前解決を確認する - varu3/techBlog
最近ではドキュメントも充実した感のあるKubernetesですが、実際の挙動ってどうなっているの？という部分に関しては ドキュメントを漁って読むに加えて、実際に手を動かして調べてみることでだいぶ理解が深まっていく感覚があります。 というわけで今回のテーマはKubernetesにおけるPodの名前解決はどのように動作しているのか、です。 公式ドキュメントのDNS for Services and Pods - Kubernetesを実際に手を動かしながら確認していきます。 Serviceリソースの名前解決 それでは早速シンプルな構成のk8s環境を用意して、その挙動を確認していきます。 Node: 1つ Master: 1つ 環境はGKEでも何でもいいのですが、今回はKOPSを使ってAWS上にk8s環境を用意することにしました。 Kopsでクラスタを構成すると以下の様にpodが作成されます。
HashiCorp、全製品のライセンスを商用利用に制限があるBSLライセンスに変更すると発表
HashiCorpは今後リリースする全製品のライセンスを、これまで採用してきたMozilla Public License v2.0（MPL2.0）から、商用利用に制限があるBusiness Source License v1.1（BSL1.1）に変更すると発表しました。 Future releases of HashiCorp's core products will adopt the Business Source License. We know our community will have questions, so please read our blog post to understand why, and see our FAQs to understand the changes: https://t.co/riF4EZdQhphttps://t.co/TID1ps7
[python] まだmockで消耗してるの？mockを理解するための3つのポイント
隣の席の人がテスト強化週間とか抜かしていたので自分もちゃんと理解するために なるべくわかりやすく まとめてみようと思います。 この記事は 2015 tech-yuruyuru アドベントカレンダー - 15日目の記事です。 2015 tech-yuruyuru アドベントカレンダー (2015/12/01 00:00〜)# 2015 #tech-yuruyuru アドベントカレンダー #tech-yuruyuru のアドベントカレンダーです。 テーマは特に決まっていません。好きなことを書いてください。 * 参加したい日の参加枠に参加登録してください * 2 日以上参加したい場合は、フィードで宣言してください ## カレンダー 1. @pjxiao: VPC のプライベートサブネットについて解説 2. @pjxiao: mDNS を使いローカルマシン内の仮想環境に接続する 3. @pjxia
![[python] まだmockで消耗してるの？mockを理解するための3つのポイント](https://cdn-ak-scissors.b.st-hatena.com/image/square/db125f1ff393117337f2ecbc80cf0fdd7dfa6f80/height=288;version=1;width=512/https%3A%2F%2Fnote.crohaco.net%2Fmedia%2Fpython.png)
Python(pytest)でテスト書くならfixture,conftest,parametrizeを理解すると世界が一気に変わる
Python(pytest)でテスト書くならfixture,conftest,parametrizeを理解すると世界が一気に変わる 概要 Pythonのテストライブラリといえばpytestが一般的です。 Python標準のuniitestとは異なり、クラスベースではなく関数ベースでテストコードを記述することが一般的ですが、fixture,conftest,parametrizeを理解すると一気に世界が変わり、テスト体験が圧倒的に向上するため、これらの実装方法を紹介します。 リポジトリ 本記事の説明に使用しているサンプルのテスト実装は、以下のリポジトリです。 想定読者 PythonやGitの基本的な使い方を理解している方を想定しているため、基本的な用語説明は省略しています。 環境 エンジニアの利用率の高いmacOSを前提として説明していますので、その他の環境の方は随時読み替えてください。 開
【重要】CPU脆弱性による弊社サービスへの影響について（2024年2月29日更新） | さくらインターネット
お客様各位 平素よりさくらインターネットに格別のご愛顧を賜り、誠にありがとうございます。 2023年8月8日にAMDのCPUに対して、また8月9日にIntelのCPUに対して下記の脆弱性情報が発表されました。 これらの脆弱性に対する弊社の対応状況をお知らせいたします。 CVE-2023-20569（Inception） （参考）Inception https://comsec.ethz.ch/research/microarch/inception/ https://www.amd.com/en/resources/product-security/bulletin/amd-sb-7005.html https://access.redhat.com/security/cve/cve-2023-20569 https://ubuntu.com/security/CVE-2023-20569
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
「NAT」「NAT越え」「NATタイプ」ってなーに？
FFmpeg Explorer!