pytest でテストケース毎に DB を自動的に初期化して、テスト開発体験を向上させる - SalesNow Tech Blog
概要 Web バックエンドのテストコードを書く場合、その多くは DB に依存していることが多いです。 DB 関連のテストは、テストデータの準備やテストケース毎の DB 処理化を適切に行うことが重要ですが、手間がかかる場合あるため、Mock で擬似的にテストしてしまうことも多いかと思います。 ただ、Mock を使ったテストは本質的な問題を検知できない意味のないテストになってしまう可能性があり、可能な限り DB の Mock を行わずに、実際の DB を使用してテストすることが望ましいと考えています。 本記事では、pytest、sqlalchemy、PostgreSQL を使った場合に、テストケース毎に DB を簡単に初期化しつつ、テストケース毎の前提データ登録も簡単うことでテスト開発体験を向上させる方法を紹介します。 前提環境 本記事では、以下の環境を前提として説明いたします。 python
GIPKことはじめ - Generated Invisible Primary Keys
※この記事はMySQL Advent Calendar 2023の4日目です。 MySQL 8.0シリーズでは正式版になってから多数の新機能が追加されるというリリースモデルであった。正式版になってから追加された新機能の中に、GIPK（Generated Invisible Primary Key）というものがある。これはなんとMySQL 8.0.30で追加された機能だ。MySQL 8.0が正式版になってから、なんと4年と3ヶ月後のことである。そんな感じでMySQL 8.0の新機能は正式リリース後にも増え続け、途方もない規模になっている。このブログでは一度に紹介するのは諦め、少しずつ気の向いたものから紹介していこうと思う。今回はその第一弾として、GIPKについて解説しよう。 GIPKとは GIPKとは、その名前が示すように、自動的に生成される不可視の主キーである。主キーを持たないテーブルに対
お役所にはもう行かない？ 世界の“マイナ”事情 | NHK
「家のソファーにいながら、ほとんどのサービスが受けられるよ」 「納税手続きはオンラインで数分で終わり。これが普通だ」 行政や医療分野で、個人番号制度を利用したオンラインサービスが普及する北欧のスウェーデン。もう何年も役所を訪れていないという人にも出会いました。 世界では日本に先がけて、個人番号制度が多くの国で利用されています。ただ、情報漏洩えいやひも付けミスなどの課題も山積。世界の個人番号制度をめぐる現状を取材しました。 （国際部 北井元気 / 山田裕規 / 松本弦） スウェーデン 生まれた直後に個人番号を付与 人口はおよそ1045万（2021年時点）の北欧スウェーデン。 スウェーデンの首都ストックホルム 個人番号制度が導入されたのは70年以上前の1947年のことです。人口の把握などが目的でした。当初は地域の教会がとりまとめていましたが、その後電子化され、1991年から国税庁が管理を担って
ソルト付きハッシュのソルトはどこに保存するのが一般的か - Qiita
pictBLandとpictSQUAREに対する不正アクセスがあり、パスワードがソルトなしのMD5ハッシュで保存されていたことが話題になっています。 2023年8月16日に外部のフォーラムにpictSQUAREより窃取した情報と主張するデータ販売の取引を持ち掛ける投稿が行われた（中略）パスワードはMD5によるハッシュ化は行われているもののソルト付与は行われていなかったため、単純なパスワードが使用されていた29万4512件は元の文字列が判明していると投稿。（それ以外の26万8172件はまだMD5ハッシュ化されたままと説明。） 不正アクセスによるpictBLand、pictSQUAREの情報流出の可能性についてまとめてみた - piyolog より引用 これに関連してMD5ハッシュやソルトに関するツイート(post)を観察したところ、どうもソルトの理解が間違っている方が多いような気がしました。
Python(pytest)でテスト書くならfixture,conftest,parametrizeを理解すると世界が一気に変わる
Python(pytest)でテスト書くならfixture,conftest,parametrizeを理解すると世界が一気に変わる 概要 Pythonのテストライブラリといえばpytestが一般的です。 Python標準のuniitestとは異なり、クラスベースではなく関数ベースでテストコードを記述することが一般的ですが、fixture,conftest,parametrizeを理解すると一気に世界が変わり、テスト体験が圧倒的に向上するため、これらの実装方法を紹介します。 リポジトリ 本記事の説明に使用しているサンプルのテスト実装は、以下のリポジトリです。 想定読者 PythonやGitの基本的な使い方を理解している方を想定しているため、基本的な用語説明は省略しています。 環境 エンジニアの利用率の高いmacOSを前提として説明していますので、その他の環境の方は随時読み替えてください。 開
基本4情報での名寄せは難しい｜MORIDaisuke
先日は住所の件でお楽しみでしたね。 私も楽しくなってしょうもないツイートをしたところ、@masanorkさんから有用な情報をいただいてしまいました。 異体字に加えて外字も根深いですし、日付型に収まらない住基の生年月日とか、屋号を含んだ個人事業主の口座名義とか、外国人氏名における住民登録のアルファベットと口座名義のカタカナとの解離とか、旧姓併記の例外処理とか、文字列型に刻まれたバッドノウハウの塊ですね https://t.co/GOaytijfst — Masanori Kusunoki / 楠 正憲 (@masanork) June 6, 2023 このとき、私はごく簡単な「名寄せの難しさ」の社内研修資料を作っている最中だったのですが、この情報が大変参考になりました。 一方、私だけが得をしているのがなんとなくムズムズしてきたので、ここにアウトプットしてスッキリしようと思います。 なお、住所
ヤバいと話題の“日本の住所表記” 何がそんなに大変？ ゼンリンに聞いた
日本の住所表記の正規化・名寄せがTwitter上で話題になっている。きっかけとなったのは河野太郎デジタル大臣がテレビ番組で発した「AIを使って表記揺れを判断することがあり得るかもしれない」という言葉。これに対し、ネット上ではさまざまな議論が巻き起こっている。 Twitter上では「住所の揺らぎ程度のことでAIは不要」という意見が見られた。これに対して、ITエンジニアなどからは「住所の表記揺れはすぐ解決できる問題ではない」などと反論の声が上がり、「日本住所のヤバさをもっと知ってほしい」と訴えるユーザーも多数見られた。 そんな中、地図や地図データベースを手掛けるゼンリンもこの話題に反応。そこで住所の表記揺れを直すのがどのくらい難しいのか、またどうすれば解決できるのか。ゼンリンに話を聞いた。 表記ゆれの“ワナ”はいくらでも そもそも住所の表記揺れとは「誤字ではないが、同じ意味、同じ読み方であるに
Rust の DI を考える –– Part 2: Rust における DI の手法の整理 - paild tech blog
paild 社でお手伝いをしている yuki です。前回に引き続き Dependency Injection 略して DI の話題を書いていきたいと思います。今回は Rust における DI についていろいろと考えてみました。今回紹介する実装はかなり単純な例を用いたもので、この記事からさらにみなさんのアプリケーションの実装状況に合わせていくつか工夫は必要になるかもしれません。ただ、とっかかりとしては十分なものになっていると思うので、DI でお困りの方はぜひ参考にしてみてください。 今回実装したいアプリケーションのお題について 今回紹介する技法の種別について コンストラクタインジェクション 静的ディスパッチを用いたもの 動的ディスパッチを用いたもの 静的ディスパッチと動的ディスパッチの利点・欠点 shaku （DI コンテナ）を用いたインジェクション shaku の利点・欠点 余談: DI
Rust の DI を考える — Part 1: DI とは何だったか - paild tech blog
paild 社でお手伝いをしている yuki です。みなさんは Rust で DI をしようと思った際に困ったことはありませんか？この連載では、他のプログラミング言語で利用される DI パターンを参照しながら、Rust でそれを実装するためにはどのような工夫が必要かまでを検討します。中には Rust での実装が難しいパターンも出てくるかもしれません。その際は、なぜ難しいのかまでを検証します。 そこそこの規模のソフトウェアを実装するにあたって、ソフトウェアエンジニアが共通して利用する手法がいくつかあると思います。その中でも DI (Dependency Injection; 依存オブジェクト注入) は最もポピュラーな手法の一つであり、保守運用まできちんと耐えうるソフトウェアの設計をしたいとなったときに、まず真っ先に候補に上がる手法でしょう。 Rust ではこの DI をどのように行えばよいの
マイナカード 一体化された健康保険証で別人の情報がひも付け | NHK
マイナンバーカードを使ったコンビニエンスストアでの証明書の交付で不具合が発生する中、マイナンバーカードと一体化された健康保険証を医療機関などで利用した際に、別の人がひも付けされ診療情報などが閲覧されたケースがあったことが分かりました。 マイナンバーカードをめぐっては、コンビニで住民票の写しや戸籍証明書などを交付するサービスで別人の証明書が発行される不具合が発生していて、政府は運営会社に対してシステムの一時停止を要請しています。 加藤厚労相「入力時にミス 別人情報がひも付いたケース」 これに関連して加藤厚生労働大臣は閣議のあと記者団に対し、マイナンバーカードと一体化した健康保険証を医療機関などで利用した際、本人ではなく別の人の情報がひも付けされていたケースが確認されたことを明らかにしました。 厚生労働省によりますと、健康保険を運営する組合などが加入者の健康保険証とマイナンバーカードをひも付け
今度は徳島市でも判明、止まらない富士通Japan巡るコンビニ誤交付トラブル
マイナンバーカードを使ったコンビニ証明書交付サービスで、別人の住民票などが発行されるトラブルが立て続けに発生した問題を巡り、新たに徳島市でも誤発行が発生していたことが2023年5月11日までに分かった。サービスの提供ベンダーは今回も富士通Japanだ。 徳島市によると、同年3月27日、徳島市に住民票を置く住民が徳島県小松島市のコンビニでマイナンバーカードを使って住民票の発行を申請したところ、別人の戸籍証明書が誤交付されたという。具体的には、3枚つづりになっている戸籍証明書のうち、2枚目のみが印刷された。誤った証明書を受け取った住民はコンビニの店員に当該証明書を渡し、返金を受けたという。 トラブルは、地方公共団体情報システム機構（J-LIS）が検知したアラートによって判明した。同日の夜にJ-LISから徳島市にシステムエラーの可能性について連絡が入った。徳島市は即日、コンビニ証明書交付サービス
PayPayカード、メインフレームの基幹システムをAWSに移行--業界で前例なき規模
PayPayカードは4月21日、メインフレームで運用していた基幹システムのインフラをAmazon Web Services（AWS）に移行して4月に本格稼働を開始したと同日開催の「AWS Summit Tokyo」で発表した。国内クレジットカード業界では前例のない規模といい、専務執行役員 最高技術責任者（CTO）の信太宏之氏がその舞台裏を語ってくれた。 同社は、1963年設立の国内信販を源流として楽天KC、KCカードと変遷し、現在はPayPayの完全子会社として「PayPayカード」ブランドのクレジットカード事業などを手掛ける。2022年3月に1000万会員を突破し、5500万の決済ユーザーを抱えるPayPayとの連携推進など事業拡大を図り、会員数の倍増を目指している。 2015年にソフトバンクグループとなってからビジネスが大きく変わり、「『ネット屋の金融を目指す』というトップのビジョンの
ChatGPTで個人情報漏えい OpenAIが原因と対策を説明
米OpenAIは3月24日（現地時間）、20日にChatGPTを短時間オフラインにした理由を説明した。ユーザーに別のユーザーの氏名、メールアドレス、住所、クレジットカード番号の下4桁、カードの有効期限が表示される問題があったためオフラインにし、バグを修正したという。 個人情報が漏えいしたのは、有料版「ChatGPT Plus」の会員の約1.2％で、影響を受けた可能性のある全員に連絡したという。 この問題と同時に、一部のユーザーに別のユーザーのチャット履歴が表示されてしまう問題も発生していた。 ChatGPTのチャット履歴は、画面の左側にあるサイドバーに表示され、クリックするとチャットの続きを再開できるようになっている。このサイドバーに他人のプロンプトが表示されていた。 OpenAIによると、バグは修正され、「数時間分を除いて、チャット履歴を復元できた」という。 チャット履歴と個人データが他
なぜ我々は筑波大を便利にすることができなかったのか？ - いなにわうどん
早いもので筑波に来て 3 度目の春を迎えます。2 年前の春を憶えていますか。 筑波大学を便利にするサークルが爆誕 元々は大学の KdB と呼ばれる開設科目データベースがダウンし、その代替サイト「KdB もどき」を作成したことに端を発します*1。懐かしいですね。 ミラーを立ち上げただけと言えばそうなのですが、新入生が大学をディスりながらシステム開発！みたいな構図が予想以上にウケたっぽく、Twitter がバズったりメディアに取り上げられたりしている間にサークルを新設する流れになりました*2。 togetter.com 筑波大には学生が開発した数多のサービスやアプリケーションが存在しますが、その多くは個人レベルで開発が行われているため、開発者が大学を離籍するとシステムが保守されなくなる傾向にあります*3。そこで、筑波大学の学生生活を便利にする各種サービスを総括的に管理・保守することで持続可能な
Twitterから流出したとみられる約2億件のデータについてまとめてみた - piyolog
2023年1月5日以降、2億件を超えるTwitterアカウントのデータを公開したと主張する投稿がハッカーフォーラムで行われていたことを複数の報道機関が報じました。*1ここでは関連する情報をまとめます。 自分が影響を受けたのかを確認するには 約2億件のデータに自分のメールアドレスが含まれているか（影響対象か）はHave I been pwnedを使って確認することが可能。 メールアドレス入力後に「pwned?」をクリックし、「Twitter (200M)」と表示された場合は、今回のデータに含まれている。（それ以外のリークに含まれていた場合は別のリーク情報も表示される。） メールアドレスがリークデータに含まれていた場合にTwitter (200M)が表示。 Twitter APIの脆弱性より流出したデータと主張 Twitter APIに第三者が他人のアカウント情報を取得できる脆弱性が2021年
【1月23日追記】12月23日、24日に発生しました障害に関するご報告
いつもSkebをご利用いただき、誠にありがとうございます。 12月23日12時よりskeb.jpにアクセスできない大規模な障害が発生しておりましたが、12月24日07時に復旧いたしました。 12月23日、および12月24日が納品期限のリクエストは納品期限を12月25日23時59分までに延長させていただきます。 みなさまには多大なご迷惑をお掛けしましたことをお詫び申し上げます。 本障害につきまして詳細をご報告させていただきます。 概要日時: 12月23日12時22分〜12月24日7時00分 (JST) ダウンタイム: 18時間38分 内容: skeb.jpにアクセスできない不具合 原因: SkebはすべてのサーバとシステムをHerokuに設置していたが、障害発生時刻より同サービスのアカウントが理由の通知なく利用できなくなった。 解決: Herokuの一切の利用を中止し、すべてのサーバとシステ
個人情報流出の可能性に関するお詫びとお知らせ | UUUM株式会社（ウーム株式会社）
この度、ソフトウェア開発のプラットフォームである「GitHub」上で、当社グループ（グループ会社のP2C Studio株式会社、UUUM GOLF株式会社、NUNW株式会社、LiTMUS株式会社を含む、以下当社）の管理下全てのソースコードを取得可能な認証キーが公開状態にあり、ソースコードに含まれるデータベースへのアクセスキーを利用することでデータベースに保存されている個人情報へアクセスできる状態であったことが判明致しました。 当社のサービスをご利用されているお客様をはじめ、関係者の皆様に多大なるご迷惑とご心配をおかけする事態となりましたことを深くお詫び申し上げます。 今回の事象について、2022年10月25日付で個人情報保護委員会への報告を行った上で、個人情報へのアクセス有無について社内および外部機関による調査を進めてまいりましたが、アクセス履歴は確認されませんでした。 1. 経緯と対応
中古スマホの“良品”はどのように生まれるのか にこスマの検査センターに潜入
円安・ドル高の影響で7月1日に既存iPhoneの価格が2割程度上昇。最新のiPhone 14シリーズも、最も安いiPhone 14（128GB）ですら10万円超えだ。Android端末でもハイエンド機種が20万円を超えることが驚きではなくなってきた。 そこで注目されているのが中古スマホだ。MM総研が7月21日に発表した国内中古スマホ市場規模の推移・予測によると、2021年度の中古スマホの販売台数は前年度比14.6％増の212万台で過去最高。春に1円などで販売されたiPhoneが新品未使用品として中古市場に流れたことが活性化につながったようだが、複数端末利用の増加や法人利用の増加も市場拡大をけん引したと分析している。MM総研は、2022年度の市場規模を13.7％増の241万台と予測。その後も拡大基調は続くと見込んでいる。 中古スマホ市場が活性化し、注目される中、中古スマホのECサイト「にこス
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
マイナンバーとマイナンバーカードの歴史 似て非なる2つの仕組みを理解する
データベースの仕組み(アーキテクチャ)をざっくり理解する
