タグ

データに関するhaganeのブックマーク (11)

  • yamlについて思うこと

    yaml、どうしてこんなに使われているのだろうか。kubernetesにも責任があるというのはありそうな話だけど、色々考えてみるとそこまで簡単な話でもなさそうな気がする。例えばtravis-CIの設定ファイルがyamlであったりというように、この分野ではyamlは割と広く使われていたんじゃないかという気がする。思い起こせばGoogle AppEngineもapp.yamlに設定を書いていたし、設定にyamlというのは割とよくあることであった、のではないかなあ。 しかしなぜyamlなんだろうか。yamlのフォーマットには問題がたくさんあることが知られているし、自分も全く好きではない。 例えばyamlの問題の一つとして、キーに任意のデータ構造を持ってこれるという話があり、これが一部のプログラミング言語で問題を厄介にしている。またエイリアスがあってデータ構造がツリーにならない(複数の経路から同じ

    yamlについて思うこと
    hagane
    hagane 2022/11/06
    Ansibleで制御構文をyamlで書くのはいかがなものかと思ったこと一度や二度ではないな
  • 公開されている日本の企業名辞書の紹介 - MNTSQ Techブログ

    特許・契約書・有価証券報告書・企業関連ニュースなど、実応用上の自然言語処理では、会社名を認識したいという場面に非常に多く出くわす。 会社名らしい文字列をテキストから抽出することは、形態素解析器の辞書を用いたり固有表現抽出モデルを学習することである程度実現される一方で、抽出した会社名をレコード化して分析などに用いる際には、いわゆる名寄せの問題が発生する。 自然言語処理における名寄せに似た問題は、エンティティリンキングや共参照解析といったアプローチで探求されており、実応用上は前者のアプローチが採られることが多い印象がある。*1 名寄せタスクをエンティティリンキング的に解くためには、帰着先の知識ベース・辞書が予め存在していることが必要だが、研究の文脈では知識ベースとしてWikipediaが採用されることが多い。 Wikipediaを用いる利点は多くあり、様々なエンティティ種に対してそこそこのカバ

    公開されている日本の企業名辞書の紹介 - MNTSQ Techブログ
  • LINE 国内8300万人の利用者に健康状態調査 厚労省と協定 | NHKニュース

    通信アプリ大手のLINEは、新型コロナウイルス対策で厚生労働省と情報提供の協定を結び、この一環として、8000万人を超える国内の利用者を対象に、31日から健康状態などの調査を行うことになりました。 31日午前10時以降、LINEの公式アカウントから利用者に順次メッセージが送られ、その時の体調について、 ▽ふだんどおり、 ▽37度5分以上の発熱、 ▽せきがある、といった5つの選択肢の中から選ぶようになっています。 回答に応じて、 ▽いつから症状があるかや、 ▽2週間以内に外国から帰国したどうか、を尋ねるほか、うがいや手洗いなどの感染予防の対策を取っているかどうかも聞くということです。 そして年齢、性別、住んでいる地域の郵便番号などを答えてもらい、個人が特定されない形で統計処理をして厚生労働省に提供します。 LINEの国内の利用者は月間およそ8300万人に上り、会社は、クラスターと呼ばれる感染

    LINE 国内8300万人の利用者に健康状態調査 厚労省と協定 | NHKニュース
    hagane
    hagane 2020/03/31
    砂金さん政府CIO補佐官だしな
  • さよなら本番サーバー - Qiita

    とあるSESの現場では番リリースの時期が近づいてきており、僕を含めた数人のエンジニアは間に合いそうもない残作業の開発を進めたり、番で使うためのデータの整備を番サーバー内で行ったりしていた。ほとんどがその案件のために集められたメンバーだったため特に和気あいあいとするでもなく、エアコンの風の音が響く小さなオフィスの片隅で静かに作業をしていた。 業務上のやりとりもRedmineで行われており、声を発するのもたまにメンバー同士で話をしたり、クライアントから電話がかかってきた時だけ。その日もメールで通知が届いてきており、確認してみるとRedmineで僕が関係しているチケットにコメントが届いているという通知だった。 通知のURLをクリックしてRedmineのチケットを確認してみる。 それによると一旦番サーバー上に存在するデータの中の一部の主要データをCSV形式で送ってほしいという依頼だった。無

    さよなら本番サーバー - Qiita
    hagane
    hagane 2019/12/03
    この間、/home/hoge/$HOMEってディレクトリができてしまったので、 カレントディレクトリで rm -rf $HOME ってなにも考えずに発動させたのなら経験してる。
  • AIとか機械学習に詳しい人にガチで質問なんだが

    こういうのを実装したいと思ってるだがどんな言語とライブラリ使って どのくらいの勉強期間と実装期間を費やせば作れるかな? 質問のテキストを投げるとそれに一番見合ったFAQページのリンクとタイトルを表示してくれるチャットボット的なプログラムFAQは特定サイトのもので増減とかはあんまりない学習データは自分が手動で入力して作成する前提 ユーザーからの入力された質問データを利用して絶えず学習し続ける的な機能はなしインターフェースはCUIでとりあえずOK有償のライブラリや機械学習用の外部サービスは使わない前提 できれば全部OSSのもので完結させる 業務で使うというよりは習得メインだから回答の精度とかは二の次でいい ちなみに自分のスキルは一応職だからPythonは触ったことないけど MySQLいじったりテーブル設計したり学習データ管理用のGUI作ったりとかMeCabの知識とかはどうにでもなると思う あ

    AIとか機械学習に詳しい人にガチで質問なんだが
    hagane
    hagane 2019/10/20
    類似語検索したいとか言い出すと面倒くさそう。やっぱりGoogleカスタム検索が一番楽そう。
  • ロスジェネ世代に対してゆとり世代が思うこと - ゆとりずむ

    こんにちは、らくからちゃです。 先日だらだらネットサーフィンをしていると、40代いわゆるロスジェネ世代だけお賃金が増えていない!!という衝撃的なニュースを目にしました。 内閣府は25日、正社員の2015~17年の平均給与を年齢層別に5年前(10~12年)と比べたところ、40代だけが減少していたとの調査結果を発表した。バブル期後半の大量採用組や人口の多い「団塊ジュニア」が40代に当たるが、管理職ポストに限りがあり、部長や課長への昇進が全体的に遅れていることが背景にあるという。 調査は多くの企業で正社員に相当する「雇用期間に定めのない労働者」を対象に、基給などの所定内給与月額を、5歳ごとに区切り、20~24歳から55~59歳まで比較した。 正社員給与、40代だけ減少=昇進遅れが背景―5年前と比較(時事通信) - Yahoo!ニュース なんとも誤読しそうなタイトルですが『40代のロスジェネ世代

    ロスジェネ世代に対してゆとり世代が思うこと - ゆとりずむ
    hagane
    hagane 2018/07/06
    らくからちゃ氏と同い年だけど、学部卒の同期、特に文系に進んだ連中は軒並み就職先が無くて院進学に切り替えてた。僕は最初から院行くつもりで2012年修了だけど、就活真っ只中に3.11が有って少なからず影響受けたよ。
  • 人工知能や機械学習を利用しなくても「SQLの使い方」次第で収益アップは可能

    流行の技術である「人工知能」や「機械学習」を使わなくても、適切なSQL文さえ書くことができれば顧客のライフタイムバリューを上げることができるという意見がソフトウェアエンジニアから出ています。 Thread by @cyberomin: "It's always fun when I speak to founders and potential founders and they are quick to tell me how they want to use AI/ML to improve customer […]" https://threadreaderapp.com/thread/987602838594445312.html SQLの有効活用を提案しているのは、ソフトウェアエンジニアのCelestine Ominさん。 以下のツイートに一連のスレッドがぶら下がっています。 I

    人工知能や機械学習を利用しなくても「SQLの使い方」次第で収益アップは可能
    hagane
    hagane 2018/04/29
    ビッグデータとかの前に、スモールデータに適切なSQL発行するとか、バッドデータ作らないとかに注力して欲しいとは思う。
  • なぜそこに遊撃手が…? 甲子園驚かせた膳所データ野球:朝日新聞デジタル

    一回裏2死二塁のピンチ。膳所(ぜぜ)(滋賀)の遊撃手、渡辺大夢(ひろむ)選手(3年)が来ならセンターに抜けようかという4番打者の打球を正面でなんなくさばいた。 「なんやこれ」。日航空石川の小坂敏輝主将(3年)は守備陣形を見て驚いた。遊撃手が二塁後方にいて、来なら遊撃手がいる位置に三塁手が立っている。「一歩間違えれば単打が長打になってしまうリスクもあるのに。それをこの大舞台で……」 三回裏も三遊間に飛んだ安打性の打球を三塁手の平井崇博選手(3年)がアウトに。「三塁線のコースを空ける守備位置をとったのは初めてだったが、データ通りの打球だったのでとれた」。今大会最多の3万3千人の観衆がざわめいた。データに基づいた大胆な守備位置。膳所の野球がはまった。 「当に正面に行くことが多かった。すごくはまっているな、ともやもやしていた」。日航空石川の中村隆監督(33)は序盤の展開に舌を巻いた。 膳

    なぜそこに遊撃手が…? 甲子園驚かせた膳所データ野球:朝日新聞デジタル
    hagane
    hagane 2018/03/25
    偏差値全国七位だからできる芸当で、どこの高校でも出来ることではないのだろうが、ゆえに全国の進学校の勝ち方のモデルケースとしては面白いんじゃないかと思う。
  • オリラジ中田、転売撲滅の画期的システム発表! : オリエンタルラジオ 中田 公式ブログ

    転売屋撲滅宣言は多くの反響を呼んだ。 その中に 「高額転売しても買う客がいるということは値段の初期設定が間違ってるだけ」 「経済学的には需要と供給のバランスを転売屋が整えてるだけ」 「主催者はチケットを売り切ってるし、客はライブ見るためなら高い金払うし、何が問題なの?」 という意見も多くあることに驚いた。 転売を許さないお客さんと、転売を容認するお客さんの対談という記事も読み応えがあった。 ■転売問題とはどのような構図になっているのか考えた この問題はいわゆる「経済学的な需給バランスによる価格決定問題」と決定的に異なるところがあると思う。それは(販売者)と(購入者)という2つのプレーヤーだけの話ではないところだ。 販売者は(主催者)と(出演者)に分かれる。すなわち事務所とアーティスト。 購入者は(来場者)と(転売者)に分かれる。すなわちファンと転売屋。 4つのプレーヤーが関係する問題なのだ

    オリラジ中田、転売撲滅の画期的システム発表! : オリエンタルラジオ 中田 公式ブログ
    hagane
    hagane 2017/04/26
    チケットのトレーサビリティも課題だと思うので、ブロックチェーンとか適用させるのは一つの考え方かも。どう組み入れるかは皆目見当もつかないけど。なによりあっちゃんすげーわ。
  • ビッグデータを知財として保護 登録・活用へ法整備 - 日本経済新聞

    政府は、自動車の走行記録や携帯電話の位置情報などのビッグデータを知的財産として保護する方針を固めた。企業などが集めたデータを登録する制度をつくり、不正利用を差し止められるようにすることを検討する。データを有効活用する環境を整え、新産業の創出につなげる狙いだ。政府の知的財産戦略部(部長・安倍晋三首相)に置かれた専門家委員会が13日に提言する。政府はビッグデータの保護を盛り込んだ不正競争防止法

    ビッグデータを知財として保護 登録・活用へ法整備 - 日本経済新聞
    hagane
    hagane 2017/03/13
    営業秘密にとどめておいた方が良いと思う
  • トップページ - RESAS 地域経済分析システム

    地域経済分析システム(RESAS:リーサス)は、地方自治体の様々な取り組みを情報面から支援するために、内閣官房デジタル田園都市国家構想実現会議事務局が提供する、産業構造や人口動態、人の流れなどの官民ビッグデータを集約し、可視化するシステムです。

    トップページ - RESAS 地域経済分析システム
  • 1