線形回帰モデルの問題点 過学習を避けるための方法 変数増減 縮小推定 次元削減 正則化 L1(Lasso)正則化とL2(Ridge)正則化 Elastic Net推定 参考 2022/08/27 統計検定準1級の学習時に内容修正 線形回帰モデルの問題点 回帰モデルの説明変数の数が大きくなり…

アンケートの自由記述欄などの文字列のデータに対して、特定の文字列を含むかどうかでダミー変数を作成する場合のコード。例えば頻出語句やキーワードなどをあらかじめ指定しておけば、アンケート回答者の属性にとって頻出傾向の違い等を分析することができ…

記述統計量（基本統計量）を算出する方法。最もオーソドックスなのはsummary関数。Rのデフォルトデータセットのirisを使う。連続値データは四分位点、カテゴリカルデータはサンプル数が表示される。 > data(iris) > summary(iris) Sepal.Length Sepal.Width …

分位数に従ってデータのカテゴリー化（連続値→離散値）する方法。データの情報量を落とす操作なので使う場面は相当限られる（なんらかの理由で表ではなくグラフを作成する場合など？） [quantile]を使ったデータのカテゴリー化 Rのデフォルトデータセットiri…

連番の数字の先頭2桁を取り出すときのコード。 例えばxを995から1005までの整数とし、ゼロを含む先頭2桁を取り出す。 > x <- 995:1005 > x [1] 995 996 997 998 999 1000 1001 1002 1003 1004 1005 > class(x) [1] "integer" はじめの5つのみ3桁の整数なので…

日比谷のゲシャリーコーヒーさんのセミナーに参加しました。講師は阪本義治さんでした。一昨年にスペシャルティコーヒーを飲み始めてから、生産国・地域とは別に「ナチュラル」やら「ウォッシュト」という言葉を目にするようになり、体系的に学ぶ良い機会だ…

にっぽん丸に乗って鳥島へ 鳥島クルーズの特徴 鳥島レクチャー 鳥島周遊 最後に 参考 にっぽん丸に乗って鳥島へ かねてからお世話になっている方から「鳥島を見に行くツアーがある」と聞き、迷わず参加を決めました。このツアーは商船三井客船「にっぽん丸」…

商船三井客船「にっぽん丸」の2泊3日のクルーズに参加しました。にっぽん丸との出会いは大学生時の東ア船事業です。その後1回クルーズに参加したので、今回は3度目の乗船です。前回の乗船時に、船内の飲食サービスの充実ぶりに非常に驚きました。レストラン…

初めて転職活動された（される）方なら分かっていただけるかもしれません。職務経歴書って以外と面倒なんです。「これまでの経歴書くだけ、すぐ終わる」「就活の時ESたくさん書いたし慣れてる」なんて思ってました。しかし転職活動を振り返ると、職務経歴書…

転職活動の面接で聞かれる質問はだいたい決まっています。 1次面接で聞かれる4つ質問 1次面接の対策方法 1.今までどんな仕事をしてきて、何が得意か 2.なぜ転職するのか 3.なぜこの会社がよいか＆4.この会社で何がしたいのか 2次面接（最終面接）で聞かれる…

フランスの写真家ロベール・ドアノーの写真展に行ってきた。渋谷Bunkamuraで3月31日まで開催されている。www.bunkamura.co.jp今回はパリの音楽をテーマにした展示。入口ではパンフレットと、展示作品にまつわる音楽を解説したペーパーをもらった。 パリの音楽…

母親が東京に遊びに来た。 来月引っ越すことになったため、 東京にいるうちに案内するなら今のうち、 と伝えると二つ返事で来ると言った。6年間も東京に住んでいながら、 遊びにおいでと言ったのは初めてだった。忙しくなかったと言えばそれも違うが、 そん…

先日お世話になった方から手紙をいただいた。 すぐに返事を書こうと思ったのだが、何か億劫な感じがして、そのまま時間が過ぎてしまった。ようやく2週間ほど経った日曜日に取り掛かった。ずっと前に買った便箋と万年筆を取り出した。万年筆はインクを入れ替…

[1]ラプラス分布の期待値と分散 期待値は、と変数変換を行うと、と表すことができる。(2)では、および奇関数の性質（原点で対称であるため定積分はゼロ）を用いている。分散は、 [2]事後確率密度関数 ここで、 を(7)に代入すると、はの分散を表す。 [3]事後…

[1]検定のサイズ（α）の導出 サイズ（第1種の過誤確率：）とは、帰無仮説（）が正しいにもかかわらず帰無仮説（）を棄却してしまう確率。棄却域をとすると、と表すことができる。したがって、帰無仮説（）の条件下において、の範囲で密度関数を積分すればよ…