統計検定1級の範囲表によると、いつのまにやらMCMCやベイズが追加されていますね。しかし、公式教科書は2013年出版の物しか出ていないため、その辺の範囲には対応していません。そこで、一通り何個かの記事を通して解説を行い、関連問題も上げていこうと思い…

今回はAICです。 AIC周りの話は、カルバックライブラー情報量とAICにどういう結びつきがあるのか概要を知っておくことが重要になってきます。 AICとは 何の役に立つんだって話 オーバーフィットとは AICの式の意味 AICを使ってみる 余談(機械学習でよく使わ…

今回は、ゼロ過剰負の二項回帰モデルをやりたいと思います。 なんか名前がゴツゴツしいですね。 とりあえず、今回もStanコードを書くのがメインなので、モデル部分はザックリいきます。目次 モデル ゼロ過剰とは 負の二項分布 負の二項回帰 Stanによる実装 …

今回も少し難しめの話。 前回生存解析についてまとめたので、生存解析を使っているマーケティングモデルでも勉強してみようかと探してみたところ、次の論文があったので、論文モデルを整理しながらStanで実装してみようと思います。前回の生存解析の記事 www…

今回は生存解析をやろうと思います。 生存解析に関する解説をしているブログは巷に溢れかえっていますが、他のブログよりもハザード率の解説を丁寧に行うことにより差別化を図っていければいいなと思っています。目次 ハザード率(Hazard Rates) 2種類のハザ…

今回も中々高度な話をやっていきます。消費者は何か物を買うときに「情報探索行動」を行います。 しかし、情報探索行動は特に物を買う気の無い消費者も行います。 例えば、特に買いたいものはないけど、流行をチェックするために服屋をぶらつくだとか、本屋…

今回は多項プロビットモデルです。少々高度な内容になります。目次 多項プロビットモデル 具体例 数式 与えられているデータ 購買情報を踏まえた尤度 GHKアルゴリズム Rによる多項プロビット回帰 使用するデータ mlogit.data関数 mlogit関数 実行＆結果 多項…

今回は多変量正規分布についてやっていこうと思います。目次 多変量正規分布とは 求めたいパラメータ 使用する関数 mvnorm関数 optim関数 Rで実装 スポンサーリンク (adsbygoogle = window.adsbygoogle || []).push({}); 多変量正規分布とは n次元確率変数ベ…

Rには、微分して値を出力したり、ヘシアンを出力する既存関数としてderiv関数というものがあるみたいなのですが、 なんかネットで調べて試してみても、何か使い方がよくわかんなかったので、まどろっこしくなって作りました。関数形と微分したい変数名、変数…

今回は、前回書いた0と1の組み合わせを全て出力する関数を応用して、説明変数選択の自動化(総当たり法)を行ってみたいと思います。 ちなみに前回書いた記事とはこちら Rで任意の個数の0と1の組み合わせパターンを出力する関数を作る - バナナでもわかる話 何…

今回はタイトルのような関数を作ってみたいと思います。 0と1の組み合わせってなんやねんっていうと、例えば2個のもので考えるならこんな感じ。この組み合わせの総数はあるので、手作業で頑張るのは個数が大きくなってくるとしんどいです。 ※5個の時点で32パ…

今回はRでプロビット回帰を行う際に使用できる分析方法と、その注意点を上げておきます。目次 プロビット回帰とは 最尤法 モデル Rによるコード シミュレーション ベイズ 注意点とコメント 関連記事 スポンサーリンク (adsbygoogle = window.adsbygoogle || …

今回は、EMアルゴリズムを用いて、ゼロ過剰ポワソン分布のパラメータの推定を行ってみようと思います。目次 過去記事 最尤推定 ゼロ過剰ポワソン分布の尤度関数 最尤推定量 Mの理論値 EMアルゴリズム アルゴリズム 実例 スポンサーリンク (adsbygoogle = win…

今回はロジスティック回帰について、Rで出来ることを数式込みでまとめておきます。 目次 ロジスティック回帰とは 最尤法 モデル Rによるコード Penalized Likelihood (Firth) 数値的に 0 か 1 である確率が生じました モデル Rによるコード 両者のシミュレー…

今回は、線形回帰分析に関するRでの分析法を1記事にまとめておこうと思います。目次 線形回帰分析とは シミュレーション用データ 最小二乗法 計算 Rによる最小二乗法 最小二乗法の特徴 最尤法 計算 Rによる最尤推定 最尤法の特徴 ベイズ 解説 Rstanによる実…

今日は、「StanとRでベイズ統計モデリング」という本の10章にあるNealの漏斗問題の可視化を簡単なコードだけで行ってみたいと思います。ちなみにStanとRでベイズ統計モデリングとは、こちらの本です。 こちらの本、全てのコードがしっかりサポートページに掲…

Rで組み合わせを考える際のパッケージとして基本的なものにchoose関数があります。例えばのようなものを考える場合には次のように打ち込みます。 > choose(5,2) [1] 10 スポンサーリンク (adsbygoogle = window.adsbygoogle || []).push({}); しかし、大きな…

ここ最近画像認識を勉強中です。 とりあえず読んだ傍からスクラッチで書いていっています！ 参考本はこれ。 そして過去記事一覧はこちら 画像認識 カテゴリーの記事一覧 - バナナでもわかる話 前回はバイラテラルフィルタをやってみました。 今回はバイラテ…

最近画像認識について勉強中です。とりあえず、数式で理解した後スクラッチで書いてみるのが一番早いかなと思ったので、読んだ傍からRで書いています。 画像認識始めました~手始めにRでスクラッチでフィルタリングしてみた~ - バナナでもわかる話 画像認識始…

最近画像認識について勉強中です。 画像認識始めました~手始めにRでスクラッチでフィルタリングしてみた~ - バナナでもわかる話 とりあえず、数式で理解した後スクラッチで書いてみるのが一番早いかなと思ったので、読んだ傍からRで書いています。 参考本は…

なんか、最近自動運転だなんだと画像認識が流行りらしくて、私画像認識についてはあまり詳しくないので入門の為に買ってみました。 で、まだ全部は読んではいないのですが、とりあえず読んだ傍からスクラッチでコードを書いてみようかと思ってるわけです。ス…

なんかRでマインスイーパーが出来ると聞いて、入れてみました！funパッケージ！ジョークで作られたパッケージですね。実用性は恐らくほぼありませんが、出来ることを解説していきます。まず、パッケージのインストールから install.packages("fun") library(…

そういえば時系列に関する話、あまり書いていないなと思ったので記事にしていこうと思います。スポンサーリンク (adsbygoogle = window.adsbygoogle || []).push({}); 時系列とは？ まず、簡単に時系列とは何かっていう話ですが、例えば株価とかを考えてもら…

今回の記事は、ちょっとある噂を耳にしたのでそれに関する検証をしようかと思います。「識別条件を満たさないモデルでもベイズだと(どういう意味合かはわからないが)解釈出来るらしい」という話を耳にしまして。 ちょっとどういう意味合いで解釈できるのか、…

この間までは、相関係数は意外と扱いが難しいよーという話をしました。 相関係数の目安と解釈と注意点~舐めてかかると痛い目を見る話~ - バナナでもわかる話 最小二乗法による相関係数の導出~相関係数の意外な解釈法 - バナナでもわかる話 今回は、因果に関…

コーシー分布と言う分布があります。この分布ですが、裾が厚いため、広い範囲で値を取り、期待値の無い分布であると言われます。仕組み的には要はバラバラと外れ値のような値を取るため、期待値が収束しないわけなのですが、本当か？というのをシミュレーシ…

負の二項分布という分布があります。この負の二項分布ですが、解説書によって定義が違っているため、 事前に確認しないと何を指しているのかよくわからなくなる分布です。Rには、負の二項分布からの乱数を出力する関数としてrnbinom関数があるのですが、それ…

大数法則は有名ですね。 要は標本サイズをどんどん大きくしていくと、 標本平均が真の期待値に(確率的な意味で)収束するという定理です。 今回の記事は、大数法則を直感的に理解するということで、シミュレーションでの確認を行いましょう。 シミュレーショ…

統計学をやるとよくポアソン分布という分布を見かけます。詳細はこちら 基礎からイメージで学ぶ統計学~ポワソン分布編~ - バナナでもわかる話ただ、現実世界のデータ(特に経済データ)だと、ポアソン分布っぽいんだけど、ゼロが出る割合だけ異様に多くない？…

今回は独立成分分析という分析方法の、マーケティングへの利用についてお話します。 独立成分分析とは 主に音声やノイズをうまく分解する統計的な手法です。 色々な人の声や物音などが入り混じったノイズを、うまく分けます。 イメージは聖徳太子ですかね！?…