結構ブログ記事ではゴリゴリ統計学や機械学習の話を記事にしている私ですが、実は生粋の文系でして、数学も大学入学時点で数学ⅠAⅡBまでしかやっていませんでした。 今回はそんな私が一体どんな本を読んで勉強してきたら、こんな記事を書くまでになったのかを…

何やらまた新しいカテゴリーを始めてみました。 「統計学」でググったら、正直どういう記事が出てくるかって言うと、統計検定系の記事が多いんですよね。やはり統計学関連で需要があるのは統計検定なのか！！ そんな身も蓋もない事実に気付いてしまったんで…

今回も因子分析をやります。前回までで、Rでの分析方法をざっと確認しました。 bananarian.hatenablog.com 今回は質問用紙によるアンケート調査を行った場合の想定で因子分析を行う場合を考えます。 例 今回も架空のデータでやります。 人間がストレスによっ…

今回は、 伝統的な統計学とベイズ統計学の違いについての話 (実は違いと書くと怒られるのですが、これも後述) をしようと思います。 私事ですが、今私は愛知観光を終えたバスの中でスマホから記事を書いています。よって数式等は書くのが面倒なので一切使い…

前回は因子分析の導入までやりました。 bananarian.hatenablog.comRで簡単に因子分析のやり方を確認したいと思います。 何か簡単に使えそうなデータを探したのですが、特に見つからなかったので、架空のデータで試してみます。 データ例 10人の学生が理数系…

株価予測を行う上で、見せかけの回帰という現象があるので紹介しておきます。 ソフトバンクの株価を線形回帰で予測してみる ソフトバンクのt期目の株価をと置きます。回帰分析を勉強したことのある人ならばこんなことを考えるかもしれません。 ソフトバンク…

前回は今まで記事にした内容のみを使って、簡単な株価分析が出来ちゃうぞという話をしました。 bananarian.hatenablog.com しかし、次のように感じた方も多いのではないでしょうか。せっかく時間によって変動するデータなのに時間に関する情報全然使ってない…

今回は今まで記事にした内容(+α)のみを使うだけでも、結構しっかりした株価分析が出来ちゃうぞーという話をします。まだ今までの記事は簡単な事しかやっていませんが、これだけの道具でも結構色々なことがわかるんですよ。 ちなみに前回までの記事は株式投資…

前回まででSVMの導入と計算方法は終わりました。SVMの導入 bananarian.hatenablog.com 最適化問題を解く話 bananarian.hatenablog.com しかし、前回までは頑なに データをきれいに線形に分類できる、線形分離可能という仮定を置いていました。 これをハード…

前回はSVMについての導入を行いました。 bananarian.hatenablog.com しかし、前回の記事では肝心の最適化問題を解く部分は長くなるのでカットしていました。そういうわけで今回はSVMに関係する部分だけピックアップして説明していきます。 KKT条件についても…

今日はSVM(サポートベクターマシン)について整理します。 サポートベクターマシンとは SVMは理系の方なら耳にすることも多いかもしれません。機械学習的な手法は文系にとってはあまり需要が無いので、文系の人は馴染みがないかもしれません。一つ説明する前…

前回は詳細つり合い条件について確認しました。 bananarian.hatenablog.com今回はとうとうMCMCに移っていきます。 提案分布は色々考えられますが、具体例として最も簡単なランダムウォーク連鎖について説明します。 ランダムウォーク連鎖 であるとき、候補と…

最近、機械学習やら人工知能やらAIやらその手の言葉をよく聞きます。ほうほうと思って勉強してみると、「あれ、機械学習と統計学って一緒じゃね？」と思ってみたりもしちゃうわけです。そんでもって何となく、「AIも機械学習も同じもの？なの？」とか考えて…

前記事 bananarian.hatenablog.comスピアマンの2因子説を使って因子の導入を行ったわけですが、因子分析とは何ですか？となると思うのでそれの説明もしておきます。 因子分析とは 多変量データの背後に潜む相関関係を分析する手法が因子分析となります。 因…

最近大学の講義で因子分析について学んでいるので、そのノートもかねて説明していこうと思います。 まず、因子分析の最古典であるスピアマンの2因子説の話から説明します。 例 「国語」「英語」「日本史」「数学」「科学」「物理」についてテストを行ったと…

前回までで不変分布はMCMCでどう役に立っているのかををざっと確認しました。 bananarian.hatenablog.com今回は今までスルーしていた結局どういう条件の下で収束しているのかについてやります。本当に収束の話を理解するためには、前にやったカップリングや…

難しい記事が続いていますが、前回は分布の差に関する概念として全変動ノルム、マルコフ連鎖の収束に関わる混合時間について、込み入った話は回避しつつ説明しました。 bananarian.hatenablog.com今回はカップリングという概念を導入します。 スポンサーリン…

前回までで、MCMCの話に必要な基礎的な話は大体終わりです。 bananarian.hatenablog.com 細かく見てくとまだまだ話はあるわけですが、その辺は触っているとキリがないので触りません。 今回は知っていなくてもまあMCMCの話は雰囲気で理解出来るけども、知る…

統計カテゴリが現状マルコフ連鎖で埋まっていて、とっつきにくさがあるので、もう少し基本的な記事も書いていきます。この手の記事については統計学雑記カテゴリに入れていこうと思うので、ご覧ください。 統計学の最初の山 大学の講義、統計検定、職場で必…

前回はマルコフ連鎖の推移確率行列が適当な条件のもとで、値が収束するという話をやりました。 bananarian.hatenablog.com今回はそれに関連して、不変性という話をしていきます。 前回の復習 石1,石2があって、どちらかの石の上にカエルが乗っています。そし…

前回の記事では、マルコフ連鎖の推移確率行列について、n個先の確率行列はチャップマンコルモゴロフ方程式を使って簡単に計算できるということを説明しました。 bananarian.hatenablog.comしかし、この記事を読んでも、「え、結局Pのn回積を取らなきゃいけな…

前回はマルコフ連鎖ってこんなやつだよ～っていうイメージを紹介しました。 bananarian.hatenablog.com しかし、このカテゴリー[MCMC]の最終目標はマルコフ連鎖モンテカルロの説明です。そういうわけでしっかり数式を使ったお話もしていきます。 前回のカエ…

前回はマルコフ連鎖を極力数式を使わず、イメージ出来るよう説明しました。bananarian.hatenablog.com 今回は、よりマルコフ連鎖についてイメージを持てるようRを使ってシミュレーションをしてみました。Rのコードも記載していきます。 数学的な理解 まず、…

マルコフ連鎖って、たまに聞くんだけど、数式で言われてもイメージが沸かない！よくわからない！という方も多いと思います。 今回はマルコフ連鎖とは何なのかについて説明したいと思います。あなたはカエルです。今カエル一匹が乗れるくらいの大きさの石が二…