えんじにあのじゆうちょう

勉強したことを中心にアウトプットしていきます。

Python

【読書】スケーラブルデータサイエンス 第4章

はじめに 今回も引き続き、スケーラブルデータサイエンスです。 今日は第4章。Apache Beamについて中心的にさわってみました。

【読書】スケーラブルデータサイエンス 第2章

はじめに スケーラブルデータサイエンスを読み始めたので、読みつつ気になったところのまとめを実施していこうと思います。 まずは第2章のクラウドへのデータの取り込みです。

コードで理解する回帰木

はじめに 回帰木って実は使ったことなくて、理屈は決定木と同じだと知っていてもまぁやってみないことには、と思ったのでやってみることにしました。

コードで理解するAutoEncoder

はじめに 前回はPCAについて書きました。 PCAは比較的レガシーなやり方だと思いますが、非常に強力な手法で応用範囲が広いということは、色々なところの記載や実際に試してみてある程度わかった気がします。 では次にということでNeuralNetworkを活用した次…

コードで理解するPCAを用いた異常検知

はじめに お仕事の都合もあり、O'Reilly Japan - Pythonではじめる教師なし学習をちょっと読んでいるのですが、PCAで異常検知ができるというところに興味を持ちました。 確かに、他の異常検知も基本は潜在表現を得て(例えばその自称が従う分布のパラメータ…

コードで理解する移動平均型季節調整法

はじめに 時系列データを扱っていると季節性変動を抽出することがよくでてくる割には、実際どうやってるんだ・・・と思うことが多かったです。 と、言うわけで今回は季節性変動をどのように抽出し、Seasonality, Trend, Residualを分解するかを試してみよう…

コードで理解するVARモデル

はじめに VARモデルのとりあえず推定までをやってみることで、どういうモデルなのか、ということの理解を試みます。今回も経済・ファイナンスデータの軽量時系列分析を勉強しながら書いたものなので、数式などの詳細はそちらを読むこと。

コードで理解するARモデルの最尤推定

はじめに 前回に引き続き、ARモデルについて書きます。 t.marufeuille.dev今回は最尤推定でのモデルのfitingを試していきます。今回も経済・ファイナンスデータの軽量時系列分析を勉強しながら書いたものなので、数式などの詳細はそちらを読むこと。

コードで理解するAutoRegressive モデル

はじめに 以前k-meansをnumpyで実装するということをやりましたが、今回は時系列モデルの基礎としてARモデルを実装してみることにします。以前一度やっているのですが、中途半端極まりなかったのでやり直し、というところです。ちなみに今回は経済・ファイナ…

MAiX DOCKのファームウェアをアップグレードする

はじめに せっかく休みに入ったので、積んであったMAIX DOCKで遊んでみようと思ったのですが、MaixPyのバージョンが0.3.2と最新の0.5.0から見るとかなり古くなってしまっていました。Try Numpy on MaixPy v0.5~include: Basic ndarray, Matrix methods, Stat…

【異常検知】lof法

はじめに 前回の最近傍法を使った方法では、「稀によくある」ようなものを異常としたくない場合をうまくハンドリングできないということを書きました。 https://t.marufeuille.dev/entory/nearest-neighbort.marufeuille.dev今回はlof法を用いた異常検知を解…

【異常検知】最近傍法を使った方法

はじめに 異常検知シリーズ第2段、ということで最近傍法を使った異常検知にチャレンジします。 例のごとく、Albert社のブログを大きく参考にさせていただいています。 www.albert2005.co.jp

【AlibabaCloud】LogServiceのML機能をJupyterNotebookから使ってみた

はじめに alibabacloud Advent Calendar 2019 - Qiita 18日目ということで、LogServiceというリアルタイムデータ収集&可視化&処理プロダクトの中でも、たぶんあまり使われていないだろうJupyter Notebookのextensionを利用して、LogServiceを操作する方法…

【異常検知】ホテリング理論による単純な実装

はじめに 異常検知はいろいろな方法がありますが、どれもよくわかっていませんでした。 まずは、調べた中で最も単純だと思われる「ホテリング理論」についてまとめてみます。

時系列モデル: ARモデルを実装する

はじめに 最近、なぜか自分の中で時系列モデルがブームになっています。 今回は、時系列データのモデリングの1つであるARモデルについて、勉強したことをまとめてみます。

Bike Sharing Data Setを使って時系列データの予測をやってみた

はじめに 時系列データの回帰分析をする機会があったので、その練習がてら試したことをまとめました。

コードで理解するk-means

はじめに 今回はk-meansを自前実装することで、理解を深めてみようと思います。

単回帰/勾配降下法をコードで徹底的に理解する

はじめに 結局、使ってみたとしても、数式だけ読んだとしても、案外実際の動きを理解できないことは多いと思います。 これから、色々な機械学習モデルの学習についてコードをイチから書きながら考えてみようと思います。 (以前も少しやってますが、ちょっと…

眠れない夜にロジスティック回帰についてまとめてみた

はじめに 最近ロジスティック回帰について、少し悩むことが多いでのでちょっと自分なりにまとめてみることを試みました。

matplotlibのグラフをアニメーションにする

はじめに 例えば、単純パーセプトロンの学習過程をアニメーション化したいという話は説明で使いたいときなどによくあると思います。 そんなときにどうやればよいかを簡単にまとめました。

大数の法則と中心極限定理

はじめに 大数の法則や中心極限定理はいろいろなところに説明があり、たぶん以下のサイトがとてもわかり易いのですが、やっぱり一度は自分で体感しないとわからないので、試してみました。bellcurve.jpPythonでのコード付きです。