えんじにあのじゆうちょう

勉強したことを中心にアウトプットしていきます。

seleniumを落ちないように気をつけながら使ってみた

はじめに AJAXを使ったWebページのスクレイピングをするためには、単純にHTMLを取得するだけではなく、実際に描画、JSの実行等諸々の処理をしてレンダリングが完了した上で必要なものを取得していく必要があります。 今回諸事情により色々試すことになったの…

砂が踊るように可視化できるSandDanceをVisualStudioCodeから使うと便利そうだった

はじめに 会社の人にイケてそうな可視化ツールあるよーと教えてもらったので、そのテストついてにまとめてみます。 小さいデータ(Titanic)でしか試していませんが、実際触ってみると、サクサクといい感じの可視化ができるので、データの概要を掴むのに良さそ…

VisualStudioCodeでメモを管理する

はじめに メモの管理は私の永遠の課題の1つです。 今回見つけたVSNotesがとても便利そうなので、使い方のメモを残します。VSNotes - Visual Studio Marketplace

autoencoderを理解する

はじめに E資格対として、今回はautoencoderについて考えてみます。 実装については以下のKeras Blogをそのまま使います。 blog.keras.ioちなみに前回はこちら。 t.marufeuille.dev

畳み込みの処理を理解する

はじめに 超個人的な話題ですが、もう少しでE資格の受験日です。 そこで一通りのアルゴリズムの実装を見直していこうと思います。 特にディープ系はあまり自信がないので、コアになりそうなところを中心にしっかりやっていこうと思います。今回は畳み込みの…

【異常検知】時系列モデル(AR)を使う方法

はじめに 今回は以前解説した時系列モデルの1つであるARモデルを利用した異常検知についてまとめます。 ARモデルそのものについては、以下記事をご参照ください。t.marufeuille.dev

MLflowのTracking機能を試してみた

はじめに 今回はMLflowを使って機械学習の実験管理について少し試したのでまとめてみました。 本当はこのエントリが新年一発目になる予定だったのですが、諸事情あって別のエントリになりました

IIJ mioのeSIMサービスをPixel4から利用してみた

はじめに 今回は少し趣向を変えてスマホの話です。 先日Pixel4を購入して、元々契約していたauのSIMを入れましたが、どうしてもデータ通信の費用高いですよね。 この記事を書きはじめた日は実家に帰省しているのですが、なんと自分の寝室だとたまにwifiが切…

MAiX Dock上でMNISTの手書き数字識別モデルを動かしてみる

はじめに MAiX Dockは価格も安く、高性能と言われていますが、ドキュメント*1が少しわかりにくい!! 独自モデルを動かしたくても、どうしたものか、意外とわかりません。そこで、画像認識のHello WorldというべきMNISTの手書き数字識別モデルをMAiX Dock上…

MAiX DOCKのファームウェアをアップグレードする

はじめに せっかく休みに入ったので、積んであったMAIX DOCKで遊んでみようと思ったのですが、MaixPyのバージョンが0.3.2と最新の0.5.0から見るとかなり古くなってしまっていました。Try Numpy on MaixPy v0.5~include: Basic ndarray, Matrix methods, Stat…

【異常検知】lof法

はじめに 前回の最近傍法を使った方法では、「稀によくある」ようなものを異常としたくない場合をうまくハンドリングできないということを書きました。 https://t.marufeuille.dev/entory/nearest-neighbort.marufeuille.dev今回はlof法を用いた異常検知を解…

【異常検知】最近傍法を使った方法

はじめに 異常検知シリーズ第2段、ということで最近傍法を使った異常検知にチャレンジします。 例のごとく、Albert社のブログを大きく参考にさせていただいています。 www.albert2005.co.jp

【AlibabaCloud】LogServiceのML機能をJupyterNotebookから使ってみた

はじめに alibabacloud Advent Calendar 2019 - Qiita 18日目ということで、LogServiceというリアルタイムデータ収集&可視化&処理プロダクトの中でも、たぶんあまり使われていないだろうJupyter Notebookのextensionを利用して、LogServiceを操作する方法…

【異常検知】ホテリング理論による単純な実装

はじめに 異常検知はいろいろな方法がありますが、どれもよくわかっていませんでした。 まずは、調べた中で最も単純だと思われる「ホテリング理論」についてまとめてみます。

時系列モデル: ARモデルを実装する

はじめに 最近、なぜか自分の中で時系列モデルがブームになっています。 今回は、時系列データのモデリングの1つであるARモデルについて、勉強したことをまとめてみます。

Bike Sharing Data Setを使って時系列データの予測をやってみた

はじめに 時系列データの回帰分析をする機会があったので、その練習がてら試したことをまとめました。

コードで理解するk-means

はじめに 今回はk-meansを自前実装することで、理解を深めてみようと思います。

単回帰/勾配降下法をコードで徹底的に理解する

はじめに 結局、使ってみたとしても、数式だけ読んだとしても、案外実際の動きを理解できないことは多いと思います。 これから、色々な機械学習モデルの学習についてコードをイチから書きながら考えてみようと思います。 (以前も少しやってますが、ちょっと…

t検定をPythonでやってみる

はじめに 統計の勉強をして大きく立ちはだかったのは個人的には検定の話でした。 ようやく計算ができるようになってきたので、一度やり方とPythonでの計算の仕方をまとめてみます。

眠れない夜にロジスティック回帰についてまとめてみた

はじめに 最近ロジスティック回帰について、少し悩むことが多いでのでちょっと自分なりにまとめてみることを試みました。

matplotlibのグラフをアニメーションにする

はじめに 例えば、単純パーセプトロンの学習過程をアニメーション化したいという話は説明で使いたいときなどによくあると思います。 そんなときにどうやればよいかを簡単にまとめました。

母平均の区間推定: 母集団の分布が正規分布で母分散が既知のとき

はじめに いつ読んでもよくわからなかった、区間推定を勉強し直しましたのでまとめます。

点推定

はじめに 点推定は読んで字の如し、標本を利用して母集団のある1点を推定するものです。 勉強した結果を少しまとめます。

大数の法則と中心極限定理

はじめに 大数の法則や中心極限定理はいろいろなところに説明があり、たぶん以下のサイトがとてもわかり易いのですが、やっぱり一度は自分で体感しないとわからないので、試してみました。bellcurve.jpPythonでのコード付きです。

Sipeed Maix M1 Dockでまずはサンプルの顔認識を実行する

はじめに 今回は安価な画像処理ニューラルネットワーク用のKPUと言うプロセッサの搭載されたMaix M1 Dockをまずは動かしてみた、というところまでをまとめました。 今回は公式にある顔認識サンプルを動かします。 動かすだけなのですが、色々とドキュメント…

最尤推定によるパラメータ推定

はじめに この世の中に存在するデータは「正規分布」であることが多い、だとか、個数を表す分布は「ポアソン分布」が当てはまりやすいだとか言われていますが、どのようにして、分布を求めればよいでしょうか。数式で表すと、ある確率分布(は確率分布のパラ…

オッズの考え方

はじめに ロジスティック回帰を勉強すると出てくる「オッズ」と言う概念。 なんだかわかりにくいのでまとめてみました。

線形でないパラメータを線形回帰で扱う

はじめに 線形回帰は、端的に言えばあるデータを別のデータと重みトバイアスであるをこうy呂しての関係でデータを表現するということです。 では例えば、で表現されるようなデータは線形回帰で扱えないのでしょうか。僕にもそう考えていた時期がありました。…

二乗和誤差とクロスエントロピー誤差

誤差関数としてよく使われる二乗和誤差とクロスエントロピー誤差について自身の理解をまとめました。

線形回帰をコンピュータによる数値計算、機械学習で解いてみる

はじめに t.marufeuille.dev前回のエントリの実装編です。 あえて直接的な既存ライブラリは用いず、numpyくらいで実装してみます。