えんじにあのじゆうちょう

勉強したことを中心にアウトプットしていきます。

【読書】スケーラブルデータサイエンス 第6章

はじめに 今回も引き続き、スケーラブルデータサイエンスです。 今日は第6章。Dataprocです。ちなみに、第5章は個人的によく知っている話題が多かったので記事としては取り上げません。

【読書】スケーラブルデータサイエンス 第4章

はじめに 今回も引き続き、スケーラブルデータサイエンスです。 今日は第4章。Apache Beamについて中心的にさわってみました。

【読書】スケーラブルデータサイエンス 第3章

はじめに 今回も引き続き、スケーラブルデータサイエンスです。 今日は第3章

【読書】スケーラブルデータサイエンス 第2章

はじめに スケーラブルデータサイエンスを読み始めたので、読みつつ気になったところのまとめを実施していこうと思います。 まずは第2章のクラウドへのデータの取り込みです。

tensorflow.jsでposenetを使ってみる

はじめに ふと思い立って、tensorflow.jsを使ってみることにしました。 最終的にはUIつけてアプリにしたいですが、まずはローカルに保存した画像をposenetで姿勢情報を抽出し、肘の角度を算出する、ということをやってみます

ServerlessなKubernetes上で機械学習タスクを実行してみる

はじめに だいぶ間が空いてしまいました。(コロナとかではなく、ネタ切れです) 今回はAlibabaCloudのServerless k8sサービスでGPUが使えるっぽいというのをドキュメント上確認したので試してみた、ということを書きます。 Serverless k8sを使うメリット Serv…

コードで理解する回帰木

はじめに 回帰木って実は使ったことなくて、理屈は決定木と同じだと知っていてもまぁやってみないことには、と思ったのでやってみることにしました。

コードで理解するAutoEncoder

はじめに 前回はPCAについて書きました。 PCAは比較的レガシーなやり方だと思いますが、非常に強力な手法で応用範囲が広いということは、色々なところの記載や実際に試してみてある程度わかった気がします。 では次にということでNeuralNetworkを活用した次…

コードで理解するPCAを用いた異常検知

はじめに お仕事の都合もあり、O'Reilly Japan - Pythonではじめる教師なし学習をちょっと読んでいるのですが、PCAで異常検知ができるというところに興味を持ちました。 確かに、他の異常検知も基本は潜在表現を得て(例えばその自称が従う分布のパラメータ…

コードで理解する移動平均型季節調整法

はじめに 時系列データを扱っていると季節性変動を抽出することがよくでてくる割には、実際どうやってるんだ・・・と思うことが多かったです。 と、言うわけで今回は季節性変動をどのように抽出し、Seasonality, Trend, Residualを分解するかを試してみよう…

コードで理解するVARモデル

はじめに VARモデルのとりあえず推定までをやってみることで、どういうモデルなのか、ということの理解を試みます。今回も経済・ファイナンスデータの軽量時系列分析を勉強しながら書いたものなので、数式などの詳細はそちらを読むこと。

コードで理解するARモデルの最尤推定

はじめに 前回に引き続き、ARモデルについて書きます。 t.marufeuille.dev今回は最尤推定でのモデルのfitingを試していきます。今回も経済・ファイナンスデータの軽量時系列分析を勉強しながら書いたものなので、数式などの詳細はそちらを読むこと。

コードで理解するAutoRegressive モデル

はじめに 以前k-meansをnumpyで実装するということをやりましたが、今回は時系列モデルの基礎としてARモデルを実装してみることにします。以前一度やっているのですが、中途半端極まりなかったのでやり直し、というところです。ちなみに今回は経済・ファイナ…

Tensorflow Probabilityを使ってガウス過程を体感してみた

はじめに 最近は確率統計が面白いなぁと思っているのですが、まだまだ素人で理解できないこともとても多いのですが、Gaussian Processのいい記事を読みまして、なんとなく雰囲気だけ掴めた気になったので、とりあえず一回自分で動かしてみるか、という感じで…

Dockerを使ったローカルの開発環境(Jupyter)の作り方 for Mac

はじめに 開発環境なんてなんでも良いと言えばそのとおりなのですが、いつでもリセットできる方が何かと便利ですし、いくつか用途を分けて作りたくなることもあると思います。 個人的に気に入っている開発環境の作り方をせっかくなのでメモしておきます。ち…

kubeflowで機械学習パイプラインを試してみる(処理コンテナ実装編)

はじめに 前回に引き続き、Kubeflow pipelineを使って機械学習パイプラインを組んで見る第2段です。今回は、pipeline処理を行うコンテナと処理を1つ作ってみて、雰囲気に触れてみようと思います。前回の記事はこちら t.marufeuille.dev

Kubeflowで機械学習パイプラインを試してみる(MiniKFインストール編)

はじめに 2月は会社のブログ活動&E資格受験があって、しばらく間が空いてしまいました(言い訳) さて、今回からは機械学習パイプラインの構築に向けての検証として、Kubeflowを試してみようと思います。ちょっと前にmlflowのtrackingだけ試しました(以下…

seleniumを落ちないように気をつけながら使ってみた

はじめに AJAXを使ったWebページのスクレイピングをするためには、単純にHTMLを取得するだけではなく、実際に描画、JSの実行等諸々の処理をしてレンダリングが完了した上で必要なものを取得していく必要があります。 今回諸事情により色々試すことになったの…

砂が踊るように可視化できるSandDanceをVisualStudioCodeから使うと便利そうだった

はじめに 会社の人にイケてそうな可視化ツールあるよーと教えてもらったので、そのテストついてにまとめてみます。 小さいデータ(Titanic)でしか試していませんが、実際触ってみると、サクサクといい感じの可視化ができるので、データの概要を掴むのに良さそ…

VisualStudioCodeでメモを管理する

はじめに メモの管理は私の永遠の課題の1つです。 今回見つけたVSNotesがとても便利そうなので、使い方のメモを残します。VSNotes - Visual Studio Marketplace

autoencoderを理解する

はじめに E資格対として、今回はautoencoderについて考えてみます。 実装については以下のKeras Blogをそのまま使います。 blog.keras.ioちなみに前回はこちら。 t.marufeuille.dev

畳み込みの処理を理解する

はじめに 超個人的な話題ですが、もう少しでE資格の受験日です。 そこで一通りのアルゴリズムの実装を見直していこうと思います。 特にディープ系はあまり自信がないので、コアになりそうなところを中心にしっかりやっていこうと思います。今回は畳み込みの…

【異常検知】時系列モデル(AR)を使う方法

はじめに 今回は以前解説した時系列モデルの1つであるARモデルを利用した異常検知についてまとめます。 ARモデルそのものについては、以下記事をご参照ください。t.marufeuille.dev

MLflowのTracking機能を試してみた

はじめに 今回はMLflowを使って機械学習の実験管理について少し試したのでまとめてみました。 本当はこのエントリが新年一発目になる予定だったのですが、諸事情あって別のエントリになりました

IIJ mioのeSIMサービスをPixel4から利用してみた

はじめに 今回は少し趣向を変えてスマホの話です。 先日Pixel4を購入して、元々契約していたauのSIMを入れましたが、どうしてもデータ通信の費用高いですよね。 この記事を書きはじめた日は実家に帰省しているのですが、なんと自分の寝室だとたまにwifiが切…

MAiX Dock上でMNISTの手書き数字識別モデルを動かしてみる

はじめに MAiX Dockは価格も安く、高性能と言われていますが、ドキュメント*1が少しわかりにくい!! 独自モデルを動かしたくても、どうしたものか、意外とわかりません。そこで、画像認識のHello WorldというべきMNISTの手書き数字識別モデルをMAiX Dock上…

MAiX DOCKのファームウェアをアップグレードする

はじめに せっかく休みに入ったので、積んであったMAIX DOCKで遊んでみようと思ったのですが、MaixPyのバージョンが0.3.2と最新の0.5.0から見るとかなり古くなってしまっていました。Try Numpy on MaixPy v0.5~include: Basic ndarray, Matrix methods, Stat…

【異常検知】lof法

はじめに 前回の最近傍法を使った方法では、「稀によくある」ようなものを異常としたくない場合をうまくハンドリングできないということを書きました。 https://t.marufeuille.dev/entory/nearest-neighbort.marufeuille.dev今回はlof法を用いた異常検知を解…

【異常検知】最近傍法を使った方法

はじめに 異常検知シリーズ第2段、ということで最近傍法を使った異常検知にチャレンジします。 例のごとく、Albert社のブログを大きく参考にさせていただいています。 www.albert2005.co.jp

【AlibabaCloud】LogServiceのML機能をJupyterNotebookから使ってみた

はじめに alibabacloud Advent Calendar 2019 - Qiita 18日目ということで、LogServiceというリアルタイムデータ収集&可視化&処理プロダクトの中でも、たぶんあまり使われていないだろうJupyter Notebookのextensionを利用して、LogServiceを操作する方法…