えんじにあのじゆうちょう

勉強したことを中心にアウトプットしていきます。

【読書】スケーラブルデータサイエンス 第6章

はじめに

今回も引き続き、スケーラブルデータサイエンスです。
今日は第6章。Dataprocです。ちなみに、第5章は個人的によく知っている話題が多かったので記事としては取り上げません。

続きを読む

【読書】スケーラブルデータサイエンス 第2章

はじめに

スケーラブルデータサイエンスを読み始めたので、読みつつ気になったところのまとめを実施していこうと思います。
まずは第2章のクラウドへのデータの取り込みです。

続きを読む

tensorflow.jsでposenetを使ってみる

はじめに

ふと思い立って、tensorflow.jsを使ってみることにしました。
最終的にはUIつけてアプリにしたいですが、まずはローカルに保存した画像をposenetで姿勢情報を抽出し、肘の角度を算出する、ということをやってみます

続きを読む

ServerlessなKubernetes上で機械学習タスクを実行してみる

はじめに

だいぶ間が空いてしまいました。(コロナとかではなく、ネタ切れです)
今回はAlibabaCloudのServerless k8sサービスでGPUが使えるっぽいというのをドキュメント上確認したので試してみた、ということを書きます。

Serverless k8sを使うメリット

Serverless k8sを使うメリットはとても単純で、「実行時以外お金がかからない」という一点がとても大きいと考えています。
お金がある人は、普通のk8sサービス使って、GPUインスタンスも立てまくっておけば別にいいと思いますが、GPUインスタンスは最低でも月々80,000円/台くらいしたはずで個人利用や予算のあまりないチームで使い続けるには中々厳しいものがあると思います。
この課題はECS(Preemptive使ったり)のようなIaaSサービスをうまいことプロビジョニングしてやれば十分解決できるのですが、自前で書くとまぁバグを作り込んでしまって正しく終了できないで高額請求と行ったことも考えられます。
Serverless k8sを利用することでk8sなのでjobのyamlさえしっかり書いてあげさえすれば非常に簡単にコード化できるので、CICDパイプラインに組み込んだりすることも容易ですね。
とにかく使わない手はないと思っています。

続きを読む