Non-engineer memoblog

エンジニアではない人間のメモブログ（備忘録とアウトプット欲のために）

趣味としての概要記事超入門

Pythonの超々初歩的なコーディングで長いことハマってしまい、メンターの方に質問を投げているが世間はGWなので、レスが来るまでに良く分かっていなかったことなどをググってみたりしているメモです。

Inside of Deep Learning （ディープラーニングの性能改善手法 一覧）

改善方法が文字多め！！でまとまっててとても読みやすかった神記事でした。
Inside of Deep Learning （ディープラーニングの性能改善手法 一覧） - Qiita

ドロップアウト/Batch Normalization

記事やTwitterなどでよく見かけるけどキーワードでしたが、良く分かっていなかったのでした。
今更聞けないディープラーニングの話【ユニット・層・正則化・ドロップアウト】 - HELLO CYBERNETICS
Dropout：ディープラーニングの火付け役、単純な方法で過学習を防ぐ - DeepAge
Batch Normalization：ニューラルネットワークの学習を加速させる汎用的で強力な手法 - DeepAge

転移学習/Zero-Shot Learning

ゼロショット学習は、ワンショットとも言われるらしく、文字通り１度だけで「これは別クラスの対象物である」と認識できるような学習方法らしく、DARPAロボティクスチャレンジのような認識タスクに応用できそうなものみたいですね。
転移学習とは｜機械学習とディープラーニングとの関係性と必要スキル｜フリエン
転移学習：機械学習の次のフロンティアへの招待 - Qiita
Zero-Shot Learning with Semantic Output Codesを読んだ - EchizenBlog-Drei

転移学習は、以前にDeepMindが発表したDNC（Differentiable neural computers）と同じようなもの？と思いながらでしたが、重み付けが最適にチューニングされている転移学習と実際にメモリ保持しているDNCといった感じでしょうか・・・？？
DNC (Differentiable Neural Computers) の概要 + Chainer による実装 - Qiita



QRNN

RNN + LSTMよりも強力
LSTMを超える期待の新星、QRNN - Qiita
【Python】QRNNでカオス時系列データ予測【Keras】 - Qiita
QRNNでLSTM(深層学習を用いた時系列分析)をスピードアップ | GMOインターネット 次世代システム研究室

CapsNet

CNNの問題点を解消できる可能性を秘めた超期待のネットワーク？
CapsNetについての調べ - Qiita
深層学習を根底から覆すカプセルネットワークの衝撃 - WirelessWire News（ワイヤレスワイヤーニュース）

Group Normalization（GN）

Batch Normalizationの限界を補う代替案らしいですが、Batch Normalizationですら理解できていないのに・・・
Facebook AI Proposes Group Normalization Alternative to Batch Normalization
[1803.08494] Group Normalization


・・・・と、なんかリンク貼るだけになってしまったのですが、CapsNetとGroup Normalization以外は1年以上前の出来事や手法の話であって、なんだかバトル系少年漫画のインフレを見ているかのようです。改善手法 一覧記事があったおかげで何となくの雰囲気をつかむことができた。

文字で雰囲気は感じる（理解できるとは言っていない！）ことができるけれども、さすがにもう少しベクトルとか行列とかコードとか数学とか数学とか・・・などの素養を理解しないと雰囲気を楽しむことすら大変になりそうだと感じてきている。

ということで以前に購入した 、
みんなのAI講座 ゼロからPythonで学ぶ人工知能と機械学習 | Udemy
こちらはニューラルネットワークとバックプロパゲーションまでは分かりやすく解説されていたけど、ベクトルとか行列とかはほとんど取り扱っていなかったので、比較的新しめの動画コンテンツでそのあたりを取り扱っていないか物色しました（そしてセール購入）・・・

www.udemy.com
www.udemy.com

※Udemyっていつもセールやっているんだけどこれ大丈夫なんだろうか・・・

ある意味、非エンジニアが雰囲気をつかむために学習コンテンツを見るというのすごく効率の良い情報収集だと感じている。聴覚と視覚を両方使用できるし、また目線を大きく移動させることなく図やイラストを画面で遷移させながら、実際にコードと動く結果が確認できる（それをコピペすれば自分の環境でも動くはずであろうものが）。これを電車に乗りながら可能なのは強力だなーと。

ただこれは学習と言えるのかかなり疑問なので自分はコンテンツ（ここでは機械学習記事など）を楽しむための予習というか情報収集という位置づけでとらえている。

逆に言えば実際の技術職の方は以下の記事を見るように
qiita.com
実際にビジネスに落とし込むことの壮絶さがわかる。

Turing Complete FM

話変わって、最近はlld（リンカ）のオリジナル開発者のUeyama RuiさんのPodcastがすごく面白い。
turingcomplete.fm

自分もアンケートに25%しか理解できない（もっと分からないですがｗ）と回答しました(笑)

ただこの辺はLinux概要（ただし2.4~2.6系）をほんの少し勉強したことがあることで、雰囲気を楽しめる。そのおかげで15. CERNでのソフトウェアエンジニアリングのような話を聞けたり、やっぱりある程度の知識はコンテンツを楽しむために重要だと思う。それと、Ruiさん（Google）がFacebookのコンパイラチームのリクルーターに招待された会食に行ったら、後ろの席の同僚も来てたとかいう裏話が聞けるのもｗ

［追記］
久しぶりにLinux入門記事を見てみようとしたら、有料会員じゃないと見れなくなっていた・・・
tech.nikkeibp.co.jp

MONOistのこっちはまだ閲覧できるみたい
monoist.atmarkit.co.jp