「TensorFlow Lite」の前に「TensorFlow」とは？

「TensorFlow Lite」の前に「TensorFlow」について知る必要があります。TensorFlowは機械学習を行うための便利なライブラリです。TensorFlow Liteを理解する上でこの前提は必要です。

TensorFlowを使用して俗にいうAIモデル（AIの処理を行える脳のようなベース）を作成することができます。また、このようなライブラリは非常に多いのですが、その中でも産業系としては最も使用頻度が高いことが特徴的です。

ではTensorFlow Liteについてご紹介していきます。

「TensorFlow Lite」とは？

　TensorFlow Liteはエッジ端末用のAIモデルの種類のことを指します。なぜエッジ用端末で使用されるかですが、精度の高いAIエンジンは非常に有用ですが、処理が遅く高速処理を可能とする大規模なサーバでしか使用することが現実的ではありません。

そのため、スマホやカメラなどのエッジ用端末で利用できるように軽量なAIモデルを作成する必要が産業業界では欠かせないのです。この軽量モデルの一つに先ほど紹介したTensorFlow Liteがあります。

つまり「TensorFlow Liteとは？」という疑問に関しては「エッジ用端末で利用できるようになった軽量なAIモデル」というのが回答になります。

では今回の記事は以上です。他にも多数の機械学習関連の記事を記載しております。是非興味ある方は他の記事も参考にしてみて下さい。

勉強期間2週間でG検定合格までの準備

まずはテストに関して知ることです。

• どのような問題が出るか
• 問題数は多いか
• 時間は足りるか
• 合格点はあるか
• 試験の受け方

このような点はその年度の状況もあると思うので各自調べましょう。

これを調べ終えた際に気づくと思います。

問題数が多すぎる。

これは用語などを覚える前に時間配分は考える必要があります。

用語などを覚える際ですが、G検定の公式ブックみたいなのが会社にあったためそれを利用しました。結論から言うとこれに書いてあることは出題率20%程度で正直なくてもよかったかもです。

また、これは確実に知っておく必要がありますが、G検定は基本的に自身のPCで受験可能です。その為、カンペシートは準備しておいて良いと思います。もしくは参考になる記事など。自身で作成したカンペシートを使おうと頑張ってまとめたものを一応リンク付けておきます。こちらを「ctrl + F」で単語を引っかけまくって使いましょう。

「G検定カンペシート」

じゃあカンペだけでいいんじゃないかと考える方もいるかと思います。しかし、問題に慣れておく必要は確実にあるため、そのために少しは勉強が必要です。

一体どんな問題が出るのかテストの内容に関してもご紹介しておきます。

G検定のテストについて

テスト問題は法律関係が多く出題されます。法律問題は出題範囲が広く、検索でも引っかかりずらいので難易度が高い問題と言えます。しかし、ある程度のモラルがあれば解ける問題が多いです。

例えば、

AIに関する法律で正しいものは？
①明らかに違うもの
②正解
③少し考える問題
④明らかに違うもの

このような感じの構成の問題が多いので知らなくても判断つくものが多いですし、検索範囲も狭まります。

用語関連は知っているもの以外はカンペシートとネット検索を駆使し、どうしてもわからない場合、後で見直すにチェックを入れて先に進むことが重要です。

また、テストを受ける際に気づいたのですが、テスト問題はコピーできないようになっているので検索は文字入力の必要があります。

では勉強法に関してご紹介していきます。

勉強期間2週間でG検定合格した勉強法

これにつきます。

G検定公式テキストを読む（ある程度AIに関して理解できている方はいらない）

↓

Study-AIの問題を解きまくる。

↓

間違った問題の用語を調べて理解する。

↓

これの繰り返し

Study-AIは私が受験した際はまだ無料でしたので登録した問題を解きます。練習版みたい30問程度の簡易的なテストで、ある程度時間が足りないことは理解できるので自分なりに答え合わせ件用語調べるを行い、再度問題をとくことで知識として定着します。

この流れで自身のカンペシートを作成し、当日頑張ると言うのが最も最短な勉強方法かと思います。

今回の記事は以上です。他にも機械学習関連の記事を記載しているので是非参考にして下さい。

ADF検定とは？

まず一言でざっくり回答すると「分析対象（検定対象）のデータが定常か非定常かを判定する検定」のことをADF検定と言います。

その手法自体は簡単に説明が難しいのですが「非定常過程」のデータの場合は「単位根過程」であると言えます。それを否定することでこのデータは定常であるという手法ですがこれを難しくいうと「帰無仮説「過程が単位根である」が棄却されれば定常過程」という具合です。

まあ要するに『「定常過程」であることを証明するために、「単位根」であること（すなわち「非定常過程」であること）を否定する検定のこと』がざっくりというとADF検定のことを表しています。

「【G検定】2週間で合格できる勉強方法」

G検定用語一覧カンペシート

用語と知っておくべき知識のみまとめた程度ですが、検索に引っかかる必要性があるので用語と説明を対で紹介していきます。検索「Ctrl＋F」で調べてみて下さい。

AIの定義
専門家の間で共有されている定義はない。
人工知能であるかどうかは「人によって違う」
「推論、認識、判断など、人間と同じ知的な処理能力を持つ機械（情報処理システム）」
「人工的につくられた人間のような知能、ないしはそれをつくる技術」
「明示的にプログラムしなくても学習する能力をコンピュータに与える研究分野」
「周囲の状況（入力）によって行動（出力）を変えるエージェント（プログラム）」

AI効果
人工知能の原理がわかると「単純な自動化である」とみなしてしまう人間の心理のこと。

ENIAC（エニアック）
1946年、アメリカ ペンシルバニア大学で生まれた世界初の汎用電子式コンピュータ。

ダートマス会議
1956年、アメリカで開催
ジョン・マッカーシーが初めて「人工知能（AI）」という言葉を使った世界初の人工知能プログラムといわれるロジック・セオリストのデモを実施。

第1次AIブーム
推論・探索が中心。
トイ・プロブレム（おもちゃの問題）は解けても、現実の問題は解けないことが判明。
第2次AIブーム
エキスパートシステムが流行し、ナレッジエンジニアが必要とされた。
第五世代コンピュータという大型プロジェクト推進、エキスパートシステムに取り組んだ。
知識の蓄積・管理は大変ということに気づく。第五世代コンピュータとは、通商産業省（現経済産業省）が1982年に立ち上げた国家プロジェクトの開発目標である。
第3次AIブーム
機械学習・特徴表現が中心。ビッグデータによる機械学習、特徴量によるディープラーニング（深層学習）が流行。

幅優先探索
最短距離の解が必ずわかる。すべてを記憶するためメモリ容量が必要。
深さ優先探索
メモリは少なめでよいが、最短距離が必ずわかるわけではない。

STRIPS
Stanford Research Institute Problem Solver
自動計画に関する人工知能の一種。前提条件、行動、結果を記述する。

DeepBlue（ディープブルー）
1996年IBM製作。「力任せの探索」だったが、チェスの世界チャンピオンを破った。
力まかせ探索（Brute-force search）またはしらみつぶし探索（Exhaustive search）は、単純だが非常に汎用的な計算機科学の問題解決法であり、全ての可能性のある解の候補を体系的に数えあげ、それぞれの解候補が問題の解となるかをチェックする方法である。

ボンクラーズ
2012年が将棋において永世棋聖に勝利。
ponanza
2013年将棋において現役プロ棋士に勝利。

AlphaGo（アルファ碁）
2016年が韓国のプロ棋士に勝利。ディープラーニングが使われた。

elmo
2017年。が世界コンピュータ将棋選手権において ponanza に勝利。elmo 同士の対戦を行うことで学習を行った。

Mini-Max法
完全情報零和ゲーム向き。
ゲームの始まりの状態から各局面をゲーム木として表現したものです。分岐点を接点、またはノードトいいます。子ノードがないのーどを葉、ノード以下の分岐を枝といいます。α-β法という効率的な手法がある。

α-β法
α-β法はminimax法のアルゴリズム内で使用される効率化手法のことです。αがそれまでに発見した自身で最も大きな評価値。βがそれまでに発見した相手側で最も小さいもの。αβの制限値が現れた場合カットを行う。

モンテカルロ法
プレイアウト（ゲームを一度終局までもっていく）の結果、どの方法が一番勝率が高いかを評価する。デメリットとしてブルートフォース（力任せな方法）のため、組合せが多いと計算しきれない。

ELIZA（エライザ）
1966年。ジョセフ・ワイゼンバウム。「人工無能」の元祖。精神科セラピストを演じた。パターンに合致したら返答する「ルールベース」である。イライザ効果：あたかも本物の人間と話しているように錯覚すること。その後開発されたPARRYと会話した記録が残されており（RFC439）、中でもICCC1972が有名。

エキスパートシステム
DENDRAL
1960年代、スタンフォード大学、エドワード・ファイゲンバウム。未知の有機化合物を特定する。質量分析法で分析。
マイシン（MYCIN）
1970年、スタンフォード大学。ルールベースで血液中のバクテリアの診断支援。正解確率の高い細菌名のリスト、信頼度、推論理由、推奨される薬物療法コースを示した。精度は専門医の80%に対し、69%。

意味ネットワーク（セマンティックネットワーク）
人間の記憶の一種である意味記憶の構造を表すためのモデル。単語同士の意味関係をネットワークによって表現する。概念を表す節（ノード）と、概念の意味関係を表す辺（エッジ）からなる、有向グラフまたは無向グラフである。

Cycプロジェクト
1984年、ダグラス・レナート。すべての一般知識を取り込もうという活動。2001年からはOpenCycとして公開。

オントロジー（ontology）
トム・グルーバーが提唱。知識を体系化する方法論で、「概念化の明示的な仕様」（知識を記述するための仕様）と定義されている。知識の形式表現であり、あるドメインにおける概念間の関係のセットである。is-a関係、part-of関係。
「人がどの様に情報の意味を理解しているか」を、コンピュータに分かるようにするためにはどうすれば良いか、そもそもの知識の共有化や再利用が難しくなるため、記述ルールの標準化が必要。​

セマンティックウェブ
W3Cのティム・バーナーズ＝リーによって提唱されたプロジェクト。ウェブページの意味を扱うことでワールド・ワイド・ウェブの利便性を向上させるもの。オントロジーを利用。情報リソースに意味を付与することが目的で、コンピュータで高度な意味処理を実現したり、文書の意味に即した処理が行えるようにする。

ヘビーウェイトオントロジー（重量オントロジー）
人間が厳密にしっかりと考えて知識を記述していくアプローチ。構成要素や意味的関係の正統性については、哲学的な考察が必要。
ライトウェイトオントロジー（軽量オントロジー）
コンピュータにデータを読み込ませ、自動で概念間の関係性を見つけるアプローチ。完全に正でなくても使えればOKと考える。ウェブマイニング、データマイニングで利用される。

ワトソン
IBM製作のAI。クイズで優勝が有名。

SuperVision
2012年、トロント大学、ジェフリー・ヒントン。ILSVRC（Imagenet Large Scale Visual Recognition Challenge）2012 で勝利した。エラー率は26%台から15.3%へ劇的に改善。その後、2015年に人間の認識率（約5.1%）を抜いた。AlexNet（畳み込みニューラルネットワーク、CNN）を採用。サポートベクターマシンからCNN。

フレーム問題
1969年、ジョン・マッカーシーとパトリック・ヘイズが提唱。人工知能における重要な難問の一つ。有限の情報処理能力しかないロボットには、現実に起こりうる問題全てに対処することができない。ダニエル・デネットは考えすぎて何も解決できないロボットを例示し、フレーム問題の難しさを伝えた。

強いAI・弱いAI
ジョン・サールが提唱。人間のような心、自意識を持つAIが強いAI。汎用型と呼ばれる。弱いAIは、便利な道具であればよいという考え方によるAI。特化型AI。

中国語の部屋
ジョン・サールが論文で発表した。強いAIは実現不可能だという思考実験。中国語を理解できない人を小部屋に閉じ込めて、マニュアルに従った作業をさせるという内容。チューリング・テストを発展させた思考実験で、意識の問題を考えるのに使われる。

シンボルグラウンディング問題
スティーブン・ハルナッド。記号（シンボル）と現実世界の意味はどのようにして結びつけられるのかという問題。外部世界を内部化（記号化、シンボル化）した時点で、外界との設置（クラウディング）が切れてしまうという問題。

seq2seq
再帰型ニューラルネットワーク（RNN）を使った文の生成モデル。時系列データを入力し、時系列データを出力する。別の言語に置き換えたり（翻訳）、質問を回答に置き換えたり（質問・回答）できる。ブレイクスルー。2014Googleによって発表。Seq2SeqはEncoderとDecoderを持つ。

チューリングテスト
アランチューリングが考案したテスト。AIかどうか判別するためのテスト。

シンギュラリティ
技術的特異点。2029年に人工知能が人間よりも賢くなる。2045年はシンギュラリティの到来（2045年問題ともいわれる）。

ロジスティック回帰
活性化関数としてシグモイド関数を使い、重回帰分析により二値分類を行う。シグモイド関数は 対数オッズ（ロジット）の逆関数である。（ロジット変換（正規化））対数をとる前のオッズとは、ある事象が起こる確率pと起こらない確率1−pの比のこと。最小化を行う関数として尤度関数が用いられる。教師あり。
ロジスティックの応用例
複数の変数から分析を行う場合に使用されます。
簡単に言うと変数Xから判明していない結果Yを予測するため、また、すでに出ている結果を説明するために用いられる関係式。
関係式は説明変数として与えられるX１、X２などと目的関数が存在し、目的関数が1に近いほどその確率が起きやすいといえる。

多クラスロジスティック回帰
活性化関数に ソフトマックス関数 を利用し、多クラス分類を行う。教師あり。

ランダムフォレスト (random forest)
ブートストラップサンプリングにより、アンサンブル学習を行う。教師あり。

アンサンブル学習
バギング
アンサンブル学習の一つ。データ全体からランダムに一部データを用いて、複数のモデルを作る（学習する）方法。並列処理になる。
XYZという特徴があった場合、XYのみ、YZのみの特徴を含むモデルを作るなどが考えられます。
ブースティング (boosting)
アンサンブル学習の一つ。一部のデータを繰り返し抽出し、複数のモデルを学習させる。逐次処理のため、ランダムフォレストより時間がかかる。初めに作成したモデルに対して弱かった箇所に対して重み図家を行い、モデルを再度反復学習させる。この流れを繰り返して最終的にすべてをまとめる。
スタッキング
最後に上級者向けとも言えるスタッキングについて簡単に説明をします。スタッキングとは言葉の通りモデルを積み上げていく方法です。上手く利用することによりバイアスとバリアンスをバランスよく調整する事が可能です。
アダブースト
アンサンブル学習の手法の一つ
ランダムよりも少し精度が良い識別機を組み合わせて、強い識別機を作成しようとするモデル。弱識別機を組み合わせるため正確に分類されやすい。弱い点はノイズ・異常値に弱い。

サポートベクターマシン
コンセプトは要素間のマージンの最大化を行うこと。教師あり。

スラック変数
誤分類を許容する工夫をする、線形分離不可能なデータのマージンを最大化する。

カーネル法
カーネル関数により高次元への写像を行い線形分離可能にする。

カーネルトリック
写像の際に計算が複雑にならないように式変形するテクニック。計算量を大幅に削減する。

k-means法
クラスタリングの手法。教師なし学習。課題はクラスタリングを行う処理の初期値の取り方により結果が異なる。（偏りが生じる）kNN法はクラス分類（教師あり学習）の手法。

主成分分析（PCA）
次元削減の手法のひとつ。相関のある多数の変数から、特徴をよく表している成分（主成分）を特定し要約することで次元を削減する。寄与率は各成分の重要度を表す。教師なし学習。

強化学習
エージェントの目的は収益（報酬・累積報酬）を最大化する方策を獲得すること。エージェントが行動を選択することで状態が変化し、最良の行動を選択する行為を繰り返す。状態 →（方策により）行動 → 収益を獲得 → 次の状態 →と遷移する。

ホールドアウト検証
データを訓練データとテストデータに分割（例えば７：３）し利用する。訓練データでの学習によりモデルを構築し、テストデータで検証を行う。交差検証の一種と説明されることもあるが、データを交差させないため交差検証ではない。

k-分割交差検証
テストデータをk個に分割し、ひとつをテストデータ、その他を訓練データとする。テストデータを順次入れ替えることで、少ないテストデータでもより安定したモデルを選択できる。

リストワイズ法
欠損があるサンプルをそのまま削除する方法。欠損に偏りがある場合はデータの傾向を変えてしまうので注意が必要。

回帰補完
欠損しているある特徴量と相関が強い他の特徴量が存在している場合に有効。

ワンホットエンコーディング
順序を持たないデータの場合、各カテゴリごとにダミー変数を割り当てる。

混同行列
正解率は陽性・陰性を含めた全正解数に対する、予測での正解数。全体の精度を上げたい場合の評価項目。
適合率は予測での陽性数に対する、実際の陽性数（陽性だ！と思ったものがどれくらい合っているか）。偽陽性を削減したい場合の評価項目。
再現率は実際の全陽性に対する、予測での陽性正解数（すべての陽性に対し、予測でどれくらい陽性が再現できているか）。偽陰性を削減したい場合の評価項目。適合率と再現率は相反関係にある。
F値は適合率と再現率の調和平均です。

過学習
訓練データに特化した状態になっているAI。訓練データが少ないや、層が複雑など様々な要因がある。過学習を抑える手法がたくさんある。L1正則化、L2正則化やドロップアウトなど。

単純パーセプトロン
線形回帰のみしかできない。多層化することで多層ネットを実現し、非線形分類が出来るようになった。

ディープラーニング
概念としては1980年からのもの。勾配消失問題のため実装は難しかったが、誤差逆伝播の考えで勾配消失を抑えることに成功。

バッチサイズ
イテレーションで用いるデータセットのサンプル数。全データをバッチサイズで切り分ける。

イテレーション
重みの更新を行う回数。データセットに含まれるデータが少なくとも１回は実行されるようにする学習回数。データセットとバッチサイズが決まれば、イテレーションは自動的に決まる。イテレーション＝データセット／バッチサイズ。

エポック
訓練データを学習に用いた回数。データセットのバッチサイズ分割からイテレーション実行までの処理を繰り返す回数のこと。エポック数が２の場合、データセットを２回使うことになる。（重みの更新回数＝イテレーション数×バッチ数×２）

オートエンコーダー
ジェフリー・ヒントンが提唱したもの。入力と出力が同じで何を削減していいかを学習する教師なし学習。次元削減が可能。

ファインチューニング
積層オートエンコーダにロジスティック回帰層（あるいは線形回帰層）を追加し、仕上げの学習を行う。

深層信念ネットワーク
ジェフリー・ヒントンが提唱。確定的モデルに分類。具体的には、教師なし学習による事前学習（制限付きボルツマンマシン）により効率的な学習を実現。

目的関数
最適化問題で最大化or最小化させる関数。
例えばy=axの値が最大になるものもしくは最小になるものを探すためのy=axの関数自体を目的関数という。

ナイーブベイズ法
ベイズの定理を使った分類法。事象Aが起きうるという条件の下で事象Bが起きる確率を求める式。

階層型クラスタリング（群平均法）
デンドログラムが利用されるクラスタリング手法。

非階層型クラスタリング
DBSCAN（密度ベース）、k-means（重心からの距離）主成分分析、次元削減の手法。

t-SNE
次元圧縮手法。高次元での距離分布が低次元の距離分布にも合致するよう非線形型の変換を行う手法。

コールドスタート問題
類似ユーザの特徴データや評価データ、類似アイテムの特徴を用いて解決を行う問題のこと。

ブラックボックス問題
AIが出した答えがどのように出されたかわからない問題のこと。説明可能なAIの作成が求められている。

オッカムのカミソリ
Lassoなどのスパースモデリング手法。

バーニーおじさんのルール
ニューラルネットワークの重みパラメーターの数に対して、最低限その10倍以上の訓練データ量が必要となる。

モラベックのパラドックス
人工知能（AI）やロボット工学の研究所が発見したパラドックスで、「高度な推論よりも感覚運動スキルの方が多くの計算資源を要する」こと。

醜いアヒルの子定理
何らかの「仮定（＝事前知識や偏向、帰納バイアス）」がないと「分類（＝類似性の判断）」は（理論上）不可能である、ということを主張する定理。

AI規制枠組み規則案
2021年4月にEUで発表。安全性や基本的人権に悪影響を及ぼすAIシステムは規制対象とすること。

人間中心のAI社会原則
「基本理念」　多様な背景を持つ人々が多様な幸せを追求できること、持続性のある社会を実現できること
「基本原則」　セキュリティを確保できること

ネオコグニトロン
人間の視覚を模倣。畳み込みNNの先駆け、1980年代福島さんによって提案、２つの層（S、C層）が積み重なっている。

cutout（カットアウト）
少ないデータでも学習できる、類似手法（Random Erasing）、マスクする領域はどのデータセットでも同一の正方形で固定値0。

Random Erasing
Cutoutよりも少し複雑、長方形値をランダムにマスク、画像全体のマスク、物体ごとにマスク、両方を組み合わせるマスクのオプションあり。

Mixup
二つの画像を合成して新しいサンプルを作成する。

Augmix
2つの画像を合成して新しいサンプルを作成する手法である。

CutMix
Cutoutの改良版で，画像を2枚用意し、一つの画像からもう一つの画像へコピーする手法である。

ResNet
shortcut connectionを利用したCNNモデルのことである。

隠れマルコフモデル
音素ごとに学習する音声認識モデル、HMM。

skip-gram
word2vecの手法の一つで、ある単語を与えて周りの単語を予測する手法。

Vision Transformer
自然言語処理の分野で発展したTransformerを画像処理に流用したものである。Vision Transformerは画像を単語のように分割することによりCNNを使用せず、Transformerに近いモデルを使用している。

DQN
行動によらず学習ができるように行動価値関数を状態と行動に分割する。

ダブルDQN
深層強化学習を二重化することによって偶然行動価値が大きくなり、誤った学習をしてしまう現象を防ぐ。

Dropout
過学習を防ぐ手法である。

L2正則化
過学習を防ぐ手法である。

noisy network(ノイジーネットワーク)
noisy networkはネットワークそのものに学習可能なパラメータと共に外乱を与え、それも含めて学習させていく手法、広範囲な探索を進める効果がある。

word2vec
単語の埋め込みを生成するために使用される一連のモデル群である。これらのモデルは、単語の言語コンテキストを再構築するように訓練された浅い2層ニューラルネットワークであり、大きなコーパスを受け取って一つのベクトル空間を生成。

ε-greedy法
これは一定確率で価値によらずにランダムに行動を選択することで選ばれる行動の可能性を広げようとする手法である。

Monte Carlo Method(モンテカルロ法)
Q値を更新するもの。Q学習　Q値を更新するもの、ある行動の良さを学習する強化学習の手法。

Dueling Net
2016年に発表されたDQNに関する手法の一つ。

マルチエージェント強化学習
自身と相手を想定し、自身が報酬を得た際に他の相手にも報酬をあたえるというもの。

セルフプレイ
自分自身と競合させて強化学習を行う。

OpenAI Five
非営利団体Open AIが作成。2019年にDota2というコンピュータゲームで2018年度の世界王者を破って勝利。

アルファスター（αStrar）
DeepMind社の作ったスタークラフト2というコンピュータゲーム用のAI。

状態表現学習
深層強化学習において環境の状態をあらかじめ学習しておく手法である。

SAC
連続値制御の深層強化学習モデルである.方策関数(Actor)とsoftQ関数を、ニューラルネットワークで実装する、ロボットアームや自動運転のハンドル制御などに利用、ソフトベルマン方程式、目的関数にエントロピー最大項を加えることで探索を行う。

PBRS(Potential-based Reward Shaping)
報酬成型の代表的な手法。

報酬成型(Reward Shaping)
通常の報酬値に、追加の値を加えることで学習速度を向上させる。

オフライン強化学習
強化学習をオフラインで過去に蓄積されたデータのみで学習を行う手法である。医療・ロボティクスなどの実環境との相互作用へのリスクの大きい分野で期待されている。

表現学習
データから低次元の特徴を獲得する学習。

Sim2Real(Simulation-To-Real)
シミュレーションを用いて方策を学習し、その学習した方策を現実に転移させる手法である。

ドメインランダマイゼーション(Domain Randomization)
ランダム化されたプロパティを使用して様々な学習用のシミュレーション環境を作成する手法である。これらすべての環境で機能するようにモデルを学習していく、実データをほとんど必要としない。教師なし学習。

ランダムサーチ
ハイパーパラメータをランダムに探索する手法。

Deep Residual Learning(ResNet)
2015年のILSVRCで優勝したモデルであり、152層ものニューラルネットワークで構成されている。残差ブロックを導入することで勾配消失問題に対処し、飛躍的に層を増やすことに成功した。
GoogleNet
2014年のILSVRCで優勝。
VGG-16
13層の畳み込み層と3層の全結合層。

Googlenet GAP(Global Average Pooling)
導入することで、パラメータ数を削減し、過学習を抑制している。

蒸留
学習済みモデルに与えた入力とそれに対する出力を学習データとして、新たなモデルを訓練すること。必要な計算リソースを削減することができる。

剪定
決定木において過学習を防ぐために枝数を制限する手法である。

ブートストラップサンプリング
すべてのデータからランダムに一部のデータを取り出し、それぞれの決定木に与える手法。

量子化
機械学習において演算に用いる数値の表現を浮動小数点数から整数に変換すること。
正規化
入力値の範囲を揃える処理のことである。
正則化
過学習を防ぐ手法の一つである。
標準化
入力データの分布について平均が0、分散が1になるように変換する処理。

プルーニング
ニューラルネットワークの重み(パラメータ)の一部を取り除く手法。

ドロップアウト
ニューラルネットワークのユニットを一定の確率でランダムに無効にしながら学習を進める手法である。

官民データ活用推進基本法（平成２８年法律第１０３号）
オープンデータへの取り組みが義務付けられ、オープンデータへの取り組み組により、国民参加・官民協働の推進を通じた諸課題の解決、経済活性化、行政の高度化・効率化等が期待されている。

不競争防止法
データ等の保護を図るには、営業秘密である必要がある。営業秘密不正取得行為等の「不正競争」を原則禁じている（不正競争防止法第２条第１項各号）。学習用等のデータ、プログラム、データベース、仕様書、ソースコード、及び、設計図などが対象。

営業秘密
不正競争防止法第２条第６項で定められている有用性、秘密管理性、及び、非公知性であり、この３つの要件を備えれば形式や書面であるか否かを問わない。
発明
「自然法則を利用した技術的思想の創作のうち高度のもの」である（特許法第２条第１項）。
秘密意匠
「意匠出願において秘密にすることを請求された意匠」である（意匠法第１４条）。
個人情報
「生存する個人に関する情報であって、氏名等」である（個人情報の保護に関する法律第２条）。
著作物
「思想又は感情を創作的に表現したものであつて、文芸、学術、美術又は音楽の範囲に属するもの」である（著作権法第２条第１項）。
データベースは著作権法では「論文、数値、図形その他の情報の集合物であつて、それらの情報を電子計算機を用いて検索することができるように体系的に構成したもの」である（著作権法第２条第１項１０の３号）。

匿名加工情報
一定の条件下で本人同意なく事業者間でやりとりが可能となる（個人情報の保護に関する法律第２条）。匿名加工情報として扱うには「特定の個人を識別すること及びその作成に用いる個人情報を復元することができないようにするため」加工を行う義務がある（個人情報の保護に関する法律第３６条）。

ボルツマンマシン
無向グラフに対応、1985。

AdaGrad
収束を早く促すための手法、振れ幅を抑制する、学習率をパラメータに適応させることで自動的に学習率を調整する、勾配を 2 乗した値を蓄積し、すでに大きく更新されたパラメータほど更新量（学習率）を小さくする。
モメンタム法
モーメントは運動量、収束を早く促すための手法、ボールの摩擦を少なくするようなイメージ、以前に適用した勾配の方向を現在のパラメータ更新にも影響させる。
Adam法
モメンタムとAdagradを融合させたような手法、勾配の平均と分散をオンラインで推定し利用、最適化を目指すもの。

ノーフリーランチ
すべてに対して常に優れているモデルは存在しない。パラーメータ最適化の前段階であるネットワーク構造の最適化を行う、ボトルネックは膨大な計算量、AutoMLを実現するための理論。

ベイズ最適化
パラメータ最適化を行う
遺伝アルゴリズム
パラメータ最適化を行う

NASNet
CNNの畳み込みやプーリングをCNNセルと定義し、そのセルの最適化を行う、Google製、NormalCellとReductionCell。
MnasNet
Google製、AutoMLを参考にしたモバイル用のＣＮＮモデル設計、速度情報おw探索アルゴリズムの報酬に組み込むことで、速度の制約に対処した。

セグメンテーション
物体検出の方法はセマンティックセグメンテーション、インスタンスセグメンテーションに大別できる。
セマンティックセグメンテーション
矩形を基本としたボックス単位で物体検出。膨大な計算を担う為にAtrousconvolution、Dilation convolutionが使用されている。
インスタンスセグメンテーション
不定の対象の境界を検出可能である。
パノプセグメンテーション
googleによって上記二つの手法を組み合わせる手法が提案された。

Segnet
セマンティックセグメンテーションように開発された深層学習モデルの一つである。エンコーダ部分はＣＮＮモデルであるＶＧＧ16の一部が採用、デコーダ部UP Sampling（アッサンプリング）

Faster R-CNN
RCNNを高速にしたもの。

OpenPose
カーネギーメロン大学。入力画像から部位の位置の推定（S・confidense maps）、部位の連関を表す（L・Part Affinity Fields（PAFs））を行う。

Transformer（トランスフォーマー）
機械翻訳のために提案され、計算速度向上のため、RNNを使わずに、Attentionメカニズムを使って並列計算を可能とするモデルである。Self-Attentionを導入することにより並列処理は可能になるが、単語の位置関係が把握できなくなる。これを解決するため位置エンコーディングと呼ばれる単語の出現位置情報を付加することにより、間接的に単語の位置情報や位置関係を考慮することができるようになった。

Bidirectional
RNN（双方向RNN・BRNN)とは、中間層の出力を未来への順伝播と過去への逆伝播の両方向に伝播するネットワークである。

BPTT
elman networkの学習にも使用されている、ある種のRNNを学習するための勾配ベースの手法である。

A/D変換
自然界の現象からのアナログ信号をデジタル信号に変換すること。A/Dコンバータがある。標本化→量子化→符号化

SAR
逐次比較レジスタ（Successive Approximation Register）、A-D変換方式の一つ。

DAC
DAコンバータとはＡＤコンバータの逆の操作をする回路であり、Digital to Analog Converterの略。

高速フーリエ変換（FFT/Fast Fourier Transformation）
あらゆる周期の関数は正弦波の足しあわせで表現できるという特性を利用し、周波数成分に分解することが可能であるが、これをなるべく少ない計算量で行う。

スペクトル包絡
声道・鼻腔における共振・反共振特性に関連した各音韻ごとの違い

音声スペクトル
生体の振動に対応した音声信号スペクトルと声道鼻孔における共振・反共振特性に関連した各音韻事の違いである音声信号スペクトルの二種類。音声認識には音声信号スペクトルのみの使用。

ケプストラム法
スペクトル包絡の代表的な抽出法

線形予測法
スペクトル包絡の代表的な抽出法

CEC
勾配消失問題に対して誤差を保存するセル（Constant Error Carrousel：CEC）を使用する（記憶セルを用意）。

GRU
記憶の忘却と更新という操作が、1つのゲートコントローラで行われている点、更新はゲートコントローラの値を1時刻前の状態ベクトルと乗算した後に加算することで実現されている点、過去の記憶は忘れるように連動させることで構造を簡略化。

メル周波数ケプストラム係数（MFCC）
音声認識や音楽ジャンル分類などで使われる特徴量であり、人間の聴覚特性を考慮した周波数スペクトルの概形を表す。（　＝メル尺度）

フォルマント
言葉を発してできる複数の周波数のピーク。第1～3フォルマントがある。

ケプストラム
周波数スペクトルを信号とみなし、フーリエ変換して得られる信号。

音素
意味の違いに関わる最小の音声的な単位、音声認識では音声データから特徴量を抽出するために、音素の抽出やノイズ除去のようなデジタル信号の波形に変換を行う。

WaveNet
音声認識や音声合成に利用できるモデルで、量子化された音声を1つずつ、1秒間に16000個の音声データを学習データとして学習するモデル。

Tacotron2
テキストを人が話すような音声に変換するモデル。

WaveGlow
WaveNetを改良した軽量のモデル。

WaveRNN
WaveNetを改良した1層RNN+全結合2層のニューラルネットのモデル。

メル尺度
心理学者のStanley Smith Stevensらによって提案された、人間が感じる音の高さに基づいた、音高の知覚尺度。

バーク尺度
24に区分けられた音域を設定し、音の信号を対数変換した値がどの音域の範囲に値するかを測る尺度。

メル周波数ケプストラム係数（Mel-Frequency Cepstrum Coefficients: MFCC）
音声認識の特徴量を示す係数。

N-gram
任意の文字列やテキストをいくつかの単語や文字のペアでn個ずつ分割し、ペア内の文脈を考慮してテキストを解析する手法である。1つの漢字を読み取るときに単語の前後関係から読みを解析するときなどに利用。

形態素解析
文章を文法や品詞から形態素に分割し、それぞれの形態素の品詞等を判別する手法。

コーパス
単語検索対象となる文書全体のことである

正規表現
文字列内で文字の組み合わせを照合するときの表現方法である。

BoW(Bag-of-Words)
任意の文字列やテキストに対して、記載内容の特徴を分析するため単語の出現回数を読み取る手法である。 記述内容が肯定的なのか否定的なのかの判定などに利用できる。自然言語処理の分野においては、文章に単語が含まれているかどうかを考えてテキストデータを数値化。文章をベクトルにする。

MeCab
京都大学情報学研究科-日本電信電話株式会社コミュニケーション科学基礎研究所 共同研究ユニットプロジェクトを通じて開発されたオープンソース形態素解析エンジン。

CaboCha
日本語の係り受けを解析するツール。

ラベルエンコーディング
データにIDをつけて表現する手法。
カウントエンコーディング
データの出力回数などをラベルとして表現する手法である。
ターゲットエンコーディング
説明変数として、カテゴリ変数と目的変数を用いその特徴量で表現する手法である。

TF-IDF
単語の出現頻度(TF)と単語が使われている文の割合の逆数(IDF)で単語の重要度を示す手法。ある単語が一般的によく使用されるのか、文章の中でよく使用されるのかを計算する方法。

Okapi BM25
単語の出現頻度や単語が使われている文の割合の逆数に加えて、文書に含まれる総単語数も含めて単語の重要度を算出する手法である。検索エンジンの順位付けなど。

CrRv
専門用語の中でも一般人があまり用いないものに高い重要度を設け、特定の分野に対する専門性を算出する手法である。

テキストマイニング
自然言語処理における、テキストを分析するための概念である。文章からなるデータを単語や文節で区切り、それらの出現頻度や共出現の相関・出現傾向・時系列などを解析することで有用な情報を取り出す。

単語埋め込みモデル
単語の意味をベクトルで表現するモデルである。複数の単語の関係性をベクトルの演算によって導き出すことに使われている(例 「王様」-「男性」+「女性」=「女王」)。
ベクトル空間モデル
ベクトル間の距離や内積などから文章の意味を表現するモデル。
マルチタスク言語モデル
構文解析や、前文予測などに使われる文章表現のベクトルモデル。
普遍埋め込みモデル
複数課題間に共通する、文章埋め込み表現を学習させたモデル。

シニフィエ
対象の概念や内容。
記号表現（シニフィアン）
対象そのものを文字などに表現したもの。

局在表現
ある単語とベクトルの関係を1対1で表現する考え方である。他の概念とは完全に独立しているため、単語間の関係性をとらえることができない問題。
分散表現
文字や単語をベクトル空間に埋め込み、その空間上で点として扱う考え方である。他の概念と関連する場合は紐づけながらベクトル空間上に表現していく。

スキップグラム
ある単語を与えて周辺の単語を予測するモデルである。
CBOW
スキップグラムの逆で周辺の単語からある単語を予測するモデルである。

fastText
個々の単語を高速でベクトルに変換しテキスト分類を行うモデルである。word2vecとの違いとして、単語の表現に文字の情報を含めて、存在しない単語を表現しやすくすることができる。

ELMo
文脈から意味を演算するモデルである。双方向のLSTMで学習することにより、同じ単語でも文脈によって異なる表現を獲得することができる手法である。

Source-Target Attention
過去の内容からsource（入力）とtarget（出力）の内容が違うものの関連を求めるもの。

GPT
大規模なコーパスを用いて事前学習を行うモデルの一つにOpenAIが開発、1億前後のパラメーター。
GPT-2
2019年15億前後のパラメーター。
GPT-3
2020年1750億前後のパラメーター。

DeepLab
Atrasnetを用いたもの。

RMSprop
Adagradにおける一度更新量が飽和した重みはもう更新されないという欠点を、指数移動平均を蓄積することにより解決。

ステップ関数
単純パーセプトロンの出力層。
シグモイド関数
正規化の関数。値の範囲は 0～1 。微分の最大値は 0.25 。層が深くなる（つまり「0.25×0.25×・・・」と積算を繰り返していく）と値がどんどんと小さくなるため、勾配を表す値も小さくなり消失してしまうという課題がある。
tanh関数
値の範囲は -1～1 。（シグモイド関数よりも広い）勾配消失を起こしにくい。
Relu関数
現在、最もよく使われている。ニューラルネットワークにおける活性化関数のデファクトスタンダード。x値が1より大きい場合、微分値が1になるため、勾配消失しにくい。x値が0以下の場合、微分値が0になるため、学習がうまくいかない場合もある。

畳み込みニューラルネット（CNN）
畳み込み層のパラメータ数は全結合層と比べて極めて少ない、データに潜む空間的構造をモデル化。

エキスパートシステム
1980年代、特定領域に限り実用的成果を上げた

ヤン・ルカン
NY大学の教授、Facebookに招いた

人工知能研究の変遷
パターン処理 -> 記号処理 -> 知識の蓄積

google社、Facebook
言語データによる RNN や映像データからの概念・知識理解を目指す
UC Berkeley
実世界を対象に研究を進め、知識理解を目指す
DeepMind 社
オンライン空間上でできることをターゲットにするして、知識理解を目指す

ヨシュア・ベンジオ
時間的空間的一貫性、スパース性、複数の説明変数の存在

ディープラーニングのアプローチ
説明要因の階層的構造、タスク間の共通要因、要因の依存の単純性

画像キャプション
CNN→LSTMの順でニューラルネットを使用すること。

DCGAN
画像生成期と画像識別機で構成されている。

End to End Learning
DNNで処理を複数回に分けて行う必要がなくなったこのような、ディープラーニングにおいて重要な方法論。

ニューラルネットワークの記述
設定ファイル
Caffe、CNTK。モデルの定義がテキストで設定可能。ループ構造をもつようなRNNなど、複雑なモデルを扱う際には、モデルの定義を記述することは難しくなる。
プログラム
TensorFlow、Chainerなど。

偏回帰係数
重回帰分析での独立変数の係数。

残差の定義
(残差) = (観測した値) – (予測した値)
誤差の定義
(誤差) = (観測した値) – (真の値)

最小二乗法
モデルの予測値と実データの差が最小になるような係数パラメータを求める方法、符号を考えなくてよくなり計算がしやすくなる、異常値に注意。

マージン最大化
SVM（サポートベクタマシン）で使用。各クラスの最も近いデータの距離を最大化することで係数パラメータを得る方法。

最尤推定法
ある係数パラメータが与えられたときに、モデルが実データを予測する確率（尤度）を最大化するような係数パラメータを求める方法。

勾配降下法
モデルの予測値と実データの差から損失関数を算出して、それを減少させるようにパラメータを更新させる方法。

HE.Xavier
ネットワークのエッジにおける重みの初期値を決定する手法。

waymo社
Google傘下、自動運転3から取り組んでいる。

AI人材不足
4.8万人程度。

米国ネバダ州
自動運転の走行や運転免許が許可制にて認められた。

インターネットプラスAI3年行動実施法案
中国で施行。
新産業構造ビジョン
日本で施行。
デジタル戦略2025
ドイツで施行。
RAS 2020 戦略
英国で施行。

リストワイズ法
欠損があるサンプルを削除。

回帰補完
特徴量と相関が強い他の特徴量が存在する場合の手法。

Lenet
1989年にヤン・ルクンらによって提案。畳み込みニューラルネットワーク構造。

恒等関数
回帰問題に対しての出力層。

白色化
各特徴量を無相関化したうえで標準する手法。

Rainbow
DQN以降に登場したいろいろな改良を全部乗せたアルゴリズム。DoubleDQN、Dueling Networkなど。

大域的最適解
広いところでの最適解。
局在的最適解
局在的な最適解。

プライバシー・バイ・デザイン（PbD:Privacy by Design）
1990年代にカナダのオンタリオ州。アン・カブキアン博士が提唱。「技術」、「ビジネス・プラクティス」、「物理設計」のデザイン（設計）仕様段階からあらかじめプライバシー保護の取り組みを検討し、実践すること。PbDの基本原則は以下7つから成る。
1.事後的ではなく、事前的；救済的でなく予防的
2.初期設定としてのプライバシー
3.デザインに組み込まれるプライバシー
4.全機能的—ゼロサムではなく、ポジティブサム
5.最初から最後までのセキュリティ—すべてのライフサイクルを保護
6.可視性と透明性—公開の維持
7.利用者のプライバシーの尊重—利用者中心主義を維持する

リーケージ
データ内に入ってはいけないデータが混入すること。モデルの精度が高すぎる場合は、「予測には使えないデータを使っていないか」「バリデーションが正しくできているか」を疑ってみる。

LSTNet
多変量時系列予測アルゴリズムで、Convolution component（多次元入力間の局所的な依存パターンの学習に寄与）、Recurrent component（多次元入力間の長期的な依存パターンの学習に寄与）、Autoregressive linear component（時系列データに対しても頑健な予測）の3つのコンポーネントをもつ。

FCN（Fully Convolutional Network）
セマンティックセグメンテーションに使われるネットワーク。

XAI
説明可能なAI。

ポアソン回帰
確率的なもので統計をとる

カメラ画像利用ガイドブック
経済産業省、総務省、IOT推進コンソーシアムによる。企業が守るべき基準。

プルーニング
冗長な処理の削除を行う手法。

ホールドアウト法
データ全体を学習用とテスト用に分けてモデルの精度を確認する手法。

CycleGAN
ドメイン関係を楽手下画像変換。画像の色を変えるのが得意。

CRISP-DM
データ分析のガイドライン。

偏相関
2つの変数の間の相関を表す概念。相関係数との違いは他の交絡因子による影響を無視する点。
相関（相関係数）
2 種類のデータの関係を示す指標です。 相関係数は無単位なので、単位の影響を受けずにデータの関連性を示します。
分散
偏差の2乗の平均値。
期待値
各事象の値×確率を全施行で割る

Adversarial Examples
敵対的事例。AIをだますための微小な加工を行った画像。
Adversarial Attack
微小な加工を施してAIをだます攻撃。パンダをテナガザルに見せる例が有名。

スパース
疎なデータのこと。

バッチ正則化
ニューラルネットワークの層ごとに正則化を行う手法。過学習の対策として良い。学習が進むにつれて入力が変化する内部共変量シフトに対応できる。

内部共変量シフト
入力の分布や値などが学習の途中で大きく変わってしまう問題のこと。

プーリング層
決められた演算を行うだけの層。（ダウンサンプリング、サブサンプリング）プーリングの手法は下記。
最大値プーリング（２×２ごとに画像（特徴マップ）の最大値を抽出していく。）
平均プーリング（平均値をとる。平均プーリング。）
Lpプーリング（周りの値をp乗してその標準偏差をとる。）

RNN（リカレントニューラルネット）
時間情報を反映できるモデル。隠れ層に時間情報（過去の情報）を持たせることができる。特徴は前回の中間層の状態を隠れ層に入力する再帰構造を取り入れたこと。課題として深いネットワークのため勾配消失が起きやすい。そのため解決策として、LSTMがある。

LSTM
時系列データにおいてはデファクトスタンダード。Google翻訳でも利用されている。ユルゲン・シュミットフーバーと、ケプラー大学のゼップ・ホフレイターによる提案。遠い過去の情報でも出力に反映。CEC（Constant Error Carousel）という誤差を内部にとどまらせ勾配消失を防ぐセル。ゲートは入力、出力、忘却の３つ。

自動運転

データ収集の法律
以下を考慮する必要がある。
1.著作権法
2.不正防止競争防止法
3.個人情報保護法
4.個別の契約
5.その他の理由
成果（データ）をラボの外に出さなくても問題になるケースがある。（取得自体が問題になるケースも）

著作権
日本では「情報解析を行うために著作物を複製してもよい」とされており、世界的に見ても先進的である。

AI・データの利用に関するガイドライン
2018年、経済産業省が策定。開発プロセスは ①アセスメント、②PoC、③開発、④追加学習 の４段階。契約類型は３つ、データ提供型、データ創出型、データ共用型。

ドローン法律
許可が必要になる飛行場所
空港周辺、150m以上の上空、人家の密集地域（人口集中地区、DID地区）。
承認が必要になる飛行方法
夜間飛行、目視外飛行、第三者やその所有物（家や車）の30m未満の距離での飛行、催し場所での飛行、危険物の輸送、物件投下。

IEEE P7000シリーズ
「倫理的に調和された設計」レポート。倫理的な設計を技術段階、開発段階に取り込む試み。

データセットの偏り
データセットによっては偏り・過少代表・過大代表などが生じる。データベースに登録されていないことによる偏りも生じる可能性がある。現実世界の偏りが増幅されることで、問題が生じる場合がある。

人工知能学会 9つの指針
1.人類への貢献
2.法規制の遵守
3.他者のプライバシーの尊重
4.公正性
5.安全性
6.誠実な振る舞い
7.社会に対する責任
8.社会との対話と自己研鑽
9.人工知能への倫理遵守の要請

クライシス・マネジメント（危機管理）
火消し（危機を最小限に抑える）、復旧（再発防止）が主眼。エスカレーションの仕組みづくりが重要。防災訓練を行うこと。危機管理マニュアルの有効性を検証する。

Partnership on AI（PAI）
Amazon、Google、Facebook、IBM、Microsoftなどで組織。AIにおける公平性・透明性・責任などへの取り組み。

今回の記事は以上です。他にも多数の機械学習関連の記事を記載しているので是非参考にしてみて下さい。

機械学習における「アルファベータ(α-β)法」とは？

アルファベータ法は「完全情報零和ゲーム」向きの探索手法の「ミニマックス法」を効率的に行うための手法のことを指します。

「完全情報零和ゲーム」は自身が知らない情報が存在しないゲームのことです。例えばオセロ、将棋などです。運の要素のある、「ババ抜き」「ビンゴ」などはこのゲームから外れます。

では実際にこのアルファベータ法はミニマックス法を効率的に行うための手法ですのでミニマックス法の理解ができていない方はまずは下記の記事からミニマックス法に関して知っておきましょう。

「ミニマックス法とは？」

簡単に説明すると下記のようなゲーム木（ゲームの始まりの盤面から終わりまでを図にした）下記のような図でよりよい選択をするアルゴリズムをミニマックス法と言います。

この木の分岐点を接点、またはノードといいます。子ノードがないノードは葉、ノード以下の分岐を枝といいます。

この木の探索を全て行っているとかなり時間を要することが想像できますが、アルファベータ法で枝をカットする手法があり、これで探索にかかる時間を削減できます。

ではそのアルファベータ法に関して詳しく解説していきます。

ゲームが最高点を目指す場合
①SからA→Cの順番で相手が何を選ぶかを考える。
②左から順番に2,4,5となっているので最高手は「5」となります。
③つまりCを自身が選択した場合の手は「5」といえます。
④では次にDの手に進みます。
⑤最も左のものが運よく「7」のためこの手はCの手よりも良い手であるとわかる。
⑥この場合Dの続き3,5を探索する必要はなくなるのでこの枝をカットします。

このカットが「αカット」です。

逆に最低点を目指す場合は上記の流れの逆で探索で出てきた最小値以下の枝をカットする手法を「βカット」といいます。

αがそれまでに発見した自身で最も大きな評価値
βがそれまでに発見した相手側で最も小さいもの

では今回の記事は以上です。他にも多数の機械学習関連の記事を記載しているので是非参考にして見て下さい。

機械学習における「ミニマックス(mini-max)法」とは？

ミニマックス法は「完全情報零和ゲーム」向きの探索手法です。この「完全情報零和ゲーム」は自身が知らない情報が存在しないゲームのことです。例えばオセロ、将棋などです。

運の要素のある、「ババ抜き」「ビンゴ」などはこのゲームから外れます。

では実際にこのミニマックス法に関して詳細に説明する前に「ゲーム木」に関しても理解しておく必要があります。

ゲーム木とは上記のように書かれた木構造のことをゲーム木と言います。

この場合、青丸が最大になる選択は8を選ぶ選択ということです。

ゲームの始まるの状態から各局面を表現したものとなります。分岐点を接点、またはノードといいます。子ノードがないノードは葉、ノード以下の分岐を枝といいます。

ミニマックス法はこのゲーム木の中から最良の選択を探索するアルゴリズムです。「自分にとっての最善手は、相手にとっての最悪手」という考えに基づいた考えです。

このアルゴリズムと混同しやすい語句として「α-βカット」がありますが、こちらはミニマックス法の探索を効率化する手法のことです。

では今回の記事は以上です。他にも多数の記事を記載しているので是非参考にして下さい。

【機械学習】オートエンコーダとは？

オートエンコーダとはネットなどで検索すると、　オートエンコーダ（自己符号化器）と呼ばれる技術は、入力された記号をエンコード（符号化、圧縮）して別のものに変え、もとの形に戻して出力する手法です。この手法の独特な点は入力と出力が同じ、つまり「問題」と「答え」が同じ問題を学習させる点にあります。 

これ意味あるのか？と言う疑問をもつ方が多いと思いますが、見た目上何をしているかは分かりずらいです。

一見すると意味がないように思われますが、上図に重要な要素が隠れています。それは入力層（左）と出力層（右）のニューロンに比べて中間層（中央）のニューロンが少ない点です。中央部分でネットワークが集中しているため、ネットワーク上で情報を処理する際には何らかの形で情報を減らさなければなりません。 

　情報を減らしても同じ答えを出せるようになるためには情報を圧縮させなければなりません。そこで中央部分のネットワークは「どんな情報を落としても大丈夫か」「どんな情報が必要なのか」という「情報の特徴」を学ばなければならなくなります。 

　これがオートエンコーダのキモです。多層ニューラルネットワークの各層それぞれにおいてオートエンコーダによる事前学習を行うことでバックプロパゲーションによる誤差が減り、多層ニューラルネットワークの学習効率が大幅に改善しました。

オートエンコーダの応用例

画像のノイズ除去

画像のノイズを除去するためには、ノイズをノイズだと認識できなければなりません。オートエンコーダにそれを学習させる方法が有効です。入力値としてノイズを混ぜた画像、正解として元の画像を与えて訓練することで、圧縮時にノイズを除去できるようになります。

こうして、オートエンコーダをデータクレンジングとして活用して得られたデータは、ほかの機械学習にも利用できます。特に分類器の作成において、ノイズのないデータは分類精度を高めるうえで欠かせない教材となります。

異常検知

ノイズ除去を学習したオートエンコーダは、異常（ノイズ）検知にも応用されます。正しく学習できていれば、何らかの異常を含むデータを処理した場合でも、オートエンコーダは異常のないデータを出力します。

つまり、入力値に異常がある場合、入力値と出力値の間に誤差が生じるということです。これを異常発生と定義し、オートエンコーダは異常検知システムとして機能します。具体的にどこに異常があるのか特定することも可能です。

クラスタリング

クラスタリングとは分類のことです。入力値がどのような特徴を持つグループに属するのかを見分けます。これにより、精度の高い異常検知が実現します。

クラスタリングに応用する際に活用するのは、教師なし学習です。正常品と異常品を、どれが正常なのかラベルを付けずに与えます。その結果、データを圧縮した潜在変数は正常品の特徴を備えたものと、異常品の特徴を備えたものにグループ分けされます。

このように確率分布的に潜在変数を取得する仕組みを、VAEと言います。この学習を経たオートエンコーダにデータを入力することで、入力値がどちらのグループに属するのか判別可能です。

一口に異常と言っても、複数のパターンがあれば、その数だけグループが作られます。つまり、対象のデータが異常品というだけでなく、どのような異常を持つかを判別できるということです。

AIの出力による表現

オートエンコーダの出力部のみを抽出し、実際には存在しない人の画像を作成したり、絵を書いたりする研究が行われています。まだまだ商用されているわけではありませんが、このような利用方法も存在します。

では今回の記事は以上です。他にも多数の機械学習関連の記事を記載しているので是非参考にして見て下さい。

機械学習における「Linear SVC」とは？

機械学習における「Linear SVC」とは、scikit-learnのクラス分類用のメソッドで、データが50以上10万以下であり、カテゴリのラベルがある教師学習が可能である際に有用性があるクラス分類手法です。

「Linear SVC」はカーネルを使用しないもので分類としてはサポートベクトル・マシンです。

ワインの分類を行うサンプルなどが有名ではないでしょうか？

こういった線形な識別平面を作成するために用いられます。

SVCも似たようなものと思われるのですが、アルゴリズム自体に大きな差があります。要は計算の中身が違います。

非線形な識別平面が欲しい場合にはカーネル関数でデータから非線形成分を作成する必要があります。

Linear SVCはカーネル関数は使用せず、ただデータから線形な識別平面を作成します。

では今回の記事は以上です。他にも多数の機械学習関連の記事を記載しています。是非そちらもご参照ください。

Dence層とは？

簡単に説明するとニューラルネットで特徴量抽出部とその特徴量を正解と紐付ける全結合層の2種類があるのですが、Dence層はその全結合層にあたる部分です。

例えば下記のようにニューラルネットによって特徴量を抽出できた際にDence層の挙動を画像にしてみました。

この赤丸の部分の全ての正解ラベルとの紐付けに使われる層のことがDence層です。

内部の関数などは特に知る必要がまだないと思われます。

以上で解説は終了です。他の語も気になればご参照ください。

今回の記事は「自己回帰（AR）モデル」についての記事です。

「自己回帰（AR）モデル」を簡単に説明すると時系列データを分析する際の手法のテンプレというか考え方のようなものです。

公式な回答としては、『自己回帰モデル（AR モデル）は、ある時刻 t の値を、時刻 t よりも古いデータを使って回帰するモデルである。自己回帰モデルは、自己相関の高い時系列データのモデリングに有効である。回帰式は次のように表せる。φ_i は自己回帰係数、p は次数である。また、ε_t は誤差項であり、平均 0 かつ分散 σ² のホワイトノイズである。』

難しいですね毎度のことながら。。

簡単に噛み砕くと以前解説した、回帰の自己相関が強い場合に使用する分析手法です。
ここで出てきた自己相関に関しては自己相関リンクでもわかりやすく解説しておりますが、簡単にいうと「時間の経過とともにどれだけ元の状態と関係なくなっていくかの指標（関数）です。」つめりこの指標が弱いと自己相関が強いといえます。こう言った場合に使用する分析手法が自己回帰でその分析のテンプレが自己回帰（AR）モデルです。