Organization of this presentation目次

• My approach to AGI in general 人間レベルの人工知能への俺アプローチ
  • 効率無視で最大限に汎用的な人工知能
  • Adding Incremental Learning インクリメンタル学習
• Experience on Round 1 of General AI Challenge 応用例：General AI ChallengeのRound 1への適用
  • Introduction to the Challenge Round 1 Round 1の内容
  • 経緯
  • My Results & Reflections 結果 & 反省
• 現在の研究：気配りのできる人工知能の実現
  • 気配りのカードゲームHanabi
  • 気配りは日本人のこころ
  • 気配りできる機械の実現方法
• 最後に

Organization of this presentation目次

• My approach to AGI in general 人間レベルの人工知能への俺アプローチ
  • 効率無視で最大限に汎用的な人工知能
  • Adding Incremental Learning インクリメンタル学習
• Experience on Round 1 of General AI Challenge General AI ChallengeのRound 1への適用
  • Introduction to the Challenge Round 1 Round 1の内容
  • 経緯
  • My Results & Reflections 結果 & 反省
• 現在の研究：気配りのできる人工知能の実現
  • 気配りのカードゲームHanabi
  • 気配りは日本人のこころ
  • 気配りできる機械の実現方法
• 最後に

汎用知能

• 学習すれば何でも出来る
• 学習結果を未知の課題に応用できる

俺アプローチ

大人レベルの汎用人工知能 ＝

効率無視で最大限に汎用的な人工知能

＋

スキルをどんどん学習（インクリメンタル学習）

（（プログラム／行動(behavior)を）探索 ＝

広く浅く探索 ＋ 有望なところを掘り下げる）

Organization of this presentation目次

• My approach to AGI in general 人間レベルの人工知能に向けて
  • 効率無視で最大限に汎用的な人工知能
  • Adding Incremental Learning インクリメンタル学習
• Experience on Round 1 of General AI Challenge General AI ChallengeのRound 1への適用
  • Introduction to the Challenge Round 1 Round 1の内容
  • 経緯
  • My Results & Reflections 結果 & 反省
• 現在の研究：気配りのできる人工知能の実現
  • 気配りのカードゲームHanabi
  • 気配りは日本人のこころ
  • 気配りできる機械の実現方法
• 最後に

AIXI: An "Ideal" General AI (Reinforcement Learning) Agent AIXI: "理想的"汎用人工知能（強化学習）エージェント

`ideal' means... "理想的"とは...

• expected to be universal 万能性が期待される
• it is not computable.... 計算不能....

考え方：

環境（外界）を（Turing機械の）プログラムと考えて推定し，ベストの行動をとる！

しくみ：

1. 経験と矛盾しないプログラムの無限リストを保持
2. 各プログラムを確率で重み付けし，自分の取る各決定の価値（利得の期待値）を計算
3. 一番いい決定を選択

AIXIの残念な所

1. 計算不能
2. 他者との関係をモデル化できない。
   環境＝プログラム(計算可能)  →  環境中にAIXIが存在できない！

Unlimited Computable AI (UCAI):
"The" Computable AIXI variant AIXIの計算可能な改変

UCAI (Katayama, 2019, JAGI):

• 計算モデルを一般化 --- 型付きλ計算などで停止性を保証
  ついでにインクリメンタル学習も可。(後述)
• Lazy evaluation （遅延評価）により
  無限級数を含む式も計算可。

アルゴリズム：(AIXIと同じ)

1. 経験と矛盾しないプログラムの無限リストを保持
2. 各プログラムを確率で重み付けし，
   自分の取る各決定の価値（利得の期待値）を計算
3. 一番いい決定を選択

Unlimited Computable AI (UCAI):
"The" Computable AIXI variant AIXIの計算可能な改変

UCAI (Katayama, 2019, JAGI):

• 計算モデルを一般化 --- 型付きλ計算などで停止性を保証
  ついでにインクリメンタル学習も可。(後述)
• Lazy evaluation （遅延評価）により
  無限級数を含む式も計算可。

アルゴリズム：(AIXIと同じ)

1. 経験と矛盾しないプログラムの無限リストを保持
   • ここが大変！ でも、
   • 既に実装したものがある！
2. 各プログラムを確率で重み付けし，
   自分の取る各決定の価値（利得の期待値）を計算
3. 一番いい決定を選択

MagicHaskellerによる実装

MagicHaskeller: Inductive functional programming system / library based on generate-and-test MagicHaskeller:
生成テスト法による, 曖昧な仕様からの自動プログラミングシステム／ライブラリ

(AIXIとは独立に開発)

MagicHaskellerの実装

it just enumerates all valid programs and then tests against the spec. ライブラリ（予め定めた集合）にあるプリミティブを組み合わせて作れる、
型にあったプログラムを全て列挙して、仕様に合致しているかテスト

MagicHaskellerの特徴

• For short exprs, it is fast, because小規模プログラム合成で高速
• For longer exprs, it has an API for learning incrementally (explained later)大規模プログラムだと，インクリメンタル学習のAPIが使える!
• (NB: in this presentation, program = expression = function) (注: このプレゼンでは、 (プログラム) = (式) = (関数)
• MagicHaskeller keeps all the programs for each type as a lazy stream MagicHaskellerは, 各型に対する全てのプログラムを
  ストリーム（無限リスト）として保持

Organization of this presentation目次

• My approach to AGI in general 人間レベルの人工知能に向けて
  • 効率無視で最大限に汎用的な人工知能
  • Adding Incremental Learning インクリメンタル学習
• Experience on Round 1 of General AI Challenge General AI ChallengeのRound 1への適用
  • Introduction to the Challenge Round 1 Round 1の内容
  • 経緯
  • My Results & Reflections 結果 & 反省
• 現在の研究：気配りのできる人工知能の実現
  • 気配りのカードゲームHanabi
  • 気配りは日本人のこころ
  • 気配りできる機械の実現方法
• 最後に

Incremental Learning インクリメンタル学習とは

既に学習した結果を利用して、学習を深化

Example: learning to calculate 例: 計算を学習

Learning Programs/Behaviors Incrementally プログラム／行動のインクリメンタル学習

skill = expression in the library (= primitive) スキル = (その時々のライブラリにある)プリミティブ

Instincts and Learned Skills 本能，獲得スキル

When talking about incremental learning of programs/behaviors, プログラム／行動のインクリメンタル学習に関して

inctinct本能

expression in the initial library (set of primitives) 最初のライブラリにある式

learned skill 獲得スキル

expression not in the initial library but in the current library 最初のライブラリにはないが現在のライブラリにある式

複雑な仕組み（知覚関係とか、深層学習が得意な処理を含め）を本能として組み込める！

Organization of this presentation目次

• My approach to AGI in general 人間レベルの人工知能に向けて
  • 効率無視で最大限に汎用的な人工知能
  • Adding Incremental Learning インクリメンタル学習
• Experience on Round 1 of General AI Challenge General AI ChallengeのRound 1への適用
  • Introduction to the Challenge Round 1 Round 1の内容
  • 経緯
  • My Results & Reflections 結果 & 反省
• 現在の研究：気配りのできる人工知能の実現
  • 気配りのカードゲームHanabi
  • 気配りは日本人のこころ
  • 気配りできる機械の実現方法
• 最後に

General AI Challenge

世界初の汎用人工知能のコンテストに参加しました．

Objective of the ChallengeChallenge第1回の目的

To build an agent that

• acquires skills in a gradual manner and 少しずつスキルを獲得し
• uses existing skills to learn and solve novel tasks
  more efficiently, needing less training examples 既にあるスキルを使って、新しいタスクを、
  より効率的に、より少ない訓練例から、学習し、解く

ようなエージェントを作ること
(First Round Specification)

要はインクリメンタル学習！

Environment環境

Just see....

経緯

オフィシャルな日程：

Announcement & start アナウンス & 開始

Feb. 15, 2017 2017年2月15日

Deadline 締め切り

Aug. 14, 2017 2017年8月14日（半年後）

Results announcement 結果発表

Sep. 30, 2017 2017年9月30日

General AI Challengeについて思うこと

• 記念すべき第1回に受賞できたのはよかった．
• 「AIの汎用性を評価するコンペを作る」という運営側の挑戦(Challenge)は素晴らしい

  期待：

  適切なコンペやベンチマーク  →  その分野の飛躍的な発展

  AIでの現実：

  自分のアルゴリズムを課題に特化
  →  ぜんぜん汎用的じゃない！

• 次の課題に移る部分が（人間にとっても）不必要に難しかった。
  それまで正解だったことが 前触れなく不正解 ... 教育上よろしくない

Organization of this presentation目次

• My approach to AGI in general 人間レベルの人工知能に向けて
  • 効率無視で最大限に汎用的な人工知能
  • Adding Incremental Learning インクリメンタル学習
• Experience on Round 1 of General AI Challenge General AI ChallengeのRound 1への適用
  • Introduction to the Challenge Round 1 Round 1の内容
  • 経緯
  • My Results & Reflections 結果 & 反省
• 現在の研究：気配りのできる人工知能の実現
  • 気配りのカードゲームHanabi
  • 気配りは日本人のこころ
  • 気配りできる機械の実現方法
• 最後に

Hanabi: The card game of reading between the lines気配りのカードゲームHanabi

Hanabi: 阿吽の呼吸で協力し合いながらせっせと花火を打ち上げるゲーム
Hanabi @ Board Game Arena (BGA)

• 2〜5人のチームでプレーするソリテア.
• 1から5までの数字×5色の，25種類のカード(花火)を用いる．
• 自分の手札は，他のプレーヤー（チームメート）には見えるが，自分には見えない．
• 各ターンにおける各プレーヤーの選択肢:
  1. 自分のカード（花火）を打ち上げる
  2. 自分のカードを捨てる
  3. 他のプレーヤーの手札の色か数のヒント
     （「これとこれが青です」「これが4です」のような形式）
     を与える
• 打ち上げは，各色ごとに昇順に１まいずつ
  間違えると大惨事！

Why Hanabi matters?Hanabiのここがすごい！

• マルチプレーヤーの不完全情報ゲーム ... 難しい
• 「常識」「共通認識」に基づいて行間を読む「気配り」が必要
  ... 1980年代の第5世代コンピュータの時代からの課題
  
  （2度ヒントを与えればカードが特定できるが，）可能ヒント数 ≪ カード数
  
• DeepMindのHanabi Challenge 「Atariゲーム，囲碁に続く次のフロンティア」
  
  selfplay (クローン同士のプレー) → (アルゴリズムを特化・工夫すれば)満点に近いスコア
  
  
  他のアルゴリズムとプレーさせると破綻！

Let's Sontaku気くばりは日本人のこころ

気くばりのすすめ (1982年)

文部科学省への気配り

○蔵省（現在の財務省・金融庁）官僚が○ー○゜○しゃぶしゃぶによる接待を要求 (1998年)

(伏字は行間を読んでください)

『そろそろどうかね』『その話は夜聞こう』 → 「飲食店」での勉強会

企業での気くばり

「仕事がきつくて死にそうだけど、迷惑がかかるからやめられない」

戦時中の気くばり

特攻兵は全員志願兵

(C.f. ◎大アメフト部監督「クォーターバックを潰してこい」
→ 「思いっきりプレーして欲しいという意味だった」(2018年))

籠池氏「直接ではなかったが忖度があったと思う」(2017年)

忖度： 意向を推し量って行動すること．気くばり．

How to make a Sontak-ki忖度する機械（忖度機）の作り方

忖度：他人の思考回路・アルゴリズムを推定して最適に行動

俺アルゴリズムで普通に可能！
むしろ深層学習とかだけでやろうとすると無理（多分）

「忖度機」と命名

Concluding Remarks最後に

片山（晋）研究室（忖度研究室）への配属を考えている人がやっておくこと

• 英語力をつける
• Haskellなど関数型言語が使えるようになっておく
• LinuxなどUnix系のOSに慣れ親しんでおく
• Hanabiで遊んでおく