このページは個人的なメモ書きです。何かあればご連絡ください。

• 人工知能研究においてLispが重宝されたのは、シンボル操作に長けていたことの他に、「プログラムを書くプログラム」が容易に書けるところにもあった、と理解している
  • AIを実装する上での実用的な側面もそうだが、そうした同図像性、操作そのものを表す「コード」と操作の対象たる「データ」の区別のなさや、操作の対象を自分自身に向けることが出来るという、言語としての自己言及能に、生命的なるもの、知性なるものの本質が潜んでいるんでねぇか、っていう直観もあったんじゃないかな?
  • 知らないけど

• メタより量、力こそパワー、的な風潮
• GPTはRNNすら含まない（んですかね？）
  • Transformerは前後するデータ間に対してある種のfoldはするが、RNNのように逐次的かつフィードバック的なものを持たない。並列化に優れた設計になっている
    クソデカ行列を並列的にフィードフォワードする方が今ん所は性能が出てることに、（デネットやホフスタッター的な意味で）ある種の自己参照、再帰構造にこそ知性は宿ると信じていたような往年の研究者はどう感じてらっしゃるのか、個人的に気になる

• 「今はコンピュータの能力に任せて，ただ大規模行列を逆転すればよいので，こんな凝った双対の仕組みを考える必要がない．つまらない世の中になったものである」
  甘利俊一

https://x.com/0_u0/status/1854101798958829806

• 久保田 晃弘さん
  • Transformerがあんな性能を出したことに研究者自身も驚いている