- 人間は、思考が頭の中の容量を超えると、手、身体、物の配置、スケッチ、図表、ジェスチャーのような 外的表象 に思考を世界の中へ配置し、理解を助ける
- 地図、岩刻画、百科事典の図版、時間順の画像は、現実世界をそのまま縮小するのではなく、一部の情報を選択・省略・強調して 関係と組織 を明らかにする
- 図表は、点、線、箱、矢印、余白、行と列のような 空間的装置 によって、場所、経路、カテゴリ、部分と全体、出来事の順序を表現する
- 文章や話し言葉も、語間のスペース、段落・章の区切り、時間順の配列のように、ある程度は図表的な性格を持つが、地図や図表は対象世界との 視覚-空間対応 がより豊かである
- 紙の上の図表と空中のジェスチャーはいずれも手の空間的行為から生まれ、抽象的思考を空間的行為として組織する概念として spraction が提案される
思考を世界に配置する理由
- 思考はすぐに心の限界を超えうるため、人間はそれを補強するために身の回りの物や身体を使う
- 手、身体、棒や石、コーヒーカップの配置、砂の上のスケッチ、紙ナプキンの落書きも思考の外的表象になりうる
- 長く残ってきた思考の外的表象には、洞窟壁画の動物画、石に刻まれた地図、柱や凱旋門に刻まれた歴史、墓の壁に描かれた説明や旅程、ギリシャ陶器の神話、骨に刻まれた計算の印が含まれる
- こうした表象は、自分自身または他者の思考を助けるよう設計されている
- 表面上の印や配置が思考を反映し、再び思考に影響を与える
- 図表、スケッチ、グラフィック、可視化、モデル、物質的ツール、認知ツール、認知的人工物などと呼ばれる
外的表象の設計原理
- 外的表象は自然世界の配置をそのまま複製するのではなく、設計された配置 を用いる
- 地図のように、一部の情報を含め一部を省略し、含まれた情報も単純化または誇張されることが多い
- 共同体で繰り返し使われた地図のような表象は、利用の過程で洗練され、一種の非公式なユーザーテストを経る
- こうした表象は、思考の構造がどのように視覚-空間的表現へ対応するかを示している
- アプローチは2つの経験的伝統を併用する
- 言語学のように、長い時間とさまざまな場所で作られた認知的人工物の事例を分析する
- 心理学のように、人々が意味の外的表象を作り、解釈し、使う際の規則性を実験で調べる
- 紙の上の表象と空中のジェスチャーはどちらも、手が空間で行う行為によって作られ、このつながりから spraction という概念が生まれる
地図: 世界に似ているが世界そのものではない
- 地図は、空間内の場所を表面上の印と空間関係で表した表象である
- バビロニアの粘土地図は、British Museum により紀元前700〜500年のものと推定され、現存する最古の地図のように考えられている
- この地図は厳密な地理表象だけでなく、空間と時間、地理と歴史、神話をともに混ぜ合わせている
- 場所やランドマークは点のような印や塊で、場所どうしの経路は線で表される
- 同じ情報は言葉でも表現できるが、地図は現実世界との 二次的同型性、あるいはより豊かな対応を持つ
- このため、視覚-空間表象は言葉や文よりも直接的な表象になりうる
- ただし地図は、世界を単に縮小した結果物ではない
- 多くの情報が省かれ、海岸線は滑らかに処理され、道路は見えるよう拡大されることがある
- 現代の地図のように、古代の地図も注釈を含みうる
- 地図は目的に合わせて設計される
- 特定の場所からは見えない、より大きな世界の姿を提供する
- 空間がどのように使われるか、地理が人間活動とどう相互作用するかを示す
- 経路計画、都市計画、設計に活用できる
岩刻画と図表: 描写からカテゴリと配列へ
- 最も古く残るグラフィティは、石の彫刻、洞窟壁画、墓の画像のような 岩刻画と岩絵 であり、後期石器時代の約4万年前までさかのぼる
- 各地の初期の洞窟画や岩刻画は、互いに無関係な場所で見つかっているが、形式と内容が驚くほど似ている
- Chauvet Cave の画像は約3万〜3万2千年前のものと推定される
- 重なった頭部の描写は、初期のアニメーションの試みとして解釈されることもある
- 多くの初期画像は、特定の個体よりも一般性を伝えることに近い
- 動物、棒人間、幾何学図形や象徴が自然な背景から切り離されて現れる
- 動物と棒人間は、部分、部分の構成、形態が実際の対象と対応しているため識別できる
- 形態は、個別のアイデンティティを持つ対象というより 理想化された原型 に近い
- 人は正面または側面、動物は主に側面という典型的視点で表される
- 大きさは実際の比率より、互いに近い大きさにそろえられることが多い
- 画像は概して同じ方向と姿勢を持ち、動物同士・人間同士のようにタイプ別にまとめられる
- これらの特徴は、場面描写よりも図表設計と結びつく
- 同じタイプの画像を似た大きさと方向で配置する
- 行と列、緩やかなグループ、空間的分離によって比較と並置を可能にする
- ただし岩刻画は長い時間をかけて複数の作者が制作した可能性が高く、全体をひとつの設計物とみなすのは難しい
L’Encyclopedie と図表の空間文法
- Diderot と D’Alembert の L’Encyclopedie 図版は、場面描写と図表の違いを同じページ上で示している
- Pinmaker’s Factory 図版の上部は、作業者と道具が自然な空間の中にともに置かれた活動場面である
- 部屋、壁、窓、床、扉、絵、暖炉が含まれる
- 作業者と道具は、作業を可能にする空間の中に配置されている
- 光と影は自然な光源に従う
- 下部は、道具や部品を文脈から切り離し、種類ごとに再配置した カタログ型図表 に近い
- 画像の大きさは実際の比率と異なる
- 影や陰影は自然光よりも構造的特徴を強調するために使われる
- 道具と部品はカテゴリごとにまとめられ、行と列に配列され、ほぼ均等な間隔で分けられる
- 図表は、場面から要素を抽出し再配置することで、概念的対応を明確にする
- 上段の場面は文脈化された表象である
- 下段の配列は、使用文脈から切り離した後、種類という新しい文脈に再配置した表象である
- L’Encyclopedie のページと見開きは階層的に設計されている
- ひとつの主題の情報を2ページ見開きとして統合する
- ページ、余白、線、フレーム、章や巻の区分が情報の階層構造を反映し支えている
- 文章も、語間のスペース、文と段落の区切り、新章での改ページのような 図表的視覚装置 を用いる
世界を組織する2つの方法: 部分と種類
- 図表の配列は、人々が世界を単純化し理解する2つの組織方法とかみ合っている
- 部分組織(partonomy) は、身体の部分、物体の部分、場面の部分、政府の部分のように、全体を構成要素の階層へと分ける
- 分類組織(taxonomy) は、動物の種類、植物の種類、道具の種類、楽器の種類のように、外形と機能を共有するものをまとめる
- 場面に対する人々の部分組織には、その場面によく現れる人、物、活動が含まれる
- Pinmaker’s Factory のある作業者は車輪で糸を巻く
- 別の場面のパン職人はスプーンで生地を混ぜ、仕立て屋はハサミで布を切る
- 紙とハサミ、ハンマーと釘、ナイフとパンのように、相互作用的に一緒に使われる物のまとまりは 主題的組織 と呼ばれる
- ここに行為者を加えると基礎的な場面になる
- 古代の岩刻画で繰り返し現れる主題的組織のひとつは、狩人と獲物である
時間と出来事を配列する図表
- 出来事を時間順にまとめ、意味のある単位にすることも、経験を組織する一般的な方法である
- Muybridge と Marey の連続写真は、人間や動物の動きを静止画像の連鎖として示す
- 画像は読む方向に沿って水平に配列され、映画への道を開いた
- 紀元前15世紀のエジプト、Thebes の天文学者 Nakht の墓の壁画は、種まきと収穫を示す出来事配列の古代の例である
- この場合、出来事は水平に並べられるが、まれに下から上へ順序が組織されている
- 墓、柱、凱旋門、フリーズ、巻物の視覚的な物語・歴史・説明は、関連する行為の統合された連鎖を線形配列で示す
- 連続する人間活動の流れを、主要な出来事や説明段階へと分節化する
- 場面は行や列に配列されることが多く、常にではないが時間順に従う
- 出来事図表は、描写要素だけでなく、単語、象徴、フレームのような 非描写的グラフィック要素 も含む
- ステンドグラスの窓、カメラの使用説明書、組み立て家具の案内、科学教科書の視覚的説明、漫画が例である
- グラフィックノベルや漫画は、時間の中の出来事を伝えることをひとつの芸術形式へと発展させた
点と線: 経路地図と道案内の実験
- 地図、岩刻画、墓の壁画、製造図版は、世界の物・場面・出来事を精選し再配列して関係を示す ボトムアップの図表 と見なせる
- 実験研究は、人々が異なる意味を持つ図表を作り、理解し、使う方法を調べる
- 単純な幾何学形状である点、線、箱、矢印は文脈に応じて意味を持つ
- その意味は各形状の幾何学的特性と結びついている
- 道順を説明する課題は、言語による案内とスケッチ地図の平行性を示す例である
- 寮の学生に地域のファストフード店までの行き方を知っているか尋ね、知っている場合はスケッチ地図を描くか道案内を書くよう求めた
- 地図と道案内を分節化して符号化した結果、両者は少数の意味単位を共有していた
- ランドマークは地図では点のような印として、道案内では名称として表現される
- 経路は線の変形として表され、点と線はいずれも具体的世界に基づいている
- 遠くから見た場所は点のように見え、遠くから見た道は線のように見える
1件のコメント
Hacker News のコメント
https://consc.net/papers/extended.html
このアイデアは、私のお気に入りの小説「Jonathan Strange and Mr. Norrel」にも、興味深い側面の一つとして登場する
https://joeldueck.com/mind-palaces.html
推測だが、脳の中にも、あるテーマを反芻して考えられるようにする、より小さなループがあるのだと思う。ただし、そのようなループは、アクセス可能なニューロン数や反復間の忠実度が外部ツールほど高くないかもしれない。こうした自己刺激的な再帰がなければ、私たちの推論はすべて感覚から運動までの一回の通過で終わるということになるが、それはあまりありそうにない
同じニューラルネットワークを何度も適用し、反復のあいだを記憶で受け渡す方式は、人間において記憶と他の知能要素が相関する理由も説明してくれる。機械は、たとえばメモリ容量とは独立に FLOPS を持つことができる
Amos Tversky が早くに亡くなった後、Barbara Tversky と、同じく配偶者を失った Daniel Kahneman は、数週間前に Kahneman が亡くなるまで伴侶だった
[0] https://en.wikipedia.org/wiki/Barbara_Tversky
[1] https://en.wikipedia.org/wiki/The_Undoing_Project
https://pubmed.ncbi.nlm.nih.gov/12613670/
このアイデアに関する先行研究がここであまり引用されていないのは意外だ
厳密に定義された専門用語の技術的な神秘性に頼りながら、実際には適用されない文脈で使っているのは、提示されたアイデアに中身が足りない兆候かもしれない。だから著者が意図的にぼかしているように見える
後者は図の下側のように、重要な要素を文脈の外へ引き出し、その原理を帰納に頼らず明示的かつ明確に伝えようとする方式だ
「祖先たちが君に遺したものを、君が所有するには新たに獲得しなければならない。」— JWvG、ISR 引用
「古代の思考の噴出」とあるが、口承史もある
結局、媒体を使って認知を助けるという話なのに、口述媒体に触れていないのは奇妙だ