金融やeコマースなどで、アルゴリズム開発に関わってきたデータサイエンティストが、AI・ビッグデータの弊害について紹介している一冊。


■AI・ビッグデータの暗黒面
現在、ビジネスから刑務所まで、社会経済のあらゆる局面の細かな管理が、設計に不備のある数理モデルによって遂行されている。それらの数学破壊兵器は、中身が不透明で、一切の疑念を許さず、説明責任を負わない。規模を拡大して運用されており、何百万人もの人々を対象に、選別し、標的を絞り、「最適化」するために使用されている。算出された結果と地に足の着いた現実とを混同することによって、有害で悪質な数学破壊兵器のフィードバックループを生み出しているものも多い。

アルゴリズムによって大量の統計処理が施され、ある人物が、採用しない方がいい候補者、リスクの高い借り手、テロリスト、無能な教師である可能性が算出される。この「可能性」はスコアに変換される。そして、時に、そのスコアが1人の人間の人生をひっくり返す。しかも、人生をひっくり返された人物が反撃に出ても、「示唆的」な証拠だけではどうにもならない。犠牲者はみな、アルゴリズムそのものに要求されるよりも遥かに高い水準で証拠を求められる。

プログラムは、ある一定の割合で誤解することを避けられない。しかし、数学破壊兵器を運用する人々は、そのようなエラーについてあまり深く考えない。

ビッグデータは過去を成文化する。ビッグデータから未来は生まれない。未来を創るには、モラルのある想像力が必要であり、そのような力を持つのは人間だけだ。私たちはアルゴリズムに、より良い価値観を明確に組み込み、私たちの倫理的な導きに従うビッグデータモデルを作り上げなければならない。それは、場合によっては利益よりも公平性を優先させる、ということでもある。

数学破壊兵器を武装解除するためには、数学破壊兵器の影響範囲や影響の大きさを測定し、アルゴリズムの監査を行う必要がある。

著者 キャシー・オニール

データサイエンティスト バーナードカレッジ教授を経て、企業に転職し、金融、リスク分析、eコマースなどの分野で、アルゴリズム作成などに従事。 ブログ「mathbabe」を開き、「ORCAA(オニール・リスク・コンサルティング&アルゴリズム・オーディティング)」を創設。