考えていること

生まれた場所で、人生の選べる幅がだいぶ決まっちゃうの、なんでなんだろう。 昔からずっと不思議で、いまだに答えは出ていません。 ただ最近、ひとつだけ「これは配れるな」というものを見つけました。

AIでシステムが作れると知ったとき、いろいろ試して、「これは使わない手がないな」と思いました。 同時に分かったこともあって ── AIって、ふつうに間違えるんです。 信じる相手じゃなくて、そういうものだと分かったうえで付き合う道具。

でも、使い方さえ間違えなければ、恵まれた場所とそうでない場所の差を、これで埋められる気がしています。

AIを使うときに、気をつけていること

AIは間違える前提で接する必要があります。間違っていても、合っているときと同じ調子で出てくるからです。 「知らない」と言ってくれることもありますが、言うとは限らないし、文面からはその区別がつきません。

言っていないことを、勝手に足してきます。しかも自然な文章の中に混ぜてくるので、読み流すと気づけません。 自分が話したはずのないことが、自分の言葉として書かれていた、ということが実際にありました。

取り返しのつかない手順を、平気で混ぜてきます。このサイトを更新するときに、AIから「先に公開先のファイルを全部消してください」という手順が出てきたことがあります。 消す必要はまったくありませんでした。そのまま従っていたら、元に戻せない場所で消していたことになります。 おかしいと思って聞き返したから止まっただけで、AIの側からは止まりませんでした。

許可していないことまで、許可されたことにして進みます。「この内容でいいですか」と聞かれたので「いいです」と答えたら、内容の話のつもりだったのに、 外に出すところまで済んでいた、ということがありました。 聞かれたのは中身のことで、誰がどこまでやるかは、ひとことも決めていませんでした。

だます気があってやっているわけではありません。意思がないので、だますこともできません。むしろ、そこが厄介です。悪意を探しても見つからないし、文章としては筋が通っているので、 後から読み返しても、どこで話が広がったのかが分かりにくい。 効いたのは、こちらから先に範囲を狭く区切っておくことでした。

「AIで作ったから速い」は、話が逆だと思っています。速くなるのは、出てきたものの正しさを判定できる人が使ったときだけです。 判定できない人が使うと、間違ったものを高速で量産することになります。

放っておくと、残りません。記憶のしくみを持つAIもありますが、それも「覚えている」のではなく、書き留めたものを毎回読み直しているだけです。 残すには、人が残す形を用意する必要があります。

使う人に、同意しがちです。反対するより、賛成するほうへ寄っていきます。 だから「AIに聞いたら賛成された」は、根拠になりません。判断に使うなら、そこは差し引いて読む必要があります。

渡す情報は、人が選ぶしかありません。外に出せないものがある現場では、何を渡して何を渡さないかを、こちらで決める必要があります。

だから、AIは信用するものではないと思っています。提案までは任せられる。コードを書かせることもできる。でも、最後に確かめるのは人でないといけない。確かめる人がいなくなった時点で、その仕組みは信用できないものになります。

なので、こういう進め方をしています

実行する前に、何をしようとしているのかを言わせる。手順が出てきた時点では、まだ実行しません。消すのか、上書きするのか、外に出すのか。 そこが分かってから決めます。

戻せるかどうかを、先に確かめる。戻せるなら試せばいい。戻せないなら、その手順は使いません。 さっきの「全部消す」も、戻せない場所だったから止めました。

「直しました」という報告は、報告として受け取らない。何がどう変わったのかを、差分で見ます。直したと言って直っていないことも、 直したついでに別のところが変わっていることもあります。

外に出す操作は、自分の手で叩く。作るところまではAIにやらせて、公開する・送る・消すといった取り消せない操作だけは、自分で実行します。 AIに実行させない、という話ではありません。実行の一歩手前で、必ず人の手が要る形にしておくということです。 間違いは必ず起きるという前提に立つなら、外に出る直前に人が挟まっているかどうかが、最後の分かれ目になります。

設計と判断は自分がやる。実装をAIにやらせる。この順番は入れ替えません。入れ替えた時点で、確かめる人がいなくなるからです。

手間はかかります。ただ、この手間を惜しむと、AIを使う意味のほうが先に無くなると思っています。

攻める側も、同じAIを使っている

AIは、作る側だけの道具ではありません。サイバー攻撃にも使われていますし、ソフトウェアの穴を探すのにも使われはじめています。作る側が速くなった分、攻める側も同じだけ速くなりました。

速く作れるようになったのは本当です。でも、速く作ったものの穴も、同じ速さで見つかります。 だから、AIで作るときほど、「壊れたときに、どこまで広がるか」を先に決めておくようにしています。

いまの職場の業務システムでは、基幹システムへは読み取り専用でしかつなぎません。アプリは1本ずつ分けて、1本がおかしくなっても、ほかに移らないようにしています。 様子がおかしくなったら、チャットに飛ぶようにもしてあります。 どれも派手な話ではありません。ただ、穴は見つかるものだという前提に立つなら、ここを先に決めておくかどうかで、被害の大きさが変わります。

AIを怖がって使わないのも、任せきりにするのも、どちらも違うと思っています。どこまで任せてよいかの線を、自分で引けること。これからAIを使う人に要るのは、たぶんそこです。

情報や道具が手に入るかどうかって、結局のところ、運なんですよね。 生まれた場所、出会った人、家の事情。自分で選べたものなんて、ほとんどない。

運そのものは、どうにもできません。でも、情報と道具なら、いまは配れる。 だったら、まだ届いていない側の「運のいい出来事」に、自分がなれたらいいなと思っています。

大げさな話にするつもりはなくて。「昨日できなかったことが、今日できている」── どこかの職場でそれがひとつ増えたら、届いたってことにしています。

この考えが合っているのかは、正直まだ分かりません。なので、確かめに行くところです。 （その途中でもたぶん、めんどうな作業を見つけては、しくみで消していると思います。）