日本ではTwitterの凍結祭りが話題になっており、様々な憶測が飛び交っていますね。

恣意的なものだ、政治的な意図があるという声もありましたが、NGワードを使用すると機械的に凍結されてしまうようです。何らかの意図があるというよりも、キーワードやフレーズによって自動的に実行されてしまう、そして、Twitterの中に日本語を理解する自然言語解析の専門家やエンジニアが少ないため、ツールが日本語の文脈や意図を理解した上で分析するレベルに至っていない、というのが内情のようです。

このあたりの内情は、アメリカでTwitterに勤務されているエンジニアの　@psychs　さんの発言が参考になるでしょう。

凍結祭り。これは別に悪意があってやってるんではなくて、日本の文化をわかってるエンジニアがそもそも少なくて、ぜんぜん手が回ってないから起こる問題なんだよなぁ。日本人のやる気があるエンジニアの人、入社して手伝ってくれないかな。

— Satoshí Nakagawa (@Psychs) September 28, 2017

いま中にいる日本人のエンジニア達で、完全に権限外で無理を承知でできるだけのことはしようとしてて、一時的にはどうにかできるかも知れないけど持続的にはどうにもならない。日本の文化がわかってる人が適切な場所にいないと理解も広がらない。

— Satoshí Nakagawa (@Psychs) September 28, 2017

日本支社に突撃したり外から日本語で文句を言ってたら誰かが直してくれるかっていうとそんなことはなくて、適切な場所にうまいロジックを作って話を持っていかないといつまで経っても直らない。

— Satoshí Nakagawa (@Psychs) September 28, 2017

みんな、Twitter に入社して気に入らないところを直そう！

— Satoshí Nakagawa (@Psychs) September 28, 2017

Twitterのツールは時間がたてばデータが蓄積され、品質が改善していくとは思うのですが、今回の件は、AI時代における日本人の立ち位置に関して重要な示唆があります。

AIも自然言語解析ツールやテキストマイニングのように、質の良いデータが大量に投入され、それらのデータが、妥当なアウトプットを産み出すには適切にチューニングされる必要があります。つまり、データが集まらず、適切なチューニングなしでは、ひどい結果を押し付けられてしまうこともある、ということです。

例えば日本人向けの融資サービスを仲介するAIに、中国沿岸部の消費者の行動パターンから得られたデータを使用して、ブルガリアのエンジニアがパラメーターを設定した場合どうなるか。日本人借り手の就労パターンや消費パターンは無視され、理不尽な融資状況を飲まざる得ない状況になるかもしれません。インタフェースがローカライズされないという問題とは桁が違う影響が起きます。

そういうサービスが独占的な力を持っている場合、日本人には文句をいってパラメーターを改善させる力も、判断に使用されたデータソースの総意を指摘することはできません。

IT業界は多国籍化が進んでいるので、ある国向けのサービスに、その国出身の人が一人もかかわらない、ということもあります。それなりのリターンが得られなければ、その国の商習慣なり消費者行動を熟知しているような人間を探してきて担当させるような面倒なことはしませんし、何分スピードが重要ですからそんな隙がない。そもそも日本人で英語が堪能で、グローバルな環境で他国人と並列に働けるような人は限られていますから、お金を積んでもみつからない場合もありますね。

これは私が経験してきた現場でも顕著でした。日本向け市場は言語も商習慣も特殊で、そのわりにはリターンが少ないため撤退、ということもよくありました。

これまでは、日本人が英語圏なり海外に出向き、現地の技術なりビジネスモデルを学んで、それをタイムマシンモデルで日本に持ってきて商売するというパターンが多かったので、海外のIT業界に日本人が少ないことは問題になりませんでしたけれども、AIやIoTの世界では逆になります。

日本は後発組どころか存在感すら薄いですから、海外発のサービスが日本でも使われるようになっていくのでしょう。ローカライズはある程度されるでしょうが、少子高齢化で人口も市場も縮小していく日本向けに丁寧な作業はしないでしょう。

データやアルゴリズムが支配する世界において、言語的、文化的少数派になるということは、実は大変恐ろしいことなのです。それを象徴しているのが凍結騒ぎです。