257白黒フィルム映像がカラーでよみがえる

　先日、NHKテレビで「4Kカラーでよみがえる・終戦直後の日本」という番組を見ました。「日本ニュース」という戦前戦後当時のニュースの白黒フィルムをAIの技術を使ってカラー化するといった内容でした。NHKが保有する膨大なカラー映像を、AIに学習させて、白黒フィルムをカラー化する技術の様子を分かりやすく説明していました。学習して作られたモデルの数は60に達し、そのレベルでようやく実用化に至ったとのことでした。

　その難しさについてサツマイモを例にあげて番組は展開されていきました。当時、水害で水浸しになった畑からサツマイモを掘り出す映像です。現在のサツマイモの表面の色は赤紫色が普通ですが、当時栽培していた多くのサツマイモは「沖縄100号」という品種で表面の色は白っぽかったとのことです。史実に基づいた時代考証、色考証は専門家の手を借りて修正する必要があります。忠実に当時の色を再現するためには、これら情報をAIに学習させる必要があると番組を見てその難しさを感じました。

　NHK放送技術研究所の刊行物に「貴重な白黒フィルム映像がカラーでよみがえる白黒映像の自動カラー化技術」といった記事のなかに下記の説明がありました。

 自動カラー化のメリット

　放送番組では，古い白黒フィルム映像を扱うことがあるが，この映像をカラー化することで，過去の様子をより鮮明に視聴者に伝えることができる。しかし，これまでのカラー化作業は，主に映像加工の専門家が手作業で行っており，膨大な作業時間が必要であった。そこで当所では，人工知能（AI：Artificial Intelligence）を活用した自動カラー化技術の研究を進めてきた。この技術を使うことで，これまでは数日かかっていたカラー化作業が，30秒～５分程度で行えるようになる。

自動カラー化の仕組み

　自動カラー化では，大量の学習用カラー画像を使って，さまざまな物と色の組み合わせを覚えた人工知能（AI）を使う。しかし，AIは常に実際の色と同じように着色できるとは限らない。特に，洋服や自動車など，形状は同じであっても色のバリエーションが豊富な人工物は，正確な着色が非常に困難である。一方，放送番組では，史実に基づいた適切な色でカラー化されることが求められる。そこで当所では，AIが不適切な着色を行った場合に，簡単に色を修正できる「指示つきカラー化AI」を開発した（１図略）。

放送に特化したワークフロー

　例えば，ある映像のカットをカラー化した際に，本来は赤く塗るべき車が異なる色で着色されたため，色修正が必要になったとする。この場合，指示つきカラー化AIを用いたワークフローにおいては，人間はカットを構成する静止画の中から１枚を選び，選んだ静止画内で，色修正が必要になった車（修正領域）の一部を赤く塗る。次に，修正領域を含んだ静止画をAIに入力すると，AIはその静止画を基に，カット全体の車の領域を自動で見つけ出し，車の色だけを塗り直す。このような指示つきカラー化AIを用いることで，少ない作業量でカット全体の色修正が可能になった。

　NHK技研R&D 2020年 夏号 研究所の動き　より

　現在、製造分野において、過去の膨大な製造データをAIで学習させて、品質異常の検知や歩留まり予測などの取り組みが始まっています。白黒フィルムのカラー化と同様、その道のベテラン、専門家のノウハウを如何に取り込むかで、予測精度が左右されます。AI化の大きな課題の一つだと思います。