自分の下着姿や裸の画像を他人に送信してしまう子どもは後を絶たず、近年、増加傾向にある。こうした中、藤田医科大学、愛知県警、スマートブックス株式会社は連携して、子どもの”わいせつな自撮り画像”をAIで検知、削除を子どもに推奨するスマートフォンアプリ「コドマモ」を開発し、3月30日に提供を開始した。利用は無料で、使い方は、まず親のスマホに「コドマモ」、子どものスマホに「コドマモ for Kids」をインストールする。
そして、子どものスマホ上でわいせつな可能性のある画像が撮影された場合、AIが自動で検知して保護者のスマホに通知を送り、子どもには削除を促す。子どもがSNSなどで、そうした自撮りを送信するのを防ぐことが狙いだ。また、保護者からのニーズに応える形で、スマホの位置情報によって、子どもがどこにいるのかリアルタイムで確認する機能も実装した。わいせつな可能性のある画像をAIが自動で検知するということだが、一体、どのような仕組みなのか？ また、わいせつな可能性があるかどうかは、AIがどのように判断するのか？スマートブックス株式会社の社長、冨田直人さんに仕組みとリリース後の反響を聞いた。AIが4万枚以上の画像を学習――「コドマモ」を開発した理由は？愛知県警から、私が関わりのある、東海発のアントレプレナーシップ教育・起業家支援プログラム「Tongali」や藤田医科大学に、子どもの自撮り被害の現状に関する相談があり、そういった被害を一人でも減らすために、開発を始めました。――「わいせつな自撮り」は、どのように検知する？子どもが自撮りをすると、画像が写真フォルダに保存されます。写真フォルダに新しい画像が追加された際に、それが「性的な自撮りではないか」をAIが自動でチェックする、という仕組みです。AIはアプリをダウンロードする際に一緒にダウンロードされているため、ネット通信なしで、私たちのサーバーをまったく使用せずに検知を行う仕組みになっており、子どもの画像のプライバシーが確保されています。――「性的な自撮りかどうか」は、AIがどのように判断する？4万枚以上の画像の学習結果で得られたアルゴリズムをもとに、機械学習の手法でAIが自動で判断しています。――「性的な自撮りかどうか」の判断基準は？現在は、性器が露出している画像だけでなく、水着や下着など肌の露出が多い画像に関しても検知を行うようにAIの設定をしています。今後は、保護者が「水着や下着は検知しないようにする」など、検知の度合いを選べるようにしたり、危険度のレベル分け（高/中/低）をしたりして、お知らせをする予定です。今後”子どもを守るため”の機能は増えていく――リリース後の反響は？国内外のメディアの方々からのお問い合わせや、ユーザーの方からアプリの使い方の質問などをいただいております。ユーザーの方から新規機能のリクエストなどもいただいているので、開発に反映させていく予定です。――今後、”子どもを守るため”の機能は増えていく？今後はAIを活用しながら、以下の機能を実装する予定です。・子どものアプリ利用時間の制限時間のリコメンド（おすすめ）・保護者のスマホから、簡単にアプリの利用時間をコントロールできる「スクリーンタイム管理機能」・子どものSNSにおける、いじめや犯罪、個人情報、自殺など、危険なメッセージのやり取りや投稿の検知・勝手な課金の防止・わいせつな自撮り動画の検知・設定した場所（塾など）に子どもが着いたら、自動でお知らせ・迷子になっていると思われる、異常なルート移動の検知・AIを活用した、高いクオリティの危険なウェブサイトの制限（フィルタリング）――機能が増えると、有料になる？今後、新機能など、一部を有料化する可能性があります。ただ、インストールは無料、基本的な機能も引き続き、無料でご提供させていただく予定です。子どものわいせつな自撮り画像をAIで検知、削除を子どもに推奨するこの無料アプリ。子どもにスマホを持たせていて「被害にあうのが心配」と感じている人は、ぜひ、試しにインストールしてみてはいかがだろうか。
自分の下着姿や裸の画像を他人に送信してしまう子どもは後を絶たず、近年、増加傾向にある。
こうした中、藤田医科大学、愛知県警、スマートブックス株式会社は連携して、子どもの”わいせつな自撮り画像”をAIで検知、削除を子どもに推奨するスマートフォンアプリ「コドマモ」を開発し、3月30日に提供を開始した。
利用は無料で、使い方は、まず親のスマホに「コドマモ」、子どものスマホに「コドマモ for Kids」をインストールする。
そして、子どものスマホ上でわいせつな可能性のある画像が撮影された場合、AIが自動で検知して保護者のスマホに通知を送り、子どもには削除を促す。子どもがSNSなどで、そうした自撮りを送信するのを防ぐことが狙いだ。
また、保護者からのニーズに応える形で、スマホの位置情報によって、子どもがどこにいるのかリアルタイムで確認する機能も実装した。
わいせつな可能性のある画像をAIが自動で検知するということだが、一体、どのような仕組みなのか？ また、わいせつな可能性があるかどうかは、AIがどのように判断するのか？
スマートブックス株式会社の社長、冨田直人さんに仕組みとリリース後の反響を聞いた。
――「コドマモ」を開発した理由は？
愛知県警から、私が関わりのある、東海発のアントレプレナーシップ教育・起業家支援プログラム「Tongali」や藤田医科大学に、子どもの自撮り被害の現状に関する相談があり、そういった被害を一人でも減らすために、開発を始めました。
――「わいせつな自撮り」は、どのように検知する？
子どもが自撮りをすると、画像が写真フォルダに保存されます。写真フォルダに新しい画像が追加された際に、それが「性的な自撮りではないか」をAIが自動でチェックする、という仕組みです。
AIはアプリをダウンロードする際に一緒にダウンロードされているため、ネット通信なしで、私たちのサーバーをまったく使用せずに検知を行う仕組みになっており、子どもの画像のプライバシーが確保されています。
――「性的な自撮りかどうか」は、AIがどのように判断する？
4万枚以上の画像の学習結果で得られたアルゴリズムをもとに、機械学習の手法でAIが自動で判断しています。
――「性的な自撮りかどうか」の判断基準は？
現在は、性器が露出している画像だけでなく、水着や下着など肌の露出が多い画像に関しても検知を行うようにAIの設定をしています。
今後は、保護者が「水着や下着は検知しないようにする」など、検知の度合いを選べるようにしたり、危険度のレベル分け（高/中/低）をしたりして、お知らせをする予定です。
――リリース後の反響は？
国内外のメディアの方々からのお問い合わせや、ユーザーの方からアプリの使い方の質問などをいただいております。
ユーザーの方から新規機能のリクエストなどもいただいているので、開発に反映させていく予定です。
――今後、”子どもを守るため”の機能は増えていく？
今後はAIを活用しながら、以下の機能を実装する予定です。
・子どものアプリ利用時間の制限時間のリコメンド（おすすめ）・保護者のスマホから、簡単にアプリの利用時間をコントロールできる「スクリーンタイム管理機能」・子どものSNSにおける、いじめや犯罪、個人情報、自殺など、危険なメッセージのやり取りや投稿の検知・勝手な課金の防止・わいせつな自撮り動画の検知・設定した場所（塾など）に子どもが着いたら、自動でお知らせ・迷子になっていると思われる、異常なルート移動の検知・AIを活用した、高いクオリティの危険なウェブサイトの制限（フィルタリング）
――機能が増えると、有料になる？
子どものわいせつな自撮り画像をAIで検知、削除を子どもに推奨するこの無料アプリ。子どもにスマホを持たせていて「被害にあうのが心配」と感じている人は、ぜひ、試しにインストールしてみてはいかがだろうか。