Deep security risk of generative AI|生成系AIの深すぎるリスク

https://govinsider.asia/intl-en/article/organisations-scarily-unprepared-for-generative-ais-security-risks-extrahop-report

Generative AI can be a very powerful supporting tool in company operations, but it continues to be compromised with little or no thought given to security.

Still, it is amazing that “81 per cent of Singaporean organisations report their employees are using generative AIs in the workplace”. Wow. workers in Singapore are basically using generative AI in the workplace. However, they are not very security conscious.

As the article points out, one major problem is the company’s sensitive information. If the information is learned by generative AIs, it can be easily leaked and spread throughout the public domain. Sure, it’s risky, as anyone can understand this.

However, companies must also be careful about so-called “hallucination.” For example, it is now common practice to have the ChatGPT write the program code, even if there are lots of materials learned on the Internet that are NOT recommended from a security perspective. In the worst cases, the malware itself may even be included in the code, and if the company uses the program without realizing it, they are in a very compromised situation.

The society is demanding security features such as a monitored environment of various AIs.

生成系AI は、会社の業務においても非常にパワフルな支援ツールになり得ますが、セキュリティに関しては ほぼ何も考えられていないという危うい状態が継続しています。

それにしても、”81 per cent of Singaporean organisations report their employees are using generative AI in the workplace”てのは凄いですね。シンガポールの労働者たちは、基本的に生成系 AI を職場で使うのがデフォの様子。ただ、セキュリティに関してはガバガバなのです。

この記事でも指摘されているように、一つの大きな問題は、会社の機微情報に関してです。これを学習させてしまうと、それが パブリックドメインで簡単に漏洩ししかも拡散するという問題が大きいですよね。これは誰でも考えればわかること。

でも、ハルシネーションに関しても 企業は気をつけないといけません。例えば、GPTにプログラムのコードを書いてもらうことは今や普通に行われていますけど、インターネットで学習した素材の中に、セキュリティ的に見てあまり推奨できないものがたくさん散らばっている場合でも、GPTはそれを学習した上でコードを作成することになります。 ひどい場合は、マルウェア自体をコードの中に盛り込む場合すらあり、それと気づかずに会社でそのプログラムを使ってしまうと、非常に危うい 状況に陥ります。

急速にモニター環境などのセキュリティ機能が求められていますね。

(image: Canva)

Leave Comment

Your email address will not be published. Required fields are marked *

1 + 19 =