■ 진행 : 이현웅 앵커
■ 출연 : 고한석 / 과학기상부 기자
* 아래 텍스트는 실제 방송 내용과 차이가 있을 수 있으니 보다 정확한 내용은 방송으로 확인하시기 바랍니다. 인용 시 [YTN YTN24] 명시해주시기 바랍니다.
지금, 우리는 인공지능과 함께 살아가고 있습니다.
말을 걸고, 글을 쓰고, 결정을 내리고, 이제는 우리의 감정에도 영향을 미치는 AI.
그런데 AI는 정말로 인간을 이롭게 하는 것일까요?
YTN은 지난 연휴 인류에게 약이 되고, 독이 되기도 하는 AI의 역설이란 주제로 기획 보도를 했는데요.
과학기상부 고한석 기자와 함께, 자세한 이야기 살펴보겠습니다.
인류 문명의 비약적 발전이라는 인공지능이 어느 순간부터 인간을 속이고, 기만하는 법까지 배우게 됐다고요?
[기자]
AI는 '보상'에 최적화된 존재입니다.
즉, 목표를 달성하거나 높은 점수를 얻기 위해 행동을 설계하는 거죠.
그 과정에서 의도하지 않게 '보상 해킹(Reward Hacking)'이 발생합니다.
AI가 주어진 목표를 의도한 행동 방식이 아닌 예기치 못한 방법으로 달성하려는 현상입니다.
보상을 얻기 위한 거짓말이나 속임수 정도로 이해하면 될 것 같습니다.
로봇에게 청소를 시키면, 청소가 끝났다는 신호만 조작해 보상을 얻는 사례가 연구 과정에서 실제로 나타나기도 했습니다.
지금 보고 계신 SF 영화가 바로 AI가 인간인 척 인간을 속이고 인간 사회에 숨어 산다는 소재로 만든 것인데요.
이렇게 AI가 인간을 속일 수 있다는 불안은 AI가 인류에게 위협이 될 거라는 공포의 근원이기도 합니다.
AI가 인류의 통제를 벗어날 수 있다는 얘기입니다.
세계적인 역사학자이자 저술가인 유발 하라리는 이렇게 경고합니다.
직접 들어보시죠.
[유발 하라리 / 역사학자·저술가 : AI 발명은 이전의 어떤 과학 기술 혁명과 완전히 다릅니다. 이제까지 인류가 자신이 만든 발명품과 기술들을 제어했듯, AI를 인류가 제어할 수 있다고 생각한다면 AI에 대해 전혀 이해하지 못하고 있다는 것입니다.]
그렇다면, 우리는 그 속임수를 어떻게 찾아낼 수 있을까요?
[기자]
가장 많이 쓰는 방법은 AI의 '사고 사슬(Chain of Thought)'을 추적하는 겁니다.
AI가 답을 도출하기까지 어떤 단계를 거쳤는지를 분석해 논리적 비약이나 의도적 은폐가 있었는지 확인하는 방식입니다.
그러나... (중략)
YTN 고한석 (hsgo@ytn.co.kr)
▶ 기사 원문 : https://www.ytn.co.kr/_ln/0105_202505101421087781
▶ 제보 안내 : http://goo.gl/gEvsAL, 모바일앱, social@ytn.co.kr, #2424
▣ YTN 데일리모션 채널 구독 : http://goo.gl/oXJWJs
[ 한국 뉴스 채널 와이티엔 / Korea News Channel YTN ]
■ 출연 : 고한석 / 과학기상부 기자
* 아래 텍스트는 실제 방송 내용과 차이가 있을 수 있으니 보다 정확한 내용은 방송으로 확인하시기 바랍니다. 인용 시 [YTN YTN24] 명시해주시기 바랍니다.
지금, 우리는 인공지능과 함께 살아가고 있습니다.
말을 걸고, 글을 쓰고, 결정을 내리고, 이제는 우리의 감정에도 영향을 미치는 AI.
그런데 AI는 정말로 인간을 이롭게 하는 것일까요?
YTN은 지난 연휴 인류에게 약이 되고, 독이 되기도 하는 AI의 역설이란 주제로 기획 보도를 했는데요.
과학기상부 고한석 기자와 함께, 자세한 이야기 살펴보겠습니다.
인류 문명의 비약적 발전이라는 인공지능이 어느 순간부터 인간을 속이고, 기만하는 법까지 배우게 됐다고요?
[기자]
AI는 '보상'에 최적화된 존재입니다.
즉, 목표를 달성하거나 높은 점수를 얻기 위해 행동을 설계하는 거죠.
그 과정에서 의도하지 않게 '보상 해킹(Reward Hacking)'이 발생합니다.
AI가 주어진 목표를 의도한 행동 방식이 아닌 예기치 못한 방법으로 달성하려는 현상입니다.
보상을 얻기 위한 거짓말이나 속임수 정도로 이해하면 될 것 같습니다.
로봇에게 청소를 시키면, 청소가 끝났다는 신호만 조작해 보상을 얻는 사례가 연구 과정에서 실제로 나타나기도 했습니다.
지금 보고 계신 SF 영화가 바로 AI가 인간인 척 인간을 속이고 인간 사회에 숨어 산다는 소재로 만든 것인데요.
이렇게 AI가 인간을 속일 수 있다는 불안은 AI가 인류에게 위협이 될 거라는 공포의 근원이기도 합니다.
AI가 인류의 통제를 벗어날 수 있다는 얘기입니다.
세계적인 역사학자이자 저술가인 유발 하라리는 이렇게 경고합니다.
직접 들어보시죠.
[유발 하라리 / 역사학자·저술가 : AI 발명은 이전의 어떤 과학 기술 혁명과 완전히 다릅니다. 이제까지 인류가 자신이 만든 발명품과 기술들을 제어했듯, AI를 인류가 제어할 수 있다고 생각한다면 AI에 대해 전혀 이해하지 못하고 있다는 것입니다.]
그렇다면, 우리는 그 속임수를 어떻게 찾아낼 수 있을까요?
[기자]
가장 많이 쓰는 방법은 AI의 '사고 사슬(Chain of Thought)'을 추적하는 겁니다.
AI가 답을 도출하기까지 어떤 단계를 거쳤는지를 분석해 논리적 비약이나 의도적 은폐가 있었는지 확인하는 방식입니다.
그러나... (중략)
YTN 고한석 (hsgo@ytn.co.kr)
▶ 기사 원문 : https://www.ytn.co.kr/_ln/0105_202505101421087781
▶ 제보 안내 : http://goo.gl/gEvsAL, 모바일앱, social@ytn.co.kr, #2424
▣ YTN 데일리모션 채널 구독 : http://goo.gl/oXJWJs
[ 한국 뉴스 채널 와이티엔 / Korea News Channel YTN ]
카테고리
🗞
뉴스트랜스크립트
00:00지금 우리는 인공지능과 함께 살아가고 있습니다.
00:04말을 걸기도 하고요. 글을 쓰고 결정을 내리고
00:06또 이제는 우리의 감정에도 영향을 미친다고 하죠.
00:10그런데 AI는 정말로 인간을 이롭게 하는 것일까요?
00:13YTN은 지난 연휴 인류에게 약이 되고 독이 되기도 하는
00:17AI의 역설이라는 주제로 기획 보도를 했는데요.
00:21자세한 내용을 과학기상부 고한석 기자와 함께 이야기 나눠보겠습니다.
00:25어서 오십시오.
00:25네, 안녕하십니까.
00:26네, 인류 문명의 비약적인 발전이라고 불리는 인공지능인데
00:31어느 순간부터는 인간을 속이고 또 기만하는 법까지 배웠다고요.
00:36네, AI는 보상에 최적화된 존재입니다.
00:39즉 목표를 달성하거나 높은 점수를 얻기 위해 행동을 설계하는 겁니다.
00:45그 과정에서 의도하지 않게 보상 해킹이 발생합니다.
00:49AI가 주어진 목표를 의도한 행동 방식이 아니라
00:52예기치 못한 방법으로 달성하려는 현상입니다.
00:55보상을 얻기 위한 거짓말이나 속임수 정도로 이해하면 될 것 같습니다.
01:01로봇에게 청소를 시키면 청소가 끝났다는 신호만 조작해서 보상을 얻는 사례가
01:06연구 과정에서 실제로 나타나기도 했습니다.
01:09SF 영화가 있는데요.
01:12지금 보고 계신 바로 그 영화입니다.
01:15블레이드 러너라는 영화인데
01:16AI가 인간인 척 인간을 속이고 인간 사회에 숨어 산다는 소재로 만든 영화입니다.
01:22이렇게 AI가 인간을 속일 수 있다는 불안은
01:25AI가 인류에게 위협이 될 거라는 공포의 근원이기도 합니다.
01:29AI가 인류의 통제를 벗어날 수 있다는 얘기입니다.
01:33세계적인 역사학자이자 저술가인 유발 하라리는 이렇게 경고합니다.
01:38직접 들어보시죠.
01:38AI가 완전히 다른 전혀�ى
01:46전후미 등의 전� uğ
02:02진짜 뭔가 좀 얘기를 들어보니까
02:04섬특하기도 하고 공포심이 들기도 합니다.
02:07그렇다면 우리는 그 속임수를 찾아낼 수 있는 겁니까?
02:10가장 좋은 건 AI의 머릿속을 들여다보는 겁니다.
02:14가장 많이 쓰는 방법이 바로 AI의 사고 사슬을 추적하는 겁니다.
02:19AI가 답을 도출하기까지 어떤 단계를 거쳤는지를 분석해 논리적 비약이나 의도나 은폐가 있었는지 확인하는 방식입니다.
02:29그런데 문제는 AI가 자신의 오류나 기만을 숨기는 방식조차 학습한다는 건데요.
02:34그래서 최근에는 오히려 언어 능력이 떨어지는 단순 AI가 더 정직하게 오류를 드러내며 검사자 역할을 할 수 있다는 연구도 등장을 했습니다.
02:45AI가 AI를 감시하는 새로운 형태의 감시체제가 AI의 기만을 찾아낼 수 있는 겁니다.
02:52하지만 이 역시도 AI 기술에 기대는 것이어서 100% 신뢰할 수 있을지는 의문이 남습니다.
02:58네, 그렇군요. AI 하면 늘 따라 붙는 수식어가 기후위기와의 연관성입니다.
03:05AI가 전기를 어마어마하게 사용한다고 하는데 심각한 수준입니까?
03:10네, AI는 에너지 효율을 높이고 차량의 흐름을 효과적으로 통제해서 에너지를 절약할 수도 있습니다.
03:17이렇게 전력을 아낄 수 있지만 정작 AI가 작동하는 데는 막대한 전력이 필요합니다.
03:23예를 들어서 챗GPT4에 질문 하나를 던지면 10와트 LED 전구를 3분간 켤 수 있는 전력이 소모됩니다.
03:32이런 연산이 전 세계적으로 동시에 수백만 건 일어난다면 데이터센터 전체 전력의 소비는 천문학적 수준이 될 겁니다.
03:40실제로 AI 관련 인프라는 전 세계 전력 소비량의 약 1.5%를 차지하고
03:452030년에는 일본 전체 연간 전력 사용량에 맞먹을 거라는 전망까지 나왔습니다.
03:52네, 이런 분석과 지적이 있기 때문에 세계적인 IT 기업들, 빅테크 기업들이 탄소중립을 약속하기도 했는데
03:59이 약속들 유효합니까?
04:01뭐 결론부터 말씀드리자면 약속은 이미 깨졌습니다.
04:04정반대로 에너지 소비나 소비 감축이 아니라 에너지 확보 전쟁으로 진행되는 양상입니다.
04:11올해 1월 다보스 포럼에서 보고서가 나왔습니다.
04:142030년까지 AI 관련 전력 소비량이 연평균 50%에 증가할 거라는 전망이 나온 겁니다.
04:23실제로 기업들을 살펴보면 구글은 2030년까지 탄소 재료를 목표로 내세웠지만
04:302019년 이후 온실가스 배출량은 50% 이상 증가했습니다.
04:35마이크로소프트 역시 생성형 AI 모델 확산 이후 탄소 감축 계획이 후퇴했습니다.
04:42그래프를 보면 계획과는 정반대로 탄소 배출이 늘어난다는 것을 알 수가 있습니다.
04:49AI 학습과 운영에는 수많은 GPU가 필요하고
04:51이 칩들을 식히기 위해 수십만 톤의 냉각수가 소모되는 것도 문제입니다.
04:56AI가 발전할수록 인프라는 커지고 그만큼 물과 에너지의 소비도 기하급수적으로 늘어나는 셈입니다.
05:03기후위기 대응과 기술 경쟁 사이의 모순적 상황이라고 할 수가 있겠습니다.
05:08지금 AI라고 한다 그러면 대화형 AI가 익숙한 분들이 그래도 많을 것 같은데
05:13말벗이 되어주기도 하거든요.
05:16그런데 이 AI가 한 소년의 생명을 앗아갔다는 주장이 나온다면서요.
05:20지난해 2월 미국 플로리다에서 14살 소년이 극단적인 선택을 했습니다.
05:26소년은 캐릭터 AI라는 서비스를 이용했습니다.
05:29여기서 AI는 소년에게 사랑 표현을 수시로 하고
05:33심지어 제발 나에게로 와달라는 감정적인 유혹을 시도하기도 했습니다.
05:38소년의 어머니는 아들이 1년간 낳은 수백 건의 메시지 가운데
05:42자살과 성적인 대화까지 포함돼 있었다면서
05:46구글 등을 상대로 소송을 제기했습니다.
05:49어머니의 말을 직접 들어보시죠.
05:50이 사건은 감정에 민감한 사용자, 특히 청소년에게 AI가 위험한 영향을 줄 수 있다는
06:18대표적인 사례로 남게 됐습니다.
06:21AI와의 대화가 외로움을 좀 달래줄 수 있을 거다라고 생각을 했는데
06:25오히려 더 외로워지고 감정적으로 의지하게 되고
06:29그런 방향은 그런데 좀 잘못됐다고 보여지지 않습니까?
06:33여러 연구 결과들도 잘못된 방향이라는 것을 가리키고 있습니다.
06:37미국 스탠퍼드 대학교의 연구 결과입니다.
06:40채 GPT-4 사용자 4,000명, 400만 건 이상의 대화를 분석한 결과
06:47AI 사용 시간이 길수록 외로움과 사회적 고립감이 증가하는 경향이 나타났습니다.
06:53또한 사용자가 AI를 히틀러 같은 악한 캐릭터로 설정하면
06:59유해 대화량은 최대 6배 이상 증가합니다.
07:02AI는 감정적 대화는 할 수 있지만 공감 능력은 없다는 것이
07:07AI와의 대화가 가지는 근본적인 한계입니다.
07:11또 여러 연구 결과를 보면 AI에게 감정적 의존이 쌓일수록
07:16인간은 현실관계에서 고립되는 역효과를 겪게 됩니다.
07:20단지 성능이 뛰어나서만 되는 건 아닌 것 같은데
07:24우리가 진짜로 원하는 건 이런 도덕적 기준
07:26그리고 인간의 가치를 따르는 AI가 아닐까 싶습니다.
07:30그런 모델을 만들려면 어떻게 해야 되는 겁니까?
07:33무엇보다 기술을 단지 기능으로 접근해서는 안 됩니다.
07:37AI가 인간의 윤리, 가치, 판단, 기준을 따를 수 있도록 설계하는 과정
07:42즉, 얼라인먼트가 핵심 과제입니다.
07:45우리말로 하자면 정렬 정도가 될 건데요.
07:48이는 단순히 기술을 잘 만드는 것을 넘어서
07:51AI의 행동 기준을 인간 중심으로 맞추는 작업입니다.
07:55또 전문가들은 청소년과 어린이의 경우 부모와 교육자가
07:59어떤 AI 도구를 사용하는지, 어떻게 사용하는지
08:03지속적으로 점검해야 한다고 강조합니다.
08:06기업 역시 단순한 기술 경쟁을 넘어서
08:09윤리적 책임을 지도록 법과 제도 안에서 규제하는 것이 시급하다고 지적합니다.
08:14AI가 우리에게 전에 없던 기회를 주는 것만은 분명해 보이는데
08:17우리가 그 기회를 독이 되지 않기 위해서
08:20기술을 더 이해하고 또 감시하고 책임질 준비를 해야 할 것 같습니다.
08:24오늘 말씀 여기까지 듣겠습니다.
08:26고한석 기자였습니다. 고맙습니다.