언론 매체가 '신뢰할 수 있는' AI 챗봇을 구축할 수 있을까요?

Mia Sato는 기술을 형성하는 회사와 해당 도구를 사용하는 사람들을 다루는 5년 간의 경험을 보유한 플랫폼 및 커뮤니티 기자입니다.

뉴스 출판사들은 생성 AI 도구를 사용하여 단조로운 여행 가이드, 부정확한 영화 블로그, SEO 미끼 설명자를 제작하는 등 인공 지능에 뛰어들었습니다. 대체로 목표는 '작가에게 더 많은 비용을 지불하지 않고도 광고용 페이지를 더 많이 만들 수 있을까?'였습니다.

이제 여러 기술 매체가 생성 AI를 웹 사이트에 통합하려고 시도하고 있지만 독자는 조만간 기계의 이름을 찾을 수 없을 것입니다. 8월 1일, Macworld, PCWorld, Tech Advisor 및 TechHive에 AI 챗봇 도구가 추가되어 독자들이 "우리 전문가의 이야기와 리뷰만을 기반으로 [자신의] 기술 질문에 대한 답변을 AI로 얻을 수 있다"고 약속했습니다.

Smart Answers라고 불리는 AI 챗봇은 거의 모든 기사와 미디어/마케팅 회사인 Foundry가 소유한 사이트의 홈페이지에 나타납니다. Smart Answers는 4개 사이트의 영어 기사 코퍼스에 대해서만 학습되었으며 후원 콘텐츠 및 거래 게시물은 제외됩니다. 사용자 경험은 ChatGPT와 같은 다른 소비자 도구와 유사합니다. 독자가 질문을 입력하면 Smart Answers가 응답을 내보냅니다. 또는 독자는 AI로 생성되었지만 사람들이 질문하고 클릭하는 내용을 기반으로 하는 FAQ 목록에서 쿼리를 선택할 수 있습니다. Smart Answers 응답에는 정보를 가져온 기사에 대한 링크가 포함됩니다.

리더쉽의 목표는 독자들이 산더미 같은 글 속에서 특정 정보를 찾을 수 있도록 돕는 것입니다.

“우리는 엄청난 양의 콘텐츠를 보유하고 있습니다. 그러나 때로는 훌륭한 저널리즘의 2,000 단어를 읽고 싶지 않을 때도 있습니다. 때로는 단지 특정 사실을 원할 때도 있습니다.”라고 Foundry의 제품 및 데이터 글로벌 이사인 Neil Bennett는 The Verge에 말했습니다.

Bennett에 따르면 회사는 출시 전 약 5개월 동안 Smart Answers 개발 작업을 진행했으며 2~3개월 동안 편집진과 함께 테스트를 진행했다고 합니다. 편집진으로 구성된 실무 그룹은 도구의 초기 버전을 테스트하고 답변에 만족할 때까지 답변을 등급화했습니다.

Foundry의 편집 이사인 Marie Black은 “이 테스트에서 우리가 정말로 주의해야 할 점은 그들이 제공하는 답변이 진정으로 신뢰할 수 있다는 것입니다. 이는 편집자가 제공하는 답변과 동일하다는 것입니다.”라고 말합니다.

Smart Answers는 사용자가 다른 AI 도구에서 볼 수 있는 주요 문제, 즉 오류를 범하거나 존재하지 않는 출처를 인용하거나 그럴듯하게 들리는 잘못된 정보를 만들어내는 경향을 해결할 수 있다고 생각합니다. Smart Answers는 평판이 좋은 매체의 게시 기준을 충족해야 하는 콘텐츠에 대해서만 교육을 받았습니다. 하지만 챗봇이 편집자 수준의 응답을 제공할 수 있다는 것은 여전히 ​​큰 약속입니다.

Smart Answers는 간단해 보이는 쿼리로 인해 어려움을 겪습니다. 챗봇에게 “마지막 아이팟 나노가 언제 출시됐나요?”라고 묻자, 2022년에 출시됐다가 단종되었다고 잘못 명시되어 있었습니다. 며칠 후 응답이 바뀌었습니다. "이 질문에 답할 정보가 충분하지 않습니다."

챗봇은 이런 식으로 자주 응답합니다. 예를 들어 TikTok의 CEO가 누구인지 모릅니다. 이는 Foundry 매장이 수행하는(또는 수행하지 않는) 적용 범위 유형을 반영할 수 있습니다. 이는 한계이자 좋은 일처럼 느껴집니다. 한편으로는 이 도구를 사용하는 사람이 답변을 얻기 위해 다른 곳으로 가야 할 질문이 여전히 있을 가능성이 높습니다. 하지만 이런 경우에는 적어도 응답을 받기 위해 무언가를 만들어내는 것은 아닙니다.

iPod Nano에 대한 질문의 경우 Black은 아마도 챗봇이 수년 동안 업데이트되지 않은 iPod에 대한 오래된 이야기에서 가져온 것일 수 있다고 제안했습니다. (장치는 2017년에 단종되었습니다.) 이와 같은 오류의 경우 Foundry는 응답의 유용성에 대한 사용자 피드백에 의존합니다. 독자나 직원이 문제를 발견하면 Foundry의 챗봇을 구축하는 AI 회사인 Miso.AI로 다시 연결됩니다.

Smart Answers는 또 다른 목적을 제공합니다: 제휴 수익