제가 활동하고 있는 캠페인즈에서는 '뉴스'탭에서 서로 뉴스를 공유하고, 읽고, 의견을 나눌 수 있습니다. 평소 인터넷 뉴스 덧글의 흉포함에 지친 분들이 안전하게 자신의 의견을 나눌 수 있는 곳이며, 뿐만 아니라 각자 다른 사람에게 공유하고 싶은 뉴스를 가져오기 때문에 좋은 뉴스가 정말 많이 올라옵니다. 저 역시 가끔 캠페인즈에 들어와 뉴스를 보고, 직접 뉴스도 공유하는데요. 그렇게 뉴스를 캠페인즈에 업로드하던 어느 날, 이런 생각이 들었습니다. '이전에 소개했던 Notion web clipper처럼, 캠페인즈 뉴스도 사람들이 쉽게 공유하면 더 많�� 뉴스가 캠페인즈에 올라올 수 있지 않을까?' 이미 좋은 공간인데, 사람들이 너도나도 아무 뉴스나 보다가 딸깍 쉽게 공유하면 더 좋겠다는 생각이 들어, 개발자가 아님에도 직접 한 번 '캠페인즈 웹 스크래퍼'를 만들게 되었습니다. 활용하실 경우, 꼭 글을 끝까지 읽고 사용해주세요! 1. 무엇을 자동화할 수 있을지 먼저 고민하기 지금까지 캠페인즈 뉴스를 추가하려면, 1) 공유하고 싶은 뉴스를 발견 -> 2) 캠페인즈 내에 들어와서 -> 3) 뉴스 탭에 들어온 다음 -> '추가'버튼을 누르고 뜨는 팝업에서 -> 4) 이슈,토픽,URL,코멘트(선택)를 입력한 다음 -> 5) '뉴스 공유하기'버튼을 눌러야 했습니다. 이렇게 단계를 나누고 천천히 분석해보니, 제가 자동화 할 수 있다고 처음 판단한 영역은 다음과 같았습니다. -2)와 3)에 해당하는 과정 - '추가'버튼을 누르면 나오는 화면이 나오게 하기 -4)번 과정 중, 먼저 할 수 있는 자동으로 지금 보고 있는 뉴스 기사 링크를 URL칸에 들어가게 하기 2. 일단 AI에게 물어보기 이 개요를 토대로, ChatGPT4o로 코드를 짜기로 결심했습니다. ChatGPT에는 앱스토어와 같은 'GPTs(GPT 탐색)'이 가능했고, 그 중 크롬 확장 프로그램 제작을 도와주는 'Chrome Extension Full-Auto Coder' 라는 GPTs를 찾아서 제가 필요한 걸 찾아 정리해 넣었습니다. 그리고 따라서 하다 보니 크롬 확장 프로그램에 필요한 로고 파일이 있다는 것도 발견하고, 이것도 ChatGPT로 만들어서 파일로 준비해 두었습니다. 중간 과정은 생략했지만, 약 1시간에 걸쳐 크롬 확장 프로그램을 만들었고, 제 크롬과 웨일에서 사용 가능하게 업로드할 수 있었습니다. 하지만 많은 사람들과 이 기능을 쉽게 공유하려면, Chrome 웹 스토어에 등록해야 합니다. 이 역시 질문하고, 개인 정보 처리 방침 등은 전부 ChatGPT에게 물어보며, 개발자 등록과 크롬 확장 프로그램을 웹스토어 등록하는 것까지 마칠 수 있었습니다. 근데 이 과정을 많이 헤매서.. 여기에서만 2시간이 추가로 소요됐네요 ㅎㅎ.. 3. 아쉬운 점을 개선하면 완료! 사용해보니, 뉴스 공유를 완료하고 나서도 캠페인즈 뉴스 탭이 사라지지 않는 게 좀 불편하더라구요. 그래서 뉴스 공유하기를 누르고 나면 창이 자동으로 꺼지도록 하는 기능까지 GPTs에게 물어보고, 답을 받아 고쳤습니다..! 사용 장면을 간단히 보여드리며 사용 방법을 알려드릴게요. 천천히 따라하시면 어렵지 않을 거에요. chrome웹 스토어(크롬 / 웨일 / Edge 사용 가능)에 들어가서 '캠페인즈 웹 스크래퍼'를 검색하시거나, 이 링크를 눌러 페이지로 직접 들어가기 오른쪽 상단의 'Chrome에 추가하기'버튼 누르기 우측 상단 퍼즐 모양을 누른 다음, 확장 프로그램 옆에 핀셋 눌러 인터넷 창에 고정시키기 기본적으로 캠페인즈에 로그인이 되어 있을 때 사용이 가능하며, 이제 뉴스 페이지에서 해당 버튼을 누르시면, 팝업으로 캠페인즈 뉴스 추가 창이 뜨고, 동시에 자동으로 현재 보고 있는 뉴스 사이트의 링크가 URL칸에 입력됩니다. 나머지 내용을 채우고 '공유하기'를 누르시면, 자동으로 팝업이 닫힙니다. 더 많은 뉴스가 캠페인즈에 공유되어, 서로 더 좋은 정보를 공유할 수 있게 되어 더 좋은 사회가 만들어지길 바랍니다..! 많은 분들의 활용 부탁드립니다! 저 역시 이 확장프로그램을 개발하며 자신감도 얻고, 보람차기도 했던 좋은 경험을 할 수 있어 좋았습니다 ㅎㅎ 여러분들도 해보고 싶은 일이 있으면 언제든지 도전하세요! *필독 : '캠페인즈 웹 스크래퍼'는 캠페인즈의 공식 기능이 아닙니다. 따라서 얘기치 못한 버그가 발생할 수 있으며, 캠페인즈 웹 구조가 바뀔 시 작동하지 않을 수 있음을 알려드립니다(그렇다고 해킹이나 바이러스 같은 게 있지는 않습니다..그런 건 등록이 안됩니다). p.s. 모바일에서 활용하시려면 '키위 브라우저'라는 걸 찾아 설치하셔야 한다고 합니다..!

by 🤖아침 KrIGF에서 “생성형 인공지능과 딥페이크 기술” 세션을 참관하고 왔습니다. 이미지나 음성 등을 조작해 디지털 매체 속 인물을 다른 사람의 모습으로 바꾸는 일련의 기술을 통칭하는 딥페이크에 관한 패널 토론이었어요. 산업적 효과에 대한 기대감, 악용에 대처하기 위한 제도적/정책적 제안 같은 이야기가 오갔는데요. 세부적인 내용을 다루기보단, 이날 논의가 깔고 있던 기본 전제에 관한 제 의문을 얘기해 보려 합니다. KrIGF 웹사이트에 등재된 세션 소개글을 인용합니다. 딥페이크 기술은 보다 쉽고 간편하게 특수효과를 만들어 내거나 AR 영상을 제작하는 등 산업 전반의 성장 가능성을 키우는 등 긍정적으로 작용하고 있는 부분이 분명히 있다. 그러나, 인공지능기술이 빠르게 발전하면서, 인공지능을 활용한 비윤리적 이용 등 부정적 측면에 대한 우려의 목소리가 커지고 있다. 딥페이크(를 만드는 데 사용되는) 기술은 긍정적 작용을 하지만, (음란물 제작, 인격 사칭 등) 부작용 또한 생기고 있다는 것입니다. 따라서 기술적/산업적 발전을 저해하지 않도록 기술 규제는 최소화하되, 딥페이크를 활용한 범죄를 억제하기 위한 사법적, 문화적 노력이 필요하다는 것이 이날 패널 토론의 전반적인 내용이었고요. 얼핏 보면 맞는 말 같습니다. 기술은 잘못이 없다, 사람이 잘 사용하는 것이 중요하다… 흔히 들을 수 있는 말이죠. 하지만 기술은 생각만큼 ‘중립적’이지 않습니다. 딥페이크의 출발점은 성착취물 ‘딥페이크’라는 말은 어디서 왔을까요? 이 용어가 등장한 것은 2017년경. deepfakes라는 닉네임을 사용하는 레딧 이용자가 동명의 게시판에 꾸준히 올린 영상이 화제가 되었습니다. 주로 여성 연예인의 얼굴을, 성적 촬영물에 등장하는 여성 신체에 합성한 것이었습니다. 가정용 컴퓨터와 인터넷에서 쉽게 구할 수 있는 영상으로 만들어낸 결과물이었죠. 딥페이크의 어원이 여성 이미지를 동의 없이 조작한 음란물 제작자라는 점, 그리고 그가 대단한 전문 연구기관이나 기업 조직이 아니라 개인이라는 점 모두 중요합니다. 딥페이크의 대중화는 성착취물로 시작했고, 이러한 기술적 성착취는 지나가는 해프닝으로 끝나지 않았습니다. 일례로 생성형 이미지 시장이 등장하며 AI로 만든 이미지뿐만 아니라 특정 그림체에 특화된 AI 모델을 제작하는 일을 금전적으로 보상하는 구조를 형성하고 있는데요. 이는 성착취물도 예외가 아닙니다. 즉 특정 인물의 딥페이크 성착취물 이미지 및 그것을 만들 수 있는 AI 모델이, 생성형 이미지 산업의 구성 요소로 자리 잡고 있는 것입니다. 또한 딥페이크 제작의 기술적 장벽은 갈수록 낮아집니다. 2017년의 deepfakes는 아마 고급 그래픽카드를 설치한 컴퓨터에서 직접 작성한 코드를 실행해 가며 연예인 딥페이크를 만들었을 겁니다. 그것만으로도 문턱이 굉장히 낮아진 것이었지만, 지금은 그럴 필요도 없습니다. 이미지 생성 서비스도 우후죽순 생겨나고, 손쉽게 다운받을 수 있는 맞춤형 AI 모델, 그것을 몇 번의 클릭으로 실행할 수 있는 설치형 응용 프로그램이 얼마든지 있습니다. 더욱 가볍고 빠른 AI를 향한 경쟁 가운데 일반 가정용 컴퓨터에서 돌아가는 AI 성능은 계속 향상되는 추세입니다. 누구나 딥페이크를 제작할 수 있는 조건 속 개인의 손에는 굉장한 힘이 주어졌고, 이 힘은 음란물 제작에 적극적으로 활용되고 있습니다. ‘AI 산업 vs 음란물’은 잘못된 구도 이렇게 되기까지 업계의 자정 노력이 없지 않았습니다. AI 모델 접근 권한을 통제하거나, 음란물 필터를 통해 부적절한 결과물을 걸러내거나, 서비스 정책을 통해 일부 행위를 금지하는 등 다각도의 접근이 있었지요. 지금도 관련 연구가 많이 진행되고 있습니다. 하지만 그 노력에 아무리 박수를 보낸들 피해는 계속 발생해 왔다는 점을, 냉정하게 바라볼 필요가 있습니다. AI 산업은 음란물과의 싸움에서 지고 있습니다. 아니, 어쩌면 AI 산업과 음란물이 싸우고 있다는 관점 자체에 오류가 있는지도 모릅니다. “시스템의 용도는 그것이 실제로 하는 일이다 (The purpose of a system is what it does, POSIWID)”라는 격언이 있습니다. 시스템이 실제로 하지 못하는 것을, 그 시스템의 의도된 작용이라고 주장하는 것은 무의미하다는 말입니다. 시스템의 작용을 이해하는 일은 그에 대한 기대나 가치적 판단보다, 실제 벌어지고 있는 현상에 대한 관찰에 따라야 한다는 교훈을 담고 있습니다. 이 격언을 염두에 두고 현 상황을 검토해 봅시다. AI 산업의 성장과 함께 딥페이크 성착취물 또한 일부 개인의 일탈을 넘어 산업화하고 있고, AI 기술 발전 방향은 개인의 딥페이크 제작 능력 향상과 맞닿아 있습니다. 그렇다면 음란물 제작은 딥페이크 기술의 발전 과정에서 의도치 않게 생겨난 불행하고 부수적인 역효과 같은 것이 아니라, 그 기술이 그렇게 작용하도록 설계된 결과라고 할 수 있지 않을까요? 딥페이크 기술의, 나아가 AI 산업의 용도(중 하나)는 성착취물 제작을 손쉽게 만드는 것이라고요. KrIGF 패널은 합성 성착취물 등 일련의 사건으로 딥페이크 관련 기술의 폐해에 관한 우려가 고조되어, 이 기술의 긍정적 가능성을 차단할 것을 우려했습니다. 하지만 저는 해당 피해가 마치 예외적 상황인 것처럼 인식해서는, 부정적 효과를 차단하기도 긍정적 효과를 끌어내기도 어렵다고 봅니다. AI 산업의 작동 방식 자체가 음란물 관련 피해를 키우는 방향으로 작용한다는 점에 눈감은 채 문제를 해결할 수 없습니다. 🦜더 읽어보기 생성 AI 성착취물 시장의 구조 (AI 윤리 레터, 2023-09-04) 인공지능이 만드는 모두의 딥페이크 (고아침, 2023-01-31) Inside the AI Porn Marketplace Where Everything and Everyone Is for Sale (404 Media, 2023-08-22) OpenAI Is ‘Exploring’ How to Responsibly Generate AI Porn (Wired, 2024-05-08) We Are Truly Fucked: Everyone Is Making AI-Generated Fake Porn Now (Vice, 2018-01-25)

FAIR AI: 둘째 날 스케치 by. 💂죠셉 지난 금요일, NC 문화재단이 주최한 FAIR AI 컨퍼런스에 다녀왔습니다. 행사 둘째 날 주제가 바로 지난주 저희 레터에서 소개한 임베디드 에틱스(Embedded EthiCS)였기 때문인데요. 임베디드 에틱스는 미국 하버드 대학교에서 2017년 무렵 시작된 다학제적 교육 프로그램으로, 컴퓨터 공학 커리큘럼에 윤리를 끼워 넣음(embedded)으로써 둘의 융합을 시도합니다. 특히 이번 컨퍼펀스에서는 이 프로그램을 적극적으로 커리큘럼에 반영시켜 온 스탠포드 HAI의 제임스 랜데이와 메흐란 사하미 교수의 이야기를 직접 들을 수 있었습니다. (사하미 교수는 국내에서도 제법 읽힌 <시스템 에러>의 공저자 중 1인입니다.) 임베디드 에틱스는 2016년 경 하버드 철학과 교수인 바바라 그로스의 개인적 경험에서 시작됐습니다. 현실 문제에 윤리적 고려를 반영해야 하는 과제를 줬을 때 평소 기술 윤리에 제법 관심을 가진 학생들조차도 어떻게 해야 할지를 전혀 모르는 듯한 모습에 충격을 받은 것이죠. 컴퓨터 공학자가 철학자, 인류학자, 윤리학자 등과 한 팀을 이뤄 디자인하는 이 프로그램의 가장 큰 특징이자 목표는 학생들을 최대한 다양한 윤리적 관점에 노출 시키는 것에 있습니다. 가령 AI의 설명 가능성을 높이기 위한 ‘윤리적’ 작업이 AI의 성능 저하로 이어져 예상치 못한 문제를 일으킬 수 있는 것이 한 예시겠죠. 이렇듯 기술을 기획하고 만드는 과정이 굉장히 다양한 기술적, 사회적 함의와 닿아 있다는 사실을 학생들은 반복적으로 배우게 됩니다. 이 과정을 통해 윤리적 상상력을 기르고, 기술 개발에 윤리를 고려하는 건 가치의 교환/협상(trade off)이라는 사실을 체화하는 것이죠. 물론 이 프로그램이 얼마나 실효성이 있는지는 시간을 두고 봐야 할 것입니다. 기술에 대한 윤리적 감수성이 졸업 이후에도 도움이 되고 있다는 후속 연구도 보이지만, 이런 노력이 가시적인 열매를 맺는 건 임베디드 에틱스 졸업생들이 여러 사회 조직의 결정권자가 되는 시점일 테니까요. 이날 사하미 교수가 공개한 설문 조사 결과에 따르면 임베디드 에틱스를 경험한 학생들도 해당 커리큘럼이 얼마나 본인에게 도움이 되었는지에 대한 질문들에 대해 모두 긍정적이지만은 않았습니다. 예를 들어 1점(전혀 동의하지 않음)부터 7점(강하게 동의함) 사이에서 1-3 사이에 위치한 학생의 비율은 꾸준히 20-30%를 기록했습니다. 프로그램 도입을 위한 이해관계자 설득을 어떻게 하냐는 질문에 ‘지지해 줄 사람(proponents)을 찾아 시작하면 된다’는 사하미 교수의 조언에서 드러나듯, 윤리를 강조하는 방향성이 모두에게 설득력을 가지길 기대하긴 어려울지도 모릅니다. 하지만 기술을 기획하고 만드는 사람���의 인식 개선을 시도하는 임베디드 에틱스는 순수 ‘임팩트’의 관점에서 보면 상당히 매력적인 솔루션이 될 수 있습니다. 현재 하버드와 스탠포드 뿐만 아니라 미국 유수의 대학들이 이 방향성에 동참 중입니다. (행사에 참여한 서울대 천현득 교수 발표에 따르면 한국 대학 중에서 임베디드 에틱스를 적용한 곳은 현재까진 없는 것으로 보입니다.) 오픈소스로 원하는 누구나 정보를 얻어갈 수 있으니 관심 있으신 분은 이 웹사이트에서 시작해 보시면 되겠습니다.

AI 윤리 뉴스 브리프 2024년 7월 첫째 주by 🎶소소 1. 안전한 초지능을 만들어야 한다는 믿음 오픈AI의 공동창업자이자 수석과학자였던 일리야 수츠케버(Ilya Sutskever)가 오픈AI 퇴사 이후 한 달 만에 새로운 회사를 차렸습니다. 회사 이름은 Safe Superintelligence Inc.회사명처럼 안전한 초지능을 만드는 것이 유일한 목적이라고 합니다. 최고의 기술로 AI 안전 문제를 해결할 수 있다는 믿음이 느껴집니다. 일리야 수츠케버가 오픈AI에서 '샘 올트먼'의 해임을 주도하고, 또 최근 퇴사한 이유가 AI 안전과 상용화에 대한 가치 충돌이라는 추측이 많았는데요. 회사 소개에서도 그러한 내용을 엿볼 수 있습니다. 그는 ‘경영상의 이슈’와 ‘제품 주기’ 등 상용화로부터 자유로운 AI 안전 연구를 위해 챗GPT와 같은 상용 제품을 만들 계획은 없다고 밝혔습니다. 그는 GPT 모델 발전을 주도하며 현재 AI 발전의 중심에 서 있는 인물입니다. 딥러닝의 시대를 만든 제프리 힌턴 연구실에서 AlexNet을 연구했고, 구글 딥마인드와 알파고를 함께 연구했으며, 그 이후 샘 올트먼, 일론 머스크와 함께 비영리 기업 오픈AI를 창업했습니다. 구글을 떠난 이유도 구글이 AI의 안전을 신경 쓰지 않았기 때문이라고 알려졌는데요. 그는 지난해 오픈AI에 슈퍼얼라인먼트팀을 만들어 이끌어오기도 했습니다. 윤리 레터에서는 많은 AI 기업에서 초지능의 위험을 이야기하며 현재의 AI가 만드는 수많은 문제에 대한 관심을 미래로 돌릴 수 있음을 주의해야 함을 지적해 왔습니다. 일리야 수츠케버의 행보를 보면 그의 초지능에 대한 확고한 믿음과 불안이 진심이라는 것만큼은 분명해 보입니다. 다만 그가 말하는 AI의 위험과 안전성 확보를 위한 노력이 AI로 인한 문제와 해결 방안 전체를 대표하는 것이 아님을 우리는 기억해야 합니다. 2. AI 디지털 교과서 도입 유보를 원하는 5만 명 교육부의 AI 디지털 교과서 사업을 유보하라는 국민동의청원이 5만 명을 넘어 국회 교육위원회에 회부됐습니다. AI 디지털 교과서 사업은 초중등 수업에서 종이 교과서 대신 디지털 기기로 수준별 맞춤 교과서를 제공한다는 내용입니다. AI를 활용해 학생의 성취도, 강점과 약점, 학습 태도를 파악하여 맞춤형 교육을 제공하고, 이 정보를 교사와 학부모에게도 제공한다는 것인데요. 당장 내년인 2025년부터 일부 과목에 우선 도입하고 단계적으로 확대한다는 계획입니다. 이 청원의 핵심은 사업이 충분한 공론화와 합의 없이 서둘러 추진된 데 있어 보입니다. 사업 내용만 들으면 좋은 효과만 있을 것 같지 않나요? 그러나 디지털 교과서 도입에 대해서는 다양한 의견이 존재합니다. 교육부는 AI 디지털 교과서 도입이 “모두를 위한 맞춤 교육”을 위함임을 강조합니다. 아이들을 평균에 맞춰 가르치는 것이 아니라, AI를 활용해 개인 실력에 따른 맞춤 학습을 지원할 수 있다는 것이죠. 그러나 청원에 참여한 사람들은 AI 디지털 교과서가 ‘맞춤 교육’에 적합하다는 충분한 검증이 되지 않았다고 말합니다. 휴대폰, 아이패드로 게임, 유튜브에 쉽게 빠지는 아이들을 보���온 학부모들의 반대도 만만치 않습니다. 교과서 변경은 대한민국 학생들에게 아주 중대하고 직접적인 영향을 미칠 수 있는 사안입니다. 정부가 지금처럼 기술의 긍정적 효과에만 집중하다 보면 부정적 효과는 생각하지 못하기 쉽습니다. AI 디지털 교과서의 효용을 엄밀하게 확인해야 할 뿐만 아니라 사용자인 학생, 선생님에게 미칠 수 있는 부정적 영향까지도 충분히 검증되어야 합니다. 실제 수업 운영에서 발생할 수 있는 문제점과 해결 방안에 대해서도 조금 더 차분히 논의하는 시간이 필요하겠습니다. 🦜 더 읽어보기 외부인의 ‘AI 디지털교과서’ 단상 (AI 윤리 레터, 2024-02-01) AI 교육을 표방하는 ‘디지털 교과서’ 정책, 그 속에 담긴 위험 (교육을 바꾸는 사람들, 2023-08-09) 수천억 원 드는 AI 디지털 교과서, ‘혁명’인가 (시사인, 2024-04-04) 3. 새롭지 않은 새로운 음원 저작권 소송 미국 레코드 산업협회(RIAA)가 유니버설뮤직을 비롯한 소니뮤직, 워너뮤직을 대표해 음악 생성 AI 스타트업 수노AI(Suno AI)와 유디오(Udio AI)에 저작권 침해 소송을 제기했습니다. 음악 생성 AI서비스는 원하는 프롬프트를 입력하면 작사·작곡·보컬을 모두 포함해 노래를 완성해줍니다. 협회는 이 스타트업들이 AI 모델 학습에 저작권이 있는 자사 음악을 불법 활용했다는 주장입니다. 다양한 종류의 창작물이 AI 학습에 창작자의 허락이나 동의 없이 복제되어 활용되고 있습니다. 뉴스, 소설, 시나리오와 같은 글에서 그림으로, 또 음악으로 확대되고 있죠. 저작권이 있는 데이터의 AI 학습에 대한 명확한 규제가 아직 없는 상황에서, 생성 AI 콘텐츠 종류가 늘어날수록 학습 데이터 저작권 소송은 계속해서 확대될 것으로 보입니다. 4. 식약처가 만든 의약품 개발 시 AI 활용 안내서 식약처가 의약품 개발 단계별 인공지능 활용 안내서를 발간했습니다. 가이드라인은 의약품 전주기 중 신규 의약품 개발 초기 단계(후보물질 발굴, 비임상시험, 임상시험 등)에 집중하여 약 10장 분량으로 작성되었습니다. 가이드라인은 의약품 개발 각 단계에서 AI를 활용할 수 있는 사례를 먼저 제시한 후에, 그 단계에서 주의해야 할 사항을 서술하고 있습니다. 예를 들면, 임상 연구 단계에서는 임상시험 데이터베이스, 전자의무기록 등을 분석하여 적절한 임상시험 대상자를 예측하거나 모집하는 데 AI를 활용할 수 있음을 먼저 이야기합니다. 그 후에 AI는 과거 임상시험 환자 데이터 선정/제외 기준으로 학습된다는 사실을 주의해야 한다는 식입니다. 본 안내서가 의약품 개발과 같은 전문 분야에 AI를 활용할 때 주의해야 할 점에 대해 구체적으로 안내해 주기를 기대했지만, 아직은 AI를 어떻게 활용할 수 있는지에 더 초점이 맞춰져 있습니다. 앞으로 실제 사례들이 보완된다면 의약품 개발 현장에서도 큰 도움이 되리라 기대해 봅니다. 📆 소식 Data Workers’ Inquiry, 개막 행사 온라인, 영어 (2024-07-08, 한국시간 9일 새벽) Rethinking the Inevitability of AI: The Environmental and Social Impacts of Computing in Historical Context 버지니아 대학교, 온라인, 영어 (2024-07-18)