캠프 65일차 - RAG를 활용한 챗봇 만들기 프로젝트 완료

https://github.com/greatsangho/SKN05-3RD-1TEAM

GitHub - greatsangho/SKN05-3RD-1TEAM

이번에는 네이버 API을 활용하는 내용이 추가 되었고, streamlit에서 해당 입출력이 진행되는 내용을 구현하였다.

챗봇을 만들면서 느낀 점은 기존 서비스 되고 있는 챗봇의 한계점이 명확하다는 것과, 다양한 입력에 대해 유연하지 못한 대응이 결국 전화 상담으로 이어질 수 밖에 없다는 점이다. 또한 상담사가 내용을 전부 숙지할 수 없기 때문에 곤란한 상황이 발생할 수 있는데, 이처럼 RAG를 사용해 여러 문서를 학습시키면 해당 내용에 대해 대응이 가능할 것이라는 점에서 앞으로 AI시스템 도입은 필연적일 것이라 생각된다.

이번 프로젝트에서 아쉬웠던 점은 이틀이라는 시간으로 인해 멀티모달을 이용해 차량 사고 이미지를 넣으면 어떤 부위가 파손되었는지 판단하여, 해당 사고 관련 보장이나 예상 수리비 등을 알려주는 서비스를 만들어 보고 싶었는데 그러지 못했다는 것이다. 아마 최종 프로젝트나 개인 토이 프로젝트 식으로 진행할 것 같다. 내가 만든 llama기반 코드는 T4에서 돌아가는 한국어를 학습한 llama3.2 기반 모델이다. tf16으로 모델을 불러왔으며, 모델을 학습시키지 않고 단순히 RAG 답변을 만드는데만 사용한다면 크게 문제가 없었다. 아마 파인튜닝을 시도한다면 QLoRA등의 양자화를 시도할 필요가 있을 것이다. GPT API를 사용하면 빠르고 정확하게 결과를 얻을 수 있지만, 민감한 정보를 다루는 기업의 경우 이처럼 API를 불러서 사용하는 것은 정보보안 측면에서 위험할 수 있다. 그렇기 때문에 로컬에서 구동할 수 있는 LLM 서비스를 시연하고 싶었기 때문에 VectorDB인 Chroma의 코사인 유사도를 활용하여 프롬프트의 입력에 해당하는 값을 토대로 출력하는 서비스를 만든 것이다. 앞으로 시도해 볼 점은 sk의 kogpt나 kakao의 gpt3 기반 모델을 이용한 RAG과 PEFT 그리고 멀티모달을 구현해보는 것이다.

https://huggingface.co/docs/peft/en/index

PEFT

 

다른 아이디어로 책으로도 많이 나와있는 판사 LLM인데, RAG 기반 파인튜닝을 할 수 있기 때문에 민법, 형법, 행정법 그리고 판례들을 학습시킨다면 가능할 것이다. 그 외에도 주로 서류 작업을 돕는 법과 관련된 일은 상당히 LLM의 역할이 커질 것으로 예상된다.

의학 분야는 아직까지는 인공지능이 정확한 보조자로서 역할하기에 그칠 것이지만, 로봇의 발전이 이루어진 다음에는 사람은 무슨 일을 할 수 있는가에 대한 고민이 생길 수 밖에 없는 것 같다. 생각해보면 코딩을 GPT가 더 잘 알려주기 때문에 초급 개발자들에 대한 수요가 줄어들고, 상담은 LLM기반 챗봇으로 변화하고, 법과 같은 직업은 기존 판례와 법을 기반으로 해석하기 때문에, 그리고 수많은 데이터가 쌓여있기 때문에 기본적인 소송 및 법적 처리 절차는 간소화 될 가능성이 있고, 의사 또한 경력을 쌓은 의사의 판단보다 AI가 정확하며, 음악과 미술도 AI가 인간을 넘어선 상태이고, 게임은 당연히 AI가 더 잘한다.

즉 AI를 튜닝하고, AI를 구동하는 시스템을 관리하는 인력에 대한 수요는 꾸준히 필요할 것이며, 이것이 내가 AI를 공부하고 클라우드를 공부하는 이유이기도 하다. 아마 향후 10년도 되지 않은 상태에서 우리가 안정적이라고 생각하던 직업은 상당수가 사라질 것이라는 것이 실감이 된다.

다음은 우리팀 발표 자료이다. 고생한 우리 팀원들에게 감사의 말을 전한다.