2023 카카오 제1회 tech meetup 참여 후기

5월 11일 오후 7시에 판교역 카카오 아지트에서 카카오 공개 기술 세미나가 있었는데요.
정말 운이 좋게도 100명안에 당첨이 되서 부랴부랴 퇴근하고 판교로 출발했습니다. 🙃
유익한 내용 공유하고 제가 느낀 것 들을 공유 드려볼게요.

 

첫 판교 아지트 방문

우와 여기가 카카오야? 처음 카카오 판교 아지트로 들어가는데 기분이 묘하더라구요.
개발자를 시작하면서 카카오는 한번쯤은 일해보고 싶은 곳이라고 생각하고 있었는데, 생각보다 빨리 초대받게 되었네요. ㅎㅎ
저녁 7시임에도 불구하고 100분이나 오셨고, 역시 개발자들이란 ~ 생각이 절로 나더라구요.

 

세션 내용 및 후기

ChatGPT로 바뀐 개발자의 일상 이야기 (robin.hwang, 황민호)

개인적으로 가장 인상깊게 들었던 로빈님 처음부터 PPT를 발표를 하시는데,
작동방식, 사용의 이점, 성공사례 등을 설명하시는데?
어라 내가 듣고 싶은 내용이 아닌데? 라는 생각이 들던 찰나
짜잔.!! 이제까지 PPT발표는 Gamma라는 AI서비스로 만든 PPT입니다.!! 하시는데
역시 뭔가 있었어요. 재미난 오프닝이 아닐까 싶네요. 🙃
내용 공유드립니다.

 

ChatGPT의 활용 팁

1. 파라미터가 많아지면서 특이점 (GPT 4)
2. 80억 간단한 질문답변 620억 문서요약, 상식적 추론 5400억 코딩, 패턴파악, 대화
3. 4.0은 3.5가 넘지 못한것을 넘고 있다.
4. 노트북이 가방에 들어갈 수 없습니다. 그것이 너무 크기 때문입니다. 이 문장에서 그것이 가르키는 것은 무엇입니까? gpt4는 문장을 이해하고 있는 것 같다
5. 금, 토, 일 3일간 제주도 여행 일정 설계해줘. gpt4도 할루미네이션이 있다. 100프로 정확하지 않다.
6. 김소월 시인의 대표작. 학습데이터가 많지 않을 때 할루미네이션이 발생한다.
7. cas 인증이 끝나면 jwt토큰을 주는 스프링 코드를 줘 → Deprecatd → JwetUtil이 없음 → jasig가 없음 → 에러가 나면 계속해서 질문함 → cas authentication with jwt Example (원하던 파일이 나옴)
8. 대화를 통해서 결국 원하는 답을 도출 해낼 수 있음

프롬프트 이해하기

1. “훌륭한 프롬프트를 작성하는 것은 약간의 자연어로 프로그래밍하는 것의 초기 사례이다.” Sam Altman
2. 프롬프트 엔지니어링
3. 문제 또는 테스트 파악
   
   • 적절한 입력 형식 선택
   • 프롬프트 디자인
   • 관련성 있는 키워드와 구문 사용
   • 프롬프트를 테스트하고 개선하기
4. superpower chatgpt (tone, writing style, language)
   • instructions가 작성되어 있는 것을 확인 할 수 있음
   • 중요한 내용 은 bold or 대문자로 처리
   • |타이틀|내용|비고| 포맷 형식도 지정할 수 있음
   • 외부 api와 연동해서 그래프 or qr코드도 작성이 가능
   • input → output → image api를 활용하면 이미지도 불러올 수 있음

ai cowork 연습하기

1. oacon chat gpt 활용 ai 경진대회
2. 마틴파울러 → 코드를 작성하기전에 generated knowledge를 쌓는 과정이 필요
3. 코파일럿 x (gpt4 기반)
4. codehelper

시야를 확장하기

1. langchain & hugging face의 오픈소스를 확인
2. nvidia nemo guardrails → 원하지 않는 결과를 제어하는 역할
3. ai 오픈 소스들 확인 (git hub 트렌드)
4. auto-gpt
5. aplpaca 오픈소스 모델들이 있음 (람다 기반)
6. open llama (상업적 이용이 가능)
7. Mpt-7b 6만 5천토큰 지원
8. chatbot-ui 오픈소스
9. 많은 관심을 확장해서 가지는 것이 중요

 

인상깊었던 것은 카카오 개발자들은 AI 인공지능 기술이 나오면서, 개발자로서의 불안감 보다 정말 어려운 문제들을 더 쉽게 해결해 나가기 위해 서로 공유하고 공부해 나간다는 점이더라구요.
개인적으로 로빈님의 자연어로 알고리즘을 작성할 수 있게되면 프로그래밍 언어가 없어지지 않을까? 라고 이야기 하셨을 때는
이제 개발자는 끝이구나 !! ㅋㅋ 농담이고 프로그래밍 언어가 중요한게 아니고 진짜는 문제를 제시하고 문제를 해결하는 역할을 하게 되지 않을까 싶더군요. 🤩 오히려 좋은데?

 

실전! 인공지능 챗봇 개발 (dennis.hong, 홍석용)

 

인공지능 개발사례

1. 클라우드 문의 응답 자동화 ai 챗봇
2. 문제 : 많은 클라우드 문의로 개발 속도 및 근무 만족도 저하
3. 클라우드 엔지니어 2명씩 순환하여 매주 약 80건 클라우드 문의 처리
4. 중복문의가 계속 들어옴 → 업무 만족도가 떨어지게 됨

Ai를 활용해보자

1. 가이드 문서와 아지트 문의글 + 답글을 학습시켜 클라우드 문의 응답 ai 챗봇을 만들어 보자
2. 신뢰성 확보를 위해 url링크까지 첨부해서 답변
3. ai에게 맨션해서 직접 대화도 가능하도록 함
4. 아지트 문의글 ai봇 자동 답변 → 싫어요 피드백시에 담당자 알림 → 실시간 학습하도록 함
5. 언급된 내용이 없어도 추론을 해서 답변을 할 수 있음
6. 기본적인 언어모델이 알고 있는 지식을 답변도 가능 (dockerFile 만들어줘) (쿠버네티스 yaml 만들어줘)
7. 대규모 언어모델(LLM) 특성상 한국어로 학습시켜도 다국어 소통을 기본지원

microsoft 365 copilet

1. 목표를 주면 사용할 수 있는 도구와 다음에 해야할 일 을 ai가 선택함
2. 일정 잡아줘 → 구글캘린더 만듬 → url 줌
3. 언어 모델 자체한테 좀 더 복잡한 것을 해줌 (행사 참석여부에 대한 답변을 취햅해줄 수 있음)
4. 메일로 온 이미지를 구글 클라우드에 이미지를 업로드 해줌
5. 생성형 인공지능과 언어모델의 이해
6. 생성형 인공지능
   • 사용자 입력을 기반으로 콘테츠를 생성하는 인공지능 알고리즘
   • 앞의 문장을 확률을 기반으로 뒤의 문장을 추론함
   • 확률 선택의 다양성을 얼마나 허용할 것인지는 temperature 값에 따라 설정됨 (0에 가까우면 고정적)
   • 토큰이란 최소단위로 분리된 요소를 가지고 관리 (파생어) (is / my / super …)
   • 한글이 영어에 비해 2~10배 많은 토큰을 차지하기때문에 어려움
   • 대화형 ai는 상황과 맥락을 확인하기 좋기 때문임

학습 기능 구현 방법

1. 개발자가 사용할때는 role(행동강령), user, assistant의 포맷으로 리스트를 넘김
2. fine tuning api를 제공하는 것은 3까지만 지원
3. openai li로 전처리해서 csv, xlsx
4. 파인튜닝된 개인 모델 id를 사용해서 chat gpt 사용

Embedding 지식 주입

1. system이라는 히든 질문
2. 임베딩 벡터의 유사도 검색 (ANN)의 원리? 의미론적 방향성!
3. 데이터를 백터화

프롬프트 엔지니어링

1. 시스템 프롬프트를 중요하게 해야한다.
2. 코딩을 몰라도 인공지능 해동 지침(프롬프트)만으로 누구나 ai 챗봇 생성 가능!
3. 조건문으로 처리하는게 아니라 프롬프트만으로도 알고리즘 만들 수 있음
4. 명확하고 구체적인 지침을 작성해라
   • 구분 기호를 사용해서 입력을 명확히 표현
   • 구조화된 출력을 요청
   • 모델에게 조건이 충족되었는지 확인하도록 요청 (토큰 제한안에서 많은 정보를 넣어야함)
   • 퓨어샷 프롬프트 (출력 샘플을 제공)
5. 모델에게 생각할 시간을 줘라
   • 작업을 완료하는데 필요한 단계를 지정
   • 결론을 내리기전에 모델 스스로 해결책을 찾도록 지시

데니스님은 인공지능 시대의 next 개발자는 오히려 새로운 무기가 생겼다고 말씀하시더라구요.
요런 마인드 존경합니다. 기계 따위 어딜 인간을 넘봐.!! 그냥 넌 도구야.!! ㅋㅋㅋㅋ
게임 캐릭터인 개발자는 한손에는 프로그래밍 언어 / 한손에는 인공지능이라는 마법(프롬프트 작성)을 손에 들게 되면
무서울게 없겠죠. 데니스님은 개발자를 마검사라고 칭하시더군요.
명심하세요. hp 코딩 체력, mp 프롬프트 토큰 비용 🙃

 

Nocode, Serverless cloud Services for Generative AI : monokode stein
(andrew.kong, 공용준)

nocode 플랫폼

1. 개발은 요구사항을 받아서 잘 설계하는것이 목표
2. 소프트웨어 설계의 원형
3. target user : 기획자, 디자이너, 초기창업자
4. 카카오 컨퍼런스(ifkako) 를 monokode로 만들었음 (카카오 nocode 플랫폼)
   • 페이지 제작하기
   • 데이터연동하기
   • 퍼블리시 하기
   • 앱 완성 + 모바일 가능

모델을 만드는것은 지남, 이 모델을 어디에 사용하지? 가 핵심

1. 권한관리
2. 팀 단위 협업
3. 드래그 앤 드롭
4. 템플릿 마켓 플레이스
5. 작업효율을 높이고 리소스를 줄이기 위해 만듬
6. 공통디자인 설정으로 일관된 디자인을 만들 수 있음
7. AI Trend -> palm2, lama, kogpt
8. 작게 만들어서 빠르게 제공하는 것이 목표 (faster, smaller, open)
9. chat, draw, make, support 계속 순환

 

ai는 결국 로봇일까? 누구든지 아무나 만들어야 한다.

1. gpt vertical app을 신속하게 개발할 수 있도록 nocode 플랫폼과 각종 클라우드 서비스 연결
2. funtions를 사용해서 챗봇을 붙여서 바로 퍼블리시 할 수 있음
3. 그래서 앞으로는?
4. 어떤사이트를 만들고 싶으신가요? 프롬프트를 통해서 알아서 앱을 만들어주지 않을까?
5. 더 효율적으로 생산성을 높이지 않을까?

 

앤드류님, 말씀을 너무 재밌게 잘하셔요.!!
Nocode는 항상 의심하는 기술 중 하나였는데,
과연 복잡한 로직을 수행할 수 있어? 복잡한 설계가 가능한거야? 라는 것들 말이죠.
5분이면 웹사이트 뚝딱... 와 진짜 잘 활용한다면 엄청난 생산성이지 않을까 싶네요. 🙏

 

정리

개발자의 미래에 대해서

• GPT라는 도구가 생김 (설계에 대한 고민하는 시간이 중요할 것)
• 코드 구현하는 사람이 아니라 문제해결과 설계에 집중하는 것이 중요
• 단기적으로는 디테일한 개발자가 되야한다.
• 장기적으로는 과연 개발언어와 코드를 존재할까? 라는 생각과, 결국 개발자는 문제해결에 집중하는 업무가 되지 않을까?
• 지금의 코딩기법은 구현에 관련한 것 → 미래의 변화는 설계와 성능

 

이상으로 제1회 카카오 테크 밋업 후기글을 마칠게요.
너무나 즐거웠던 세미나였던 것 같습니다. 발표해주신 로빈님, 데니스님, 앤드류님 너무나 유익했어요.
이글을 덧붙여 초대해주신 카카오 감사드립니다.
부족한 글 읽어 주셔서 감사합니다. 또한 잘못된 내용 있으면 지적해주시면 감사하겠습니다. 🙏

 

하얀종이개발자