greatsangho의 이야기

LLM    - Bert fineTune!pip install transformers!pip install datasetsimport osimport reimport numpy as npfrom tqdm import tqdmimport tensorflow as tffrom transformers import *import pandas as pd# 토크나이져tokenizer = AutoTokenizer.from_pretrained("bert-base-multilingual-cased")# 모델 로드model = AutoModelForSequenceClassification.from_pretrained("bert-base-multilingual-cased", num_labels = 2)이제 저번과 같이 데이..

- 파인튜닝   - LLM 모델에 소수의 데이터 또는 어떤 목적을 달성하기 위해서 기존 모델을 전체학습 하는게 아니라 해당 데이터만 학습해서 적용하는 방법 - 성능평가   - 감정분석의 경우 분류문제 - Accuracy   - 문장요약     - 원본과 요약문의 유사도 측정과 같은 방법     - 측정지표       - ROUGE(Recall-Oriented Understudy for Gisting Evaluation)         - 사용된 어휘 단어의 중복을 체크         - n-gram의 겹치는 비율         - Recall(재현율)에 중점을 둔 방법, 참조 텍스트의 중요한 내용을 얼마나 많이 포함하고 있는지 중점         - 장점 : 문장의 유사성을 측정 가능         - ..

PEFT(Parameterized Efficient Fine-Turning)   - 부분 파라메터 튜닝(Partial Fine-Tuning)     - 기존 모델은 전체 파라메터를 학습하는 반면, 일부 파라메터만 학습     - 필요한 부분만 수정     - ex) 최상의 레이어나 또는 중요한 레이어 몇 개만 학습하고 나머지 파라메터는 고정(freeze)     - LLM의 고차원 레이어 또는 응용에 민감함 레이어만 선택해서 학습   - Freeze-and-Train(동결 및 학습)     - 모델의 특정 부분을 동결고정시키고, 나머지 부분만 학습     - 기존 파라메터는 동결. 새로운 파라메터만 추가, 특정 레이어만 학습   - Adapter Layter(어뎁터 레이어)     - 파라메터를 유지하고..

LLM의 기본 개념   - 텍스트 생성, 요약, 번역, 질문 응답   - GPT, BERT : 트랜스포머 계열   - 트랜스포머 아키텍처 : 2007년 논문(Attention is All You Need)     - RNN, LSTM, GRU 보다 효율적     - 병렬화에 유리     - 인코더       - 입력 문장에서 패턴 추출, 이해       - BERT     - 디코더       - 인코더가 추출한 문장을 바탕으로 새로운 문장을 생성       - GPT     - 어텐션       - 마스크를 사용해서 집중해야 될 문장을 표시 1 1 1 0 0 0 LLM 구성 요소   - 임배딩 레이어 : 단어를 벡터로 변환   - 셀프 어텐션 : 트랜스포머의 핵심 매커니즘   - 포지션 인코딩 : 순서..

- 프롬프트 형식   - 질문   - 지시   - 문답 형식(한가지만) - 위와 같은 형식을... 제로샷 프롬프트제로샷(Zero-shot): 예시 없이 명령만으로 작업을 수행하도록 하는 방식 - few shot 프롬프팅   -    -    -    -    -    - 멋지다 // 긍정   - 나빠! // 부정   - 최악의 공연이다 //// 대신 공백이나 : 등 사용 가능함퓨샷(Few-shot): 몇 가지 예시를 제공하여 AI가 더 나은 결과를 도출하도록 돕는 방식Colab 기준 설치!pip install -q langchain!pip install -q langchain-openai!pip install -q langchain-community!pip install -q pypdf!pip insta..

https://dacon.io/competitions/official/236355/overview/description 2024 생명연구자원 AI활용 경진대회 : 인공지능 활용 부문 - DACON분석시각화 대회 코드 공유 게시물은 내용 확인 후 좋아요(투표) 가능합니다.dacon.io데이콘에서 진행하는 AI 경진대회의 결과가 나왔다.3명이서 팀으로 대회에 출전하였고, 대회 기간이 초반에 머신러닝, 딥러닝을 배울 때와 딱 맞아 공부를 겸하여 나갈 수 있었다. 대회를 한 결과는 38등으로 1등수 차이로 4%안에는 들지 못하여 브론즈 등급을 받게 되었다.https://dacon.io/competitions/official/236355/codeshare/12083 2024 생명연구자원 AI활용 경진대회 코드 공..