dev.Log

Meta-Llama-3.1-8B-Instruct-Q2_K.gguf이런 라마 LLM 양자화 모델파일 쓰는데 크기 계산법이 궁금해졌다.항목의미Meta-Llama-3.1Meta 사의 LLaMA 3.1 버전8B파라미터 수가 약 80억(8 billion)Instruct사용 목적: 사용자 질문 응답용 fine-tuned 모델Q2_K양자화 방식: Q2_K (2비트 양자화 + K-샘플 클러스터링).ggufGGUF 포맷 (GPTQ, GGML 기반의 추론용 포맷) 모델 양자화 : 딥러닝 모델의 연산과 파라미터를 더 적은 비트 수로 표현하는 기법.32비트 (float32)의 부동소수점 데이터를 8비트(int8)이나 16비트(float16)같은 저정밀 형식으로 바꾸는 것을 의미 Q. 왜 양자화를 할까?1. 모델 크기 축소2..

Expert Prompting- LLM에게 전문가로써 응답하도록 요청하는 방법- 배경지식을 암시적으로 이해하고 답변함으로써 성능이 크게 향상됨- LLM에게 프롬프트/질문과 관련된 특정 분야의 전문가를 찾아달라고 요청하고 제시 받은 전문가 인 것처럼 질문에 응답하도록 하여 도메인이 정해지지 않은 서비스에도 제너럴하게 활용할 수 있음- 논란의 여지가 있었으나 MIT 수학 및 EECS 커리큘럼 탐색에 매우 뛰어난 성능을 얻었다고 함

Few shot examples- 충분히 큰 모델에서만 유의미하게 작동- 산술 추론 문제에는 적합하지 않음- 정답을 정확히 주기보다 레이블의 랜덤한 분포를 가진 것이 더 나음  Chain of Thought- LLM에게 이유에 대해서 설명하도록 만들어 답을 더 정확하게 생성하도록 만드는 기술로, 중간 추론 단계를 거치도록 하여복잡한 사고가 필요한 작업에 정확도를 향상 시키는 방법- 답이 나오는 과정에 대해 설명한 예시를 보여주고 지시에 대한 답을 생성할 때 예시와 동일한 방식으로 그에대한 과정을 설명하도록 만듦  Zero-shot CoT"단계별로 생각해봅시다" 라는 문구를 마지막에 추가함으로써 CoT예제를 제공하는 것과 같은 효과를 내어 성능을 향상시키는 방법 Self-ConsistencyLLM이 산술에..

시퀀스 예측 문제에서 사용하는 알고리즘입니다. CTC는 입력 시퀀스와 출력 시퀀스의 길이가 다를 때도 학습이 가능하도록 만들어졌습니다.CTC의 주요 목표는 정렬되지 않은 입력과 출력 간의 매핑을 자동으로 학습하는 것입니다. 예를 들어 음성 데이터에서 특정 문장을 인식하는 경우, 음성의 길이와 문장의 길이가 서로 다를 수 있는데, CTC는 이 두 시퀀스를 정렬 없이도 잘 예측할 수 있도록 해줍니다.CTC의 작동 원리는 다음과 같습니다:확률 분포 생성: 입력 시퀀스를 통해 각 시간 프레임마다 가능한 출력에 대한 확률 분포를 만듭니다.블랭크 토큰 추가: CTC는 출력이 입력보다 짧아질 수 있으므로, '블랭크'라고 불리는 특수 토큰을 추가해 불필요한 시퀀스를 제거할 수 있도록 합니다.경로 합산: 가능한 모든 정..

1. Rule-base AI특징을 인간이 입력2. Machine Learning특징을 직접 추출 (비지도 학습)input * weight (특징) = output데이터로 모델을 만듬 [history]- 2014 seq2seq- 2014 GAN- 2015 Alexaa- 2014 Deep mind- 2015 ResNet- 2015 TensorFLow- 2016 PyTorch - 2016 AlphaGO- 2016 pix2pix- 2016 TPU (tensor processing unit) - 2017 Deepfakes- 2017 Transformer (Google - 텍스트생성. 길이의 제한. 병렬처리)- 2018 BERT (fine-tuning LLM)- 2018 GPT- 2019 EfficientNet (..