선선

nohup vs screen nohup: 대화형이 아닌 백그라운드 프로세스용 screen: 나중에 다시 접근할 수 있는 대화형 세션용 https://velog.io/@jisu2281l/%EB%A1%9C%EC%BB%AC%EC%97%90%EC%84%9C-%EC%84%9C%EB%B2%84-%EB%B0%B1%EA%B7%B8%EB%9D%BC%EC%9A%B4%EB%93%9C%EB%A1%9C-%EB%8F%8C%EB%A6%AC%EA%B8%B0-nohub%EA%B3%BC-Screen 로컬에서 서버 백그라운드로 돌리기! nohub과 Screen 업로드중..프론트, 백 동시에 로컬에서 개발하려면 백 서버를 백그라운드로 돌리고 싶어진다. 그래서 어떤 방법이 있나 찾다가 screen이라는 게 있다는 걸 처음 알았다. nohub..

데이터 타입에 따른 계산 차이 정수형 및 실수형이라해도 어떤 데이터타입인지에 따라 minimum value와 maximum value가 다르다. 데이터 타입을 꼭 확인하자. https://shek.tistory.com/48 uint8/16/32/64_t 의미 shek.tistory.com np.mean vs. np.average average에는 weighted average를 적용할 수 있다. https://www.geeksforgeeks.org/how-is-np-mean-different-from-np-average-in-numpy/

AWS TechCamp Web Application with Serverless https://sunny1212.tistory.com/364 AWS TechCamp: Web Application with Serverless 자료와 실습 링크는 public하게 공유를 안하는 것 같아, 여기에 그대로 올리지 않겠다. 참고: https://kr-resources.awscloud.com/aws-builders-korea-program 서버리스란? 서버리스 서비스는 차별화되지 않은 운영 sunny1212.tistory.com 정적 웹 페이지와 동적 웹페이지 차이 정적 웹 페이지 (Static) 웹 서버에 이미 저장된 파일(HTML 파일, 이미지, JavaScript 파일 등)을 클라이언트에게 전송하는 웹 페이지다..

GPU 체크 방법 # gpu 체크해줍니다. import torch device = torch.device("cuda" if torch.cuda.is_available() else "cpu") print('Device:', device) #Device: cuda print('Current cuda device:', torch.cuda.current_device()) #Current cuda device: 0 print('Count of using GPUs:', torch.cuda.device_count()) print('GPU name:', torch.cuda.get_device_name(0)) #!nvidia-smi OpenAPI embedding 사용 관해 1. openapi에 text를 넣어 임베딩을..

서버 conda 설치 오류 conda: command not found 원인: 아나콘다 설치 폴더가 환경변수에 제대로 등록되지 않아서 발생한다. 해결방법: export PATH=~/anaconda3/bin:$PATH https://codest.tistory.com/4 [Error] conda : command not found 에러 해결법 (아나콘다 설치 오류) 에러 Ubuntu 환경 내에 올바르게 Anaconda를 설치했음에도 불구하고 conda : command not found라는 에러가 떴고 Anaconda 관련된 모든 명령어가 실행되지 않았습니다. 이는 아나콘다 설치 폴더가 환경변수에 codest.tistory.com

이미지 데이터에서 픽셀 값(숫자)가 클수록 밝은색이다. Neumann boundary condition이란? 경계에서 점의 미분값을 주는 것 https://www.sciencedirect.com/topics/engineering/neumann-boundary-condition

output과 input에 ELMo 넣는 부분에 대하여 논문 “Where to include ELMo?” 부분 중 token embedding과 word embedding은 다르다. token: word를 더 쪼갠 단위. https://www.innerdoc.com/periodic-table-of-nlp-tasks/14-tokenization/ 14 - Tokenization Many NLP tasks make use of intensive matrix calculations, for which word id’s are used, rather than words. For this, raw text is split up into tokens that represent (sub)words. www.inner..

semantic entropy 같은 의미를 갖는 것끼리 클러스터링하고, 그 클러스터링끼리 엔트로피를 구한다. Honesty Alignment 모델의 internal working(모델이 지식을 아는지, 모르는지)를 몰라서 모델의 honest를 판단하기 어렵다. 모델의 output을 보고 uncertainty를 판단할 수 있다. 특정 threshold 보다 낮으면 “idk response” 모델이 instruction tuning data에 대해는 학습되지 않아서 모른다고 학습을 한다. 언어 불확실성에 calibration을 바로 적용하는 것은 어렵다. LLM에서도 calibration 연구가 이루어지고 있는데, 궁극적으로 classification에 적용한다. mmlu는 language understan..

Pytorch Dataset 구성요소 init, len, getitem 모델 구성요소 2가지 init, forward Vectorization 연산 적용 차이

Large language transformer 파생 개요도 https://magazine.sebastianraschka.com/p/understanding-encoder-and-decoder Understanding Encoder And Decoder LLMs Several people asked me to dive a bit deeper into large language model (LLM) jargon and explain some of the more technical terms we nowadays take for granted. This includes references to "encoder-style" and "decoder-style" LLMs. What do these terms me..