| 2024년 5월 31일 |
LLM은 고차원 정신 이론 게임에서 성인 인간의 성과를 달성합니다 |
이 논문에서는 LLM(대형 언어 모델)이 ToM(고차원 정신 이론)을 개발한 정도를 조사합니다. |
마음이론 |
| 2024년 5월 30일 |
JINA CLIP: 귀하의 CLIP 모델은 또한 귀하의 검색기입니다 |
CLIP(Contrastive Language-Image Pretraining)는 이미지와 텍스트를 고정 크기 벡터에 매핑하여 공통 임베딩 공간에 정렬하도록 모델을 훈련하는 데 널리 사용됩니다. |
다중 모드 모델 |
| 2024년 5월 30일 |
Parrot: 의미를 활용하여 LLM 기반의 효율적인 제공 |
대규모 언어 모델(LLM)의 등장으로 LLM과 기존 소프트웨어의 장점을 결합한 새로운 소프트웨어 패러다임인 LLM 기반 애플리케이션(일명 AI 에이전트 또는 부조종사)이 가능해졌습니다. |
LLM 에이전트 |
| 2024년 5월 30일 |
이에 따라: 작은 참조 모델을 사용하여 데이터 정리 |
이 연구에서는 소규모 언어 모델이 대규모 언어 모델의 성능을 향상시키는 대규모 텍스트 데이터 세트의 고품질 하위 집합을 결정할 수 있는지 여부를 조사합니다. |
소규모 언어 모델 |
| 2024년 5월 30일 |
GNN-RAG: 권위있는 사용자 기능을 사용하기 위해 그래프를 검색합니다. |
지식 그래프(KG)는 인간이 만든 사실적 지식을 세 쌍(머리, 관계, 꼬리)의 형태로 나타내며, 이를 집합적으로 그래프로 구성합니다. |
지식 그래프의 RAG |
| 2024년 5월 29일 |
자체 추구 언어 모델: 온라인 선택을 선호하는 유도 |
특히 RLHF(인간 피드백 강화 학습)를 통한 선호도 최적화는 인간 의도를 준수하도록 LLM(대형 언어 모델)을 정렬하는 데 상당한 성공을 거두었습니다. |
정렬, 선호도 최적화 |
| 2024년 5월 28일 |
OpenRLHF: 사용하기 쉬운 확장형 복합 RLHF 프레임워크 |
대규모 언어 모델(LLM)이 확장 법칙에 따라 지속적으로 성장함에 따라 인간 피드백을 통한 강화 학습(RLHF)은 뛰어난 성능으로 인해 큰 주목을 받았습니다. |
RLHF, 툴킷 |
| 2024년 5월 28일 |
LLAMA-NAS: 권위있는 언어 모델을 절약하기 위해 편집하기 |
자연어 처리, 복잡한 추론, 정서 분석 및 기타 작업을 해결하는 현대 대형 언어 모델(LLM)의 능력은 탁월하여 광범위한 채택을 촉발했습니다. |
신경 아키텍처 검색, 모델 크기 감소 |
| 2024년 5월 28일 |
Don?셳 연결하는 것을 잊지 마세요! |
RAG(검색 증강 생성)는 기존 문서의 컨텍스트를 기반으로 생성을 기반으로 LLM(대형 언어 모델) 응답 성능을 크게 향상시켰습니다. |
추론을 위한 RAG |
| 2024년 5월 27일 |
Meteor: 대규모 언어 및 비전 모델에 대한 Mamba 기반 이론적 근거 탐색 |
LLVM(대규모 언어 및 비전 모델)의 급속한 개발은 시각적 명령 조정의 발전에 의해 주도되었습니다. |
상태공간 모델, 다중 모드 모델 |
| 2024년 5월 27일 |
비전 언어 소개 |
최근 LLM(대형 언어 모델)의 인기에 따라 이를 시각적 영역으로 확장하려는 여러 시도가 이루어졌습니다. |
다중모달 모델, 설문조사 |
| 2024년 5월 27일 |
마트료시카 다수 편집 사진 |
LLaVA와 같은 LMM(Large Multimodal Model)은 시각적 언어 추론에서 강력한 성능을 보여주었습니다. |
다중 모드 모델 |
| 2024년 5월 27일 |
Trans-LoRA: 데이터 없는 전송을 목적으로 하는 효율적인 선별을 지향합니다. |
LoRA(낮은 순위 어댑터) 및 그 변형은 소수의 추가 매개변수만 필요로 하면서 전체 모델 미세 조정 성능과 거의 일치하는 널리 사용되는 PEFT(매개변수 효율적 미세 조정) 기술입니다. |
PEFT 방법, 미세 조정 |
| 2024년 5월 26일 |
언어 모델 변경을 위한 자체 활동 기본 설정 최적화 |
Bradley-Terry 모델과 같은 파라메트릭 모델에 의존하는 인간 피드백을 통한 전통적인 강화 학습(RLHF) 접근 방식은 인간 선호도의 비전환성과 비합리성을 포착하는 데 부족합니다. |
정렬, 최적화 |
| 2024년 5월 23일 |
모든 언어 기능이 있는 것은 아닙니다. |
최근 작업에서는 선형 표현 가설을 제안했습니다. 즉, 언어 모델은 활성화 공간에서 개념(?쐄특성??)의 1차원 표현을 조작하여 계산을 수행합니다. 이와 대조적으로 우리는 일부 언어 모델 표현이 본질적으로 다차원일 수 있는지 탐구합니다. 우리는 독립적이거나 동시 발생하지 않는 저차원 기능으로 분해될 수 있는지 여부에 따라 환원 불가능한 다차원 기능에 대한 엄격한 정의를 개발하는 것부터 시작합니다. 이러한 정의에 동기를 부여하여 다음을 사용하는 확장 가능한 방법을 설계합니다. |
선형 표현 분석 |
| 2024년 5월 23일 |
AlignGPT: 다목적 기능을 사용하여 다양한 크기의 언어 모델 |
MLLM(Multimodal Large Language Model)은 AGI(Artificial General Intelligence) 탐색에 중요한 것으로 널리 알려져 있습니다. |
정렬, 다중 모드 모델 |
| 2024년 5월 23일 |
HippoRAG: 신경생물학적으로 권위를 갖는 언어 모델을 장기 기억 |
적대적이고 끊임없이 변화하는 자연 환경에서 번성하기 위해 포유류의 두뇌는 세상에 대한 많은 양의 지식을 저장하고 치명적인 망각을 피하면서 지속적으로 새로운 정보를 통합하도록 진화했습니다. |
RAG 최적화 |
| 2024년 5월 21일 |
OmniGlue: 기본 모델 지침과 일반화 지원 기능 일치 |
이미지 매칭 분야에서는 기존 벤치마크에서 성능이 계속 향상되면서 새로운 학습 가능한 특징 매칭 기술이 지속적으로 출현하고 있습니다. |
다중 모드 모델 |
| 2024년 5월 20일 |
MoRA: 선별적으로 소수만을 선별하여 상위 업데이트를 진행합니다. |
LoRA(낮은 순위 적응)는 LLM(대형 언어 모델)에 널리 사용되는 PEFT(매개변수 효율적 미세 조정) 방법입니다. |
PEFT 접근법, 미세 조정 |
| 2024년 5월 19일 |
변환기는 비밀리에입니다 |
본 논문에서는 GPT, LLaMA, OPT, BLOOM 등의 모델을 포함하여 트랜스포머 디코더에만 있는 새로운 선형 특성을 밝힙니다. |
변압기 분석 |
| 2024년 5월 18일 |
LoRA 연구소 구축 및 융합을 위한 모듈식 LLM을 향하여 |
기본 LLM(대형 언어 모델)의 매개변수 효율적인 적응이 증가함에 따라 훈련된 어댑터를 재사용하여 새로운 작업의 성능을 향상시킬 수 있는지 여부를 연구해야 합니다. |
PEFT 접근법, 미세 조정, 툴킷 |
| 2024년 5월 16일 |
카멜레온: + + 수평 밑 베이스 모델 |
임의의 순서로 이미지와 텍스트를 이해하고 생성할 수 있는 초기 융합 토큰 기반 혼합 모드 모델 제품군인 Chameleon을 소개합니다. |
다중 모드 모델, 기초 모델 |
| 2024년 5월 16일 |
다중 기반 모델의 다중 장면별 학습 |
대규모 언어 모델은 ICL(Few-Shot In-Context Learning)에 효과적인 것으로 잘 알려져 있습니다. |
ICL, 다중 모드 모델 |
| 2024년 5월 15일 |
LoRA는 제거됩니다. |
LoRA(Low-Rank Adaptation)는 대규모 언어 모델에 널리 사용되는 매개변수 효율적인 미세 조정 방법입니다. |
PEFT 접근법, 미세 조정 |
| 2024년 5월 14일 |
온라인 교체와 다르게 대응하는 기능은 이해됩니다. |
인간 피드백을 통한 강화 학습(RLHF)은 대규모 언어 모델 정렬을 위한 표준 프레임워크입니다. |
조정 |
| 2024년 5월 13일 |
RLHF 작업: 보상 모형에서 온라인 RLHF까지 |
이 기술 보고서에서는 인간 피드백을 통한 온라인 반복 강화 학습(RLHF)의 워크플로우를 제시합니다. 이는 최근 LLM(대형 언어 모델) 문헌에서 오프라인 대응보다 훨씬 뛰어난 성능을 보인다고 널리 보고되었습니다. |
선호도 최적화, RLHF |
| 2024년 5월 2일 |
PROMETHEUS 2: 다른 언어 모델 평가에 특화된 오픈소스 언어 모델 |
GPT-4와 같은 독점 LM은 다양한 LM의 응답 품질을 평가하는 데 종종 사용됩니다. |
평가, 에이전트 |
| 2024년 5월 2일 |
WILDCHAT: 계속해서 대화를 나누세요 100만 개 |
GPT-4 및 ChatGPT와 같은 챗봇은 현재 수백만 명의 사용자에게 서비스를 제공하고 있습니다. |
벤치마크, 평가 |
| 2024년 5월 2일 |
군대 확산: 연주 이미지 및 비디오 제작을 환영합니다. |
최근 확산 기반 생성 모델의 경우 생성된 일련의 이미지, 특히 피사체와 복잡한 세부 정보가 포함된 이미지에서 일관된 콘텐츠를 유지하는 것은 중요한 과제입니다. |
다중 모드 모델, 확산 |
| 2024년 5월 2일 |
FLAME: 보존 언어 모델을 인정해야 합니다. |
정렬은 사전 훈련된 대형 언어 모델(LLM)을 미세 조정하여 자연어 지침을 따르고 유용한 AI 보조자 역할을 하는 표준 절차입니다. |
정렬, 사실성 |
| 2024년 5월 2일 |
NeMo-Aligner: 효율적인 방향 전환을 위한 확장형 툴킷 |
LLM(대형 언어 모델)을 인간의 가치 및 선호 사항에 맞추는 것은 LLM을 유용하고 안전하게 만드는 데 필수적입니다. |
정렬, 툴킷 |
| 2024년 5월 1일 |
편집 배치 크기가 클수록 항상 더 좋습니까? |
본 연구에서는 최신 대형 언어 모델인 Llama-3를 중심으로 타겟 모델 편집 분석을 제시합니다. |
모델 편집 |
| 2024년 5월 1일 |
LoRA Land: GPT-4와 경쟁하는 310개의 미세 조정된 LLM, 기술 보고서 |
LoRA(Low Rank Adaptation)는 LLM(Large Language Models)의 PEFT(Parameter Efficient Fine-Tuning)에 가장 널리 채택되는 방법 중 하나로 부상했습니다. |
PEFT 접근법, 미세 조정 |