| 2024년 6월 28일 |
Step-DPO: LLM의 장쇄 공유를 개선하는 것이 좋습니다. |
수학적 추론은 정확성을 위해 요구되는 광범위하고 정확한 추론 체인으로 인해 대형 언어 모델(LLM)에 중요한 과제를 제시합니다. |
수학적 추론, 최적화 |
| 2024년 6월 28일 |
1,000,000,000개의 신념소나로합성 데이터 생성 확장 |
우리는 대규모 언어 모델(LLM) 내에서 다양한 관점을 활용하여 다양한 합성 데이터를 생성하는 새로운 페르소나 중심 데이터 합성 방법론을 제안합니다. |
합성 데이터 생성 |
| 2024년 6월 27일 |
이에 따르면 WildTeaming: 계속 내 탈옥부터 (적대적으로) 더 안전한 환경 모델까지 |
실제 사용자-챗봇 상호 작용을 마이닝하여 새로운 탈옥 전술의 5.7K 고유 클러스터를 발견한 다음 새로운 탈옥을 체계적으로 탐색하기 위한 여러 전술을 구성하는 자동 LLM 안전 레드팀 구성 프레임워크인 WildTeaming을 소개합니다. |
레드팀, LLM 공격 |
| 2024년 6월 27일 |
LiveBench: 장애물을 따르지 않는 LLM 벤치마크 |
벤치마크의 테스트 데이터가 최신 모델의 훈련 세트에 포함되는 테스트 세트 오염은 공정한 LLM 평가를 위한 잘 문서화된 장애물이며 벤치마크를 빠르게 쓸모 없게 만들 수 있습니다. |
벤치마크, 데이터세트 |
| 2024년 6월 26일 |
LLM에 필요한 사항 설명: 검색 생성을 선호하는 경우 |
RAG(검색 증강 생성)는 LLM(대형 언어 모델)의 환각 문제를 완화하는 데 효과가 있음을 입증했습니다. |
RAG, 정렬 |
| 2024년 6월 21일 |
LongRAG: 장기간 LLM을 사용하여 생성 강화 |
전통적인 RAG 프레임워크에서 기본 검색 단위는 일반적으로 짧습니다. |
조각 |
| 2024년 6월 20일 |
클로드 3.5 소네트 |
오늘 우리는 Claude 3.5 Sonnet을 출시합니다. 곧 출시될 Claude 3.5 모델 제품군의 첫 번째 릴리스입니다. |
기초 LLM |
| 2024년 6월 20일 |
LLM은 가르치면서 배울 수 있나요? |
학생 모델(예: 지식 증류)을 개선하기 위한 교육은 LLM에서 광범위하게 연구되는 방법론입니다. |
LLM 학습 |
| 2024년 6월 19일 |
장문맥락 언어 모델이 검색, RAG, SQL 등을 포함할 수 있나요? |
LCLM(장문맥락 언어 모델)은 검색 시스템이나 데이터베이스와 같은 외부 도구에 전통적으로 의존했던 작업에 대한 접근 방식을 혁신할 수 있는 잠재력을 가지고 있습니다. |
긴 컨텍스트, 분석 |
| 2024년 6월 18일 |
심사위원 심사: LLM의 반대 및 반응성 평가 |
인간 평가와 관련된 확장성 문제에 대한 유망한 솔루션을 제공하는 LLM-as-a-Judge 패러다임은 LLM(대형 언어 모델)을 평가하는 접근 방식으로 빠르게 주목을 받고 있습니다. |
평가 |
| 2024년 6월 18일 |
RAG 부분에서 다양하게: 언어 모델이 사실적 쿼리를 위해 개별 정보에 대한 외부 지식을 활용하는 방법 조사 |
RAG(Retrieval Augmented Generation)는 외부 컨텍스트를 사용하여 특정 사용자 프롬프트에 대한 응답을 증대시키는 언어 모델의 기능을 강화합니다. |
RAG, 지식통합 |
| 2024년 6월 18일 |
PlanRAG: 의사 결정자로서 생성된 대형 음향 모델을 계획한 후 저장하십시오. |
. |
RAG, 지식통합 |
| 2024년 6월 17일 |
셀프 MoE: 셀프 전문가 전문가와 함께 구성적인 인기 있는 언어 모델에 따라 |
우리는 모놀리식 LLM을 MiXSE(MiXture of Self-specialized Experts)라는 자체 전문 전문가의 구성 모듈식 시스템으로 변환하는 접근 방식인 Self-MoE를 제시합니다. |
전문가의 혼합, LLM 아키텍처 |
| 2024년 6월 17일 |
mDPO: 다중 모드 대형 언어 모델을 선호하는 조건을 최적화합니다. |
DPO(직접 선호 최적화)는 LLM(대형 언어 모델) 정렬을 위한 효과적인 방법인 것으로 나타났습니다. |
최적화 |
| 2024년 6월 15일 |
자체: LLM이 자체 교육을 통해 첨단 지식을 활용할 수 있도록 교육 |
대규모 언어 모델(LLM)은 일회성 교육과 끊임없이 변화하는 세계 특성으로 인해 최신 정보를 제공하는 데 어려움을 겪는 경우가 많습니다. |
LLM 교육, 지식 통합 |
| 2024년 6월 15일 |
DeepSeek-Coder-V2 |
우리는 코드별 작업에서 GPT4-Turbo에 필적하는 성능을 달성하는 오픈 소스 MoE(Mixture-of-Experts) 코드 언어 모델인 DeepSeek-Coder-V2를 제시합니다. |
도메인별 LLM |
| 2024년 6월 14일 |
Nemotron-4 340B 기술상담 |
Nemotron-4-340B-Base, Nemotron-4-340B-Instruct 및 Nemotron-4-340B-Reward를 포함한 Nemotron-4 340B 모델 제품군을 출시합니다. |
기초 LLM |
| 2024년 6월 14일 |
오픈소라 1.2 |
고품질 영상을 효율적으로 제작하기 위한 이니셔티브인 Open-Sora를 설계하고 구현합니다. |
다중 모드 기본 모델 |
| 2024년 6월 14일 |
금붕어처럼 되세요. 외우지 마세요! |
대규모 언어 모델은 훈련 데이터를 기억하고 반복하여 개인 정보 보호 및 저작권 위험을 초래할 수 있습니다. |
새로운 손실 |
| 2024년 6월 13일 |
이미지는 16x16 패치보다 더 가치가 있습니다: 개별 픽셀에서 트랜스포머 탐색 |
이 작업은 새로운 방법을 도입하지 않습니다. |
컨벌루션 네트워크, 변환기 |
| 2024년 6월 13일 |
멋진 스케치 패드: 다중 모드 언어 모델을 참조하는 사고 폴리머 스케치 |
인간은 추론을 용이하게 하기 위해 그림을 그립니다. 기하학 문제를 풀 때 보조선을 그립니다. |
다중 모드 모델, 프롬프트 엔지니어링 |
| 2024년 6월 12일 |
용도별 테이블 이해 |
LLM(대형 언어 모델)을 기반으로 한 최근 접근 방식을 포함하여 이전 테이블 이해 방법이 큰 진전을 이루었지만 모델 입력으로 사용하려면 주어진 테이블을 특정 텍스트 시퀀스(예: Markdown 또는 HTML)로 변환해야 한다는 전제에 크게 의존합니다. |
도메인별 LLM |
| 2024년 6월 11일 |
TextGrad: 텍스트를 인사말 '차별화' |
AI는 여러 LLM(대형 언어 모델) 및 기타 복잡한 구성 요소를 조율하는 시스템을 통해 획기적인 발전을 이루면서 패러다임 전환을 겪고 있습니다. |
최적화 알고리즘 |
| 2024년 6월 11일 |
한 박자도 빼지 마십시오: "중간" 지붕을 통해 언어 모델의 외부 창 확장을 축소하는 효율적인 방법 |
최근에는 사전 학습된 LLM(대형 언어 모델)의 컨텍스트 길이를 확장하기 위한 많은 방법이 개발되었지만 목표 길이(??K)에서 미세 조정이 필요한 경우가 많고 컨텍스트 중간 부분의 정보를 효과적으로 활용하는 데 어려움을 겪는 경우가 많습니다. |
컨텍스트 길이 |
| 2024년 6월 11일 |
다양한 건초의 직업 |
MLLM(다중 모드 대형 언어 모델)의 급속한 발전으로 인해 해당 모델의 평가가 점점 더 포괄적이 되었습니다. |
다중 모드 모델 |
| 2024년 6월 11일 |
AI의 게임 로그 생성 |
이 작업은 Generative AI를 사용한 상황 내 학습(ICL)의 환각 비율을 추정하는 것입니다. |
환각 |
| 2024년 6월 11일 |
간단하고 효율적인 확장 언어 모델 |
확산 모델은 고품질 이미지를 생성하는 데 탁월하지만 이전 연구에서는 언어 모델링에서 확산과 자동 회귀(AR) 방법 사이에 상당한 성능 차이가 있다고 보고했습니다. |
확산 모델 |
| 2024년 6월 11일 |
단축키를 통해 탈옥 공격에 대한 유용함을 얻습니다. |
탈옥 공격과 같은 적대적 조작에 대한 대규모 언어 모델(LLM)의 견고성은 여전히 중요한 과제로 남아 있습니다. |
적대적 공격, 탈옥 |
| 2024년 6월 10일 |
자연어 계획: 자연어 계획에 대한 LLM 벤치마킹 |
여행 계획, 회의 계획, 달력 일정의 3가지 핵심 작업을 포함하는 자연어 기반의 현실적인 계획 벤치마크인 NATURAL PLAN을 소개합니다. |
에이전트, 기획 |
| 2024년 6월 7일 |
SelfGoal: 언어 에이전트는 이미 높은 수준의 목표를 달성하는 방법을 알고 있습니다. |
LLM(대형 언어 모델)을 기반으로 하는 언어 에이전트는 게임 및 프로그래밍과 같은 영역의 의사 결정 도구로서 점점 더 가치가 높아지고 있습니다. |
에이전트, 작업 분해 |
| 2024년 6월 7일 |
CRAG - 종합 RAG 벤치마크 |
검색 증강 생성(RAG)은 최근 LLM(대형 언어 모델)의 지식 부족 문제를 완화할 수 있는 유망한 솔루션으로 떠오르고 있습니다. |
RAG, 벤치마크 |
| 2024년 6월 7일 |
에이전트 제작으로 언어 기능을 지원합니다. |
대규모 언어 모델(LLM)의 최근 발전은 자연어 이해 및 생성 작업에서 상당한 기능을 보여줍니다. |
에이전트, 다중 에이전트 |
| 2024년 6월 6일 |
AgentGym: 다양한 환경에서 대형 언어 기반 에이전트의 진화 |
다양한 작업을 처리하고 다양한 환경에서 스스로 발전할 수 있는 범용 에이전트를 구축하는 것은 AI 커뮤니티의 장기적인 목표입니다. |
자치령 대표 |
| 2024년 6월 6일 |
MMLU는 이제 끝났나요? |
어쩌면 그렇지 않을 수도 있습니다. |
평가, 업무 벤치마크 |
| 2024년 6월 6일 |
GenAI Arena: 생성된 모델을 기념하여 평가 플랫폼 |
생성적 AI(Generative AI)는 이미지 및 비디오 생성과 같은 분야에 혁명을 일으키기 위해 눈부신 발전을 이루었습니다. |
평가 |
| 2024년 6월 6일 |
희소 자동 통합 및 평가 |
희소 자동 인코더는 희소 병목 현상 계층에서 활성화를 재구성하여 언어 모델에서 해석 가능한 기능을 추출하기 위한 유망한 비지도 접근 방식을 제공합니다. |
LLM 아키텍처 |
| 2024년 6월 6일 |
생각하는 것: 보관된 언어 모델을 사용하여 소비하는 것이 좋습니다. |
LLM(대형 언어 모델)의 정확성, 효율성 및 견고성을 향상하기 위한 새롭고 다재다능한 사고 증강 추론 접근 방식인 BoT(Buffer of Thoughts)를 소개합니다. |
RAG, 지식통합 |
| 2024년 6월 5일 |
자동 프로세스 감독자를 통해 언어 모델의 논리적 수 있도록 개선 |
수학적 문제 해결이나 코드 생성과 같은 복잡한 다단계 추론 작업은 가장 발전된 LLM(대형 언어 모델)에도 여전히 중요한 장애물로 남아 있습니다. |
수학 추론 |
| 2024년 6월 5일 |
SaySelf: 자기 성찰적 명상을 통해 LLM에게 배송을 표현하도록 교육 |
대규모 언어 모델(LLM)은 부정확하거나 조작된 정보를 생성하는 경우가 많으며 일반적으로 신뢰도를 나타내지 못하여 광범위한 적용이 제한됩니다. |
LLM 교육, LLM 과제 |
| 2024년 6월 4일 |
대체 버전의 공개 모델 안내 |
이미지 생성 확산 모델의 주요 관심 축은 이미지 품질, 결과의 변동 정도, 결과가 클래스 레이블 또는 텍스트 프롬프트와 같은 주어진 조건과 얼마나 잘 일치하는지입니다. |
확산 모델 |
| 2024년 6월 4일 |
LLM을 믿으거나 받아들이겠습니다 |
우리는 쿼리에 대한 응답의 불확실성이 큰 시기를 식별하는 것을 목표로 LLM(대형 언어 모델)의 불확실성 정량화를 탐구합니다. |
환각, 불확실성 추정 |
| 2024년 6월 3일 |
자기 개선 선호도 최적화 |
PPO 및 DPO와 같은 온라인 및 오프라인 RLHF 방법 모두 AI를 인간 선호도에 맞추는 데 매우 성공적이었습니다. |
최적화, 정렬 |
| 2024년 6월 3일 |
LLM의 확장 가능한 방향을 선택하여: 응답 조사 |
정렬은 인간의 요구를 충족하는 대규모 언어 모델(LLM)을 구축하는 데 가장 중요한 단계입니다. |
조정 |
| 2024년 6월 2일 |
표시하고 표시주기: 인증된 피드백으로 언어 스타일 조정 |
언어 모델은 많은 사람들의 집단적 목소리를 에뮬레이트하도록 정렬되어 특정 누구와도 일치하지 않는 출력을 생성합니다. |
조정 |
| 2024년 6월 1일 |
변압기는 SSM입니다: 구조화된 상태 공간의 이중성을 위한 모델 및 효율적인 변환 |
Transformers는 언어 모델링에서 딥 러닝의 성공을 뒷받침하는 주요 아키텍처였지만 최근 Mamba와 같은 상태 공간 모델(SSM)은 중소 규모에서 Transformer와 일치하거나 더 나은 성능을 보이는 것으로 나타났습니다. |
LLM 아키텍처 |
| 2024년 6월 1일 |
가상의 세션 헤드셋: 헤드셋을 통해 민속 축제 |
문화적 축적은 인류 역사를 관통하는 역량의 개방적이고 다양한 발전을 주도합니다. |
문화적 적응 |