| 2024년 7월 31일 |
Rama3 모델 무리 |
최신 인공 지능(AI) 시스템은 기초 모델을 기반으로 합니다. |
재단 LLM |
| 2024년 7월 31일 |
ShieldGemma: Gemma 기반 생성적 AI 콘텐츠 조정 |
Gemma2를 기반으로 구축된 LLM 기반 안전 콘텐츠 조정 모델의 포괄적인 제품군인 ShieldGemma를 소개합니다. |
콘텐츠 조정 |
| 2024년 7월 31일 |
MoMa: 고립된 형태의 전문가의 숲을 즐기기 위해 따로 사전 훈련 |
혼합 모달, 초기 융합 언어 모델을 사전 훈련하기 위해 설계된 새로운 양식 인식 전문가 혼합(MoE) 아키텍처인 MoMa를 소개합니다. |
LLM 아키텍처 |
| 2024년 7월 25일 |
AgentScope의 폴리머 폴리머 생성 |
최근 LLM(대형 언어 모델)의 발전으로 대규모 시뮬레이션에 다중 에이전트 시스템을 적용할 수 있는 새로운 길이 열렸습니다. |
자치령 대표 |
| 2024년 7월 23일 |
OpenDevin: 일반 에이전트 AI 소프트웨어 개발자를 위한 개방형 플랫폼 |
소프트웨어는 인간이 사용할 수 있는 가장 강력한 도구 중 하나입니다. |
작업별 LLM |
| 2024년 7월 19일 |
치기 및 지식을 가지고 있어야 하는 언어 모델 |
다양한 배포 규모와 크기를 대상으로 하는 대규모 언어 모델(LLM)은 현재 각 변형을 처음부터 학습하여 생성됩니다. |
지식 증류 |
| 2024년 7월 19일 |
대응 버전의 일관성 및 주체 피드백: 설문 조사 |
LLM(대형 언어 모델)은 정확하게 응답할 것으로 예상되지만 추론이 부족하거나 환각적인 콘텐츠를 생성하는 경우가 많습니다. |
LLM의 자기 피드백 |
| 2024년 7월 19일 |
자율 컴퓨팅의 인수: LLM이 실제로 제작할 수 있습니까? |
20년 전에 제안된 자율 컴퓨팅 비전(ACV)은 생물학적 유기체와 유사하게 자체 관리하고 변화하는 환경에 원활하게 적응하는 컴퓨팅 시스템을 구상합니다. |
다중 에이전트 시스템, 의견서 |
| 2024년 7월 19일 |
LazyLLM: 효율적인 확장을 위해 LLM을 인용하는 것입니다. |
변환기 기반 대형 언어 모델의 추론은 1) 프롬프트의 KV 캐시를 계산하고 첫 번째 토큰을 생성하는 사전 채우기 단계, 2) 후속 토큰을 생성하는 디코딩 단계의 두 가지 순차적 단계로 구성됩니다. |
LLM 가지치기 |
| 2024년 7월 18일 |
사용을 축소하는 경우: 더 큰 모델에는 더 큰 규모가 필요합니다. |
대규모 언어 모델(LLM) 확장에 대한 연구는 주로 모델 매개변수와 훈련 데이터 크기에 중점을 두고 어휘 크기의 역할을 간과했습니다. |
LLM 어휘 |
| 2024년 7월 17일 |
AgentPoison: 살인 메모리 또는 기술 자료를 통해 LLM 에이전트 레드팀 구성 |
LLM 에이전트는 주로 추론, 외부 지식 및 도구 활용, API 호출, 환경과 상호 작용하는 작업 실행 등의 고급 기능으로 인해 다양한 애플리케이션에서 놀라운 성능을 입증했습니다. |
레드팀 |
| 2024년 7월 17일 |
안전하지 않은 비디오 제작에 대한 이해 |
VGM(비디오 생성 모델)은 고품질 출력을 합성하는 기능을 입증했습니다. |
비디오 생성 조정 |
| 2024년 7월 17일 |
Spectra: 삼항, 복잡화 및 FP16 언어 모델에 대한 종합적인 연구 |
훈련 후 양자화는 LLM 추론에서 메모리 관련 병목 현상을 해결하는 주요 방법이지만 안타깝게도 4비트 정밀도 미만에서는 상당한 성능 저하가 발생합니다. |
소규모 언어 모델 |
| 2024년 7월 16일 |
NeedleBench: LLM이 1백만 개의 자산 창에서 검색 및 보유할 수 있는 재고? |
LLM(대형 언어 모델)의 긴 컨텍스트 기능을 평가할 때 원본 긴 문서에서 사용자 쿼리와 관련된 콘텐츠를 식별하는 것은 모든 LLM이 긴 텍스트를 기반으로 질문에 대답하는 데 중요한 전제 조건입니다. |
긴 컨텍스트 |
| 2024년 7월 15일 |
MMM: 다국어 특수 강화 효과 혼합 데이터 세트 및 개방형 크기 추출 정보 추출 언어 모델을 사용하여 테스트 |
상호 강화 효과(MRE)는 정보 추출 및 멀티태스킹 연구에서 유망한 방법을 나타냅니다. |
다국어 LLM |
| 2024년 7월 15일 |
Qwen2-Audio 기술상담 |
다양한 오디오 신호 입력을 수용하고 음성 명령에 대한 오디오 분석이나 직접적인 텍스트 응답을 수행할 수 있는 Qwen2-Audio라는 대규모 오디오 언어 모델인 Qwen-Audio의 최신 진행 상황을 소개합니다. |
기초 모델 |
| 2024년 7월 15일 |
Qwen2 기술정보 |
이 보고서에서는 당사의 대규모 언어 모델과 대규모 다중 모드 모델에 최신 추가된 Qwen2 시리즈를 소개합니다. |
기초 모델 |
| 2024년 7월 14일 |
방법을 배우다: LLM의 개인정보 위험 C |
LLM(대형 언어 모델)은 자연어를 이해하고 생성하는 데 있어 놀라운 기능을 보여줍니다. |
LLM의 개인 정보 보호 |
| 2024년 7월 12일 |
무한 확장 LLM을 유지하는 인간과 퍼포먼스 메모리 |
LLM(대형 언어 모델)은 놀라운 기능을 보여주었지만 여전히 광범위한 컨텍스트를 처리하는 데 어려움을 겪고 있어 긴 시퀀스에 대한 일관성과 정확성을 유지하는 능력이 제한됩니다. |
LLM 메모리 |
| 2024년 7월 12일 |
안전하지 않다고 느낄 때마다 거절하세요: 고립된 거절 교육을 통해 LLM의 안전 개선 |
이 연구는 안전 튜닝 데이터 내의 거부 위치 편향을 식별하고 해결함으로써 LLM(대형 언어 모델)에 대한 안전 튜닝 관행의 중요한 격차를 해결합니다. 이는 안전하지 않은 콘텐츠 생성을 적절하게 거부하는 모델의 능력을 손상시킵니다. |
LLM의 안전 |
| 2024년 7월 11일 |
협력자들의 활동을 비디오로 표현하기 |
우리는 기본적인 비디오 확산 모델을 구축하는 데 상당한 진전을 이루었습니다. |
다중 모드 정렬 |
| 2024년 7월 11일 |
당신의 모델은 정말로 훌륭한 수학 추론가입니까? |
뛰어난 수학적 추론 능력은 LLM(대형 언어 모델)의 힘을 보여주는 주요 기능 중 하나입니다. |
작업별 LLM |
| 2024년 7월 10일 |
PaliGemma: 전송을 위한 다용도 3B VLM |
PaliGemma는 SigLIP-So400m 비전 인코더와 Gemma-2B 언어 모델을 기반으로 하는 개방형 VLM(비전 언어 모델)입니다. |
비전 언어 모델 |
| 2024년 7월 10일 |
코드 생성 평가 데이터에 대해 다음과 같이 설정합니다. |
이 문서에서는 코드 생성 테스트 세트에 의한 오염, 특히 최신 대규모 언어 모델에서의 사용에 대해 고려합니다. |
코드 생성 |
| 2024년 7월 9일 |
에이전트 인터넷: 인텔리전스를 위해 이기종 에이전트 웹 만들기 |
LLM(대형 언어 모델)의 급속한 발전으로 인해 매우 유능한 자율 에이전트를 개발할 수 있는 기반이 마련되었습니다. |
다중 에이전트 시스템 |
| 2024년 7월 6일 |
규칙: 의료용 렌즈의 사실성을 포함할 수 있는 다수의 모드 RAG |
최근 Med-LVLM(의료용 대형 비전 언어 모델)의 출현으로 의료 진단이 향상되었습니다. |
작업별 LLM |
| 2024년 7월 5일 |
LLM을 정책화하는 책임 LLM의 확장성을 갖는 감독 |
확장 가능한 감독 프로토콜은 인간이 초인간적인 AI를 정확하게 감독할 수 있도록 하는 것을 목표로 합니다. |
LLM 평가 |
| 2024년 7월 4일 |
Stark: 융합소나 극중 지식을 활용한 사회 장기 다중화 대화 |
인간은 인스턴트 메시징 도구를 통해 대화를 통해 개인적인 경험과 관련된 다양한 이미지를 공유합니다. |
다중 모드 모델 |
| 2024년 7월 4일 |
버전 메뉴 아이콘 창 평가: "작업 메모리" 테스트 및 시간 수정 |
대규모 언어 모델은 실제 응용 프로그램에서 눈에 띄게 사용되며 종종 대량의 문서에 대한 추론 작업을 수행합니다. |
LLM 컨텍스트 평가 |
| 2024년 7월 3일 |
AgentInstruct: 에이전트를 구성하는 적 교육을 유도하여 |
크고 작은 언어 모델의 개발을 가속화하기 위해 합성 데이터가 점점 더 중요해지고 있습니다. |
자치령 대표 |
| 2024년 7월 3일 |
HEMM: 다중 기반의 종합 평가 |
이미지, 비디오, 오디오 및 기타 감각 양식과 함께 텍스트를 전체적으로 처리할 수 있는 다중 모드 기반 모델이 다양한 실제 응용 프로그램에서 점점 더 많이 사용되고 있습니다. |
다중모달 모델 평가 |
| 2024년 7월 3일 |
InternLM-XComposer-2.5: 장거리 상황별 입력 및 출력을 지원하는 크기 대형 비전 언어 모델 |
우리는 긴 상황별 입력 및 출력을 지원하는 다목적 대형 비전 언어 모델인 InternLM-XComposer-2.5(IXC-2.5)를 제시합니다. |
기초 모델 |
| 2024년 7월 2일 |
잘못된 안전의식: '안전한' AI 응답에서 안전하지 않은 정보 제공 |
LLM(대형 언어 모델)은 해롭거나 일반적으로 허용되지 않는 출력을 유도하는 탈옥$\unicode{x2013}$방법에 취약합니다. |
LLM의 안전 |
| 2024년 7월 2일 |
잊을 것인가 말 것인가? |
광범위한 말뭉치에 대해 훈련된 LLM(대형 언어 모델)은 필연적으로 개인 정보 보호 정보 및 저작권 자료와 같은 민감한 데이터를 유지합니다. |
모델 언러닝 |
| 2024년 7월 1일 |
건초 더미 요약: 장기 컨텍스트 LLM 및 RAG 시스템에 대한 과제 |
LLM 및 RAG 시스템은 이제 수백만 개 이상의 입력 토큰을 처리할 수 있습니다. |
LLM 컨텍스트 길이 |
| 2024년 6월 30일 |
단계 제어 DPO: 확실하게 신뢰할 수 있도록 단계적 오류 활용 |
DPO(직접 선호 최적화)는 추론 및 정렬과 같은 다운스트림 작업에서 LLM(대형 언어 모델)의 성능을 향상시키는 데 효과적인 것으로 입증되었습니다. |
정책 최적화 |
| 2024년 6월 30일 |
지식 체인: 지식 그래프에서 학습 가능하게 신뢰할 수 있는 언어 모델에 통합 |
대형 언어 모델(LLM)은 점점 더 복잡해지는 추론을 포함하는 다양한 자연어 처리(NLP) 작업에서 인상적인 능력을 보여왔습니다. |
LLM의 지식 통합 |
| 2024년 6월 29일 |
검색만 필요한 경우 컨텍스트가 정말 긴 것입니까? |
언어 모델 기능의 향상으로 인해 해당 응용 프로그램이 더 긴 컨텍스트로 확장되어 장기 컨텍스트 평가 및 개발이 활발한 연구 영역이 되었습니다. |
LLM 컨텍스트 |