ESSENTIAL-WEB V1.0: 24T tokens of organized web data

Описание

ESSENTIAL-WEB V 1.0: 24T токенов организованных веб-данных

В этой статье представлена ESSENTIAL-WEB V 1.0, огромный набор данных объемом 24 триллиона токенов, предназначенный для улучшения обучения языковых моделей. Каждый документ в наборе данных аннотирован таксономией из двенадцати категорий, охватывающей различные аспекты, такие как тема, формат, сложность контента и качество. Эти аннотации генерируются с помощью тонко настроенной модели EAI-Distill-0.5b. Набор данных облегчает эффективную обработку данных с использованием фильтров в стиле SQL, позволяя создавать конкурентоспособные наборы данных в таких областях, как математика, веб-код, STEM и медицина. Авторы демонстрируют полезность набора данных, создавая высокопроизводительные наборы данных в этих областях, достигая сопоставимых или превосходящих результатов по сравнению с существующими современными наборами данных. ESSENTIAL-WEB V 1.0 доступен на HuggingFace для публичного использования и внесения вклада. Цель выпуска этого набора данных - предоставить доступную и понятную экосистему открытых данных для обучения конкурентоспособных языковых моделей. Процесс включает в себя дедупликацию, фильтрацию данных Common Crawl и применение классификатора с высоким уровнем полноты.
#NLP #НаборДанных #ЯзыковыеМодели #ИИ #МашинноеОбучение #ОбработкаДанных #ОткрытыеДанные

документ - https://arxiv.org/pdf/2506.14111v1
подписаться - https://t.me/arxivdotorg
отправить донаты:
USDT: 0xAA7B976c6A9A7ccC97A3B55B7fb353b6Cc8D1ef7
BTC: bc1q8972egrt38f5ye5klv3yye0996k2jjsz2zthpr
ETH: 0xAA7B976c6A9A7ccC97A3B55B7fb353b6Cc8D1ef7
SOL: DXnz1nd6oVm7evDJk25Z2wFSstEH8mcA1dzWDCVjUj9e
создано с помощью NotebookLM

Автор

Paper debate