По мере того как большие языковые модели (LLM), такие как ChatGPT, продолжают совершенствоваться, ожидания пользователей от них продолжают расти, в том числе в отношении того, насколько быстро они могут реагировать на наши все более сложные запросы, запрашивающие ответы на все более сложные проблемы и задачи. Традиционные LLM основаны на концепции «авторегрессивного декодирования», где каждый элемент («токен») в последовательности предсказывается на основе ранее сгенерированных выходных данных. Такой подход неизбежно приводит к задержкам при обработке более сложных подсказок, хотя исследователи пытались смягчить это с помощью проектов, более эффективно использующих параллелизм многоядерных компьютерных чипов. Например, спекулятивное декодирование использует быструю черновую модель для предложения токенов, которые затем параллельно проверяются более медленной, высококачественной моделью. Новый класс методов вместо этого использует «семантическую независимость», выявляя синтаксические шаблоны, такие как пункты списка, и параллельно раскрывая каждый из них. Однако они опираются на вручную созданные синтаксические эвристики, которые нестабильны и часто дают сбои, когда ответы отклоняются от ожидаемых форматов. Эти недостатки вдохновили исследователей из Лаборатории компьютерных наук и искусственного интеллекта Массачусетского технологического института (CSAIL) и Google использовать подход, основанный на обучении, для параллельного декодирования. Вместо того, чтобы полагаться на фиксированные правила, их метод обучает LLM распознавать семантическую независимость, то есть параллельно идентифицировать и декодировать семантически независимые фрагменты текста. В частности, метод параллельной структурной аннотации (PASTA), разработанный командой CSAIL, позволяет магистрам права генерировать текст параллельно, значительно ускоряя время ответа . В отличие от предыдущих попыток, которые опирались на жёсткие, вручную запрограммированные правила для определения независимых текстовых сегментов, PASTA позволяет магистрам права изначально понимать и выражать эти возможности параллелизации в своих ответах. Этот подход, называемый «обученным асинхронным декодированием», знаменует собой переход к обучению моделей самостоятельной стратегии параллельного декодирования. Результаты исследования опубликованы на сервере препринтов arXiv . «Традиционные программы магистратуры права (LLM) подобны повару, готовящему лазанью в одиночку, шаг за шагом», — пояснил Тянь Цзинь, ведущий автор новой статьи по проекту, представленной на Международной конференции по машинному обучению ( ICML 2025 ) в Ванкувере. «PASTA учит повара понимать, когда разные части лазаньи можно готовить одновременно, например, смешивая подмножество ингредиентов, пока разогревается духовка, что значительно ускоряет процесс в целом». Это нововведение устраняет фундаментальное узкое место в выводе LLM, где последовательный характер декодирования часто приводит к недоиспользованию оборудования и длительному ожиданию для пользователей. Современные LLM могут обрабатывать запросы пользователей за секунды или даже минуты, и PASTA стремится решить эту проблему задержек. В основе PASTA лежат два основных компонента: PASTA-LANG, язык аннотаций, позволяющий LLM помечать семантически независимые части своих ответов, и интерпретатор, который использует эти теги для организации параллельного декодирования в процессе вывода. Как объясняет Джин, PASTA-LANG можно представить как набор инструкций, которые LLM пишет для себя, отмечая разделы своего вывода, которые можно обрабатывать одновременно. Затем интерпретатор считывает эти инструкции и управляет параллельной генерацией этих разделов. Команда обучила LLM генерировать эти аннотации PASTA-LANG с помощью двухэтапного процесса тонкой настройки. Это обучение не только оптимизирует скорость декодирования, но и приблизительно сохраняет или даже улучшает качество генерируемых ответов. Такая двойная оптимизация — значительный шаг вперёд, поскольку она позволяет постоянно улучшать как скорость, так и качество по мере появления новых вычислительных ресурсов для обучения. В экспериментах, проведённых с PASTA на используемом бенчмарке AlpacaEval, самораспараллеливающаяся модель команды продемонстрировала среднее геометрическое ускорение, достигающее почти 2x, при этом наблюдалось лишь незначительное изменение качества ответа (с прироста на 2% до снижения на 7%). Это означает, что пользователи могут ожидать почти вдвое более быстрых ответов без заметного снижения точности или согласованности. «Было удивительно наблюдать, как LLM самостоятельно организует своё поведение во время вывода», — говорит Джин. «Было познавательно — и в каком-то смысле волшебно — наблюдать, как увеличение вычислительной мощности этих алгоритмов приводит к всё более сложному самоорганизованному поведению». Исследование выявляет критически важную проблему в этой области: баланс скорости и качества. Предыдущие методы, такие как Skeleton-of-Thought (SoT) и APAR, пытались реализовать параллельное декодирование, находя вручную заданные синтаксические структуры, такие как маркированные списки или абзацы. Однако эти методы часто были негибкими и неточными, не выявляя возможности распараллеливания даже при незначительном отклонении ответов от ожидаемых закономерностей. Подход PASTA, основанный на обучении, напротив, предлагает более надёжное и масштабируемое решение. «Речь идёт о том, чтобы дать LLM возможность более эффективно генерировать контент», — говорит Джин, аспирант CSAIL. «Вместо того, чтобы пытаться угадать, где он может работать параллельно, мы учим LLM самостоятельно выявлять эти возможности, на ходу». Заглядывая в будущее, команда с оптимизмом смотрит на более широкие перспективы PASTA. Возможность значительного сокращения задержки декодирования LLM может привести к снижению требований к вычислительным ресурсам, сделав эти мощные модели ИИ более доступными для более широкого круга пользователей и приложений. «По сути, мы разработали протокол для оптимизации LLM», — говорит Джин. «Повышая эффективность вывода LLM, PASTA может значительно сократить требования к вычислительным ресурсам и улучшить доступность LLM»....
Сообщает android-robot.com
Новость из рубрики: Технологии, Наука
Поделиться новостью:
Топ новости часа
Топ новости часа- Китай остаётся экспортёром дефляции...
- АВТОВАЗ обновляет технологии производства коммерческих и мелкосерийных автомобилей...
- Театр МОСТ представил концерт под открытым небом с участием молодых талантов...
- Учителя и власти из Московской области — за внедрение ИИ в школы. Почему?...
- Биография Эрих Мария Ремарк...
- Юристы рассказали, что делать со спамом в телефоне и в почте...
06:28, 22 Авг Собянин: Время ожидания приема врача в поликлиниках сократилось с 30 до 7 минут Это достижение стало возможным благодаря комплексным мерам, направленным на оптимизацию работы медицинских учреждений и внедрение новых технологий. По словам Собянина, теперь 90% пациентов могут записаться к терапевту в день обращения, что значитель...
16:28, 25 Авг Время ожидания на приеме в частных медицинских клиниках России: факторы и влияние. Вопрос времени ожидания на приеме у врача в частных медицинских клиниках России является достаточно актуальным и интересующим многих пациентов. Определить обычное время ожидания на приеме у врача в таких учреждениях может быть сложной задачей, так к...
20:20, 20 Авг НДУ ВШЭ створыць сістэму ацэнкі традыцыйных каштоўнасцяў у студэнтаў Навукова-даследчы інстытут у канцы ліпеня выйграў тэндэр ў 10 млн рублёў на распрацоўку сістэмы ацэнкі прыняцця традыцыйных каштоўнасцяў студэнтамі. Ад распрацоўкі чакаюць, што яна дапаможа ўмацаваць духоўна-маральны падмурак грамадства і дапамагчы ...
04:28, 14 Авг Новый подход позволяет роям дронов автономно перемещаться в сложных условиях на высокой скорости Беспилотные летательные аппараты (БПЛА), обычно называемые дронами, широко используются во всем мире для решения различных задач, включая видеосъемку различных целей, наблюдение за посевами и другими объектами с воздуха, оценку зон стихийных бедстви...
20:19, 20 Авг Аляксандр Мілонаў загінуў падчас службы ў зоне спецаперацыі службы в зоне спецоперации У сям'і дэпутата Дзярждумы Віталя Мілонава адбылася трагедыя — яго родны брат Аляксандр загінуў падчас службы ў зоне адмысловай ваеннай аперацыі. Ён адправіўся добраахвотнікам у Луганскую Народную Рэспубліку, адкуль жывым ужо не вярнуўся. Падрабязна...
17:28, 18 Авг Какие задачи выполняет аутстаффинг в ритейле Если упростить понятие «аутстаффинг» максимально, получится только одно словосочетание – аренда персонала. Схема такой аренды также проста и понятна. Владельцу компании нужны дополнительные сотрудники разной специализации. Это зависит от бизнес-моде...
11:28, 16 Авг Starlink меняет паузу на платный режим ожидания SpaceX заменяет бесплатную функцию паузы для тарифов Starlink «Роуминг», «Резидентальный» и «Приоритет» на платный режим ожидания стоимостью $5 в месяц. Абоненты в США получают уведомления о необходимости перейти ...
16:28, 15 Авг ИИ решил олимпиадные задачи лучше людей. Надо ли теперь учёным переучиваться на программистов? Искусственный интеллект от OpenAI показал результат уровня золотой медали на Международной олимпиаде по информатике (IOI) — одном из самых престижных соревнований по программированию для школьников. Система обошла всех других ИИ-участников и заняла ...
10:28, 30 Авг Итоги полугодия и новые задачи: в Брянской области прошла встреча лекторского сообщества «Знания» В Брянской области состоялась ежеквартальная встреча лекторского сообщества Российского общества «Знание» региона. В мероприятии приняли участие просветители, представители власти и общественные деятели. С приветственным словом к присутствующим обра...
18:28, 30 Авг Microsoft представила ИИ-модели MAI–Voice-1 и MAI-1-preview Microsoft представила две модели искусственного интеллекта собственной разработки, которые, как утверждается, не уступают лучшим решениям в мире. Это означает, что ИИ-подразделение компании под руководством Мустафы Сулеймана намерена навязать конкур...
12:28, 15 Авг Haval Jolion: основные характеристики модели Согласно статистике, сегодня в лидерские позиции на автомобильном рынке в нашей стране выходят «китайцы». Китайские авто пользуются большой популярностью неспроста: у топовых моделей ведущих брендов из Поднебесной масса преимуществ. Одной из самых в...
08:28, 15 Авг Бесплатный курс по модели Po3 из 5 видео уроков Сегодня представляю вам Бесплатный курс по модели Po3 из 5 видео уроков. Её еще называют: Power of Three / Power of 3 / модель AMD / pattern AMD. Уже давно решил, что начну публиковать краткие обзоры по модели Po3 в телеграмм канале — https://...
17:28, 21 Авг Популярные модели Xiaomi не получат обновление HyperOS 3 Xiaomi завершает подготовку к выпуску HyperOS 3 на базе Android 16, которая может выйти в бета-версии уже в конце августа. Стабильная сборка станет доступна позже. Обновление обещает новые функции, визуальные изменения, расширенные возможности касто...
13:28, 18 Авг Nvidia представила ИИ-модели Cosmos и инфраструктуру для робототехники Компания Nvidia представила новые ИИ-модели Cosmos, библиотеки и серверные решения для физических приложений и робототехники. Модель Cosmos Reason с 7 млрд. параметров способна к рассуждениям и планированию действий роботов. Cosmos Reason позволяет ...
17:28, 15 Авг Лучшие ноутбуки для учебы: разные модели на любой бюджет Еще с момента появления первых ноутбуков студенты стали использовать их для учебы. Но если тогда студент с лэптопом на лекции выглядел скорее исключением из правил, то в наше время таковым исключением скорее становятся ученики с классическими тетрад...
09:28, 29 Авг В Калуге запустили сборку второй модели Tenet — кроссовера T4 Это компактный семейный SUV, который составит компанию более крупному T7, недавно [получившему ценник](https://motor.ru/news/tenet-t7-21-08-2025.htm). Кроссоверы производят на мощностях завода в Калужской области, некогда принадлежащему Volkswagen, ...
03:28, 30 Авг LG представит новые роботы-пылесосы и вертикальные модели на IFA 2025 На выставке IFA 2025 в Берлине компания LG Electronics покажет четыре новых решения для уборки дома. В линейку войдут моющий робот-пылесос с функцией пара, робот-пылесос со встроенной станцией, вертикальный пылесос с технологией Micro Cyclone и моде...
23:28, 20 Авг Nvidia создаёт суперчип для Китая, превосходящий все известные модели Nvidia разрабатывает для китайского рынка новый чип для задач искусственного интеллекта, превосходящий по мощности модель H20. Как сообщает агентство Reuters, чип, получивший предварительное название B30A, будет создан на основе новейшей архитектуры...
14:28, 23 Авг Монитор, который фотографирует пользователя 5 раз в секунду. MSI раскрыла подробности о флагманской модели MPG 271QR QD-OLED X50 Компания MSI раскрыла дополнительные подробности о своём необычном мониторе MPG 271QR QD-OLED X50. Это та самая модель, которая в каком-то смысле шпионит за пользователями. Фото MSI Если точнее, речь об одной из ИИ-функций монитора под названием AI ...
02:28, 30 Авг В России обвалились продажи ноутбуков — россияне выбирают дешёвые модели и всё чаще предпочитают маркетплейсы Продажи ноутбуков в России в первой половине 2025 года показали снижение как в корпоративном, так и в потребительском сегментах по сравнению с аналогичным периодом годом ранее, сообщают «Ведомости» со ссылкой на статистику «Марвел-...
12:28, 19 Авг Что нельзя делать во время эпилептического припадка Эпилепсия — это хроническое неврологическое заболевание, характеризующееся периодическими приступами, которые могут быть пугающими как для человека, переживающего их, так и для окружающих. Эффективность оказания помощи во время припадка напрямую зав...
19:28, 28 Авг Ингавирин® на защите вашего здоровья в любое время года Ученые прогнозируют этой весной очередной подъем гриппа и ОРВИ. При этом грядущая эпидемия может стать самой сильной за последнее время: самоизоляция и санитарные нормы, направленные на сдерживание COVID-19, могли повлиять на общий иммунитет к респи...
03:28, 22 Авг Осень — время забот: как подготовить яблони к следующему сезону После сбора урожая яблони все еще нуждаются в уходе, чтобы активно приносить плоды на будущий год. О том, как ухаживать за садом после сбора яблок в беседе с URA.RU рассказал кандидат биологических наук, директор института биологии и биотехнологии А...
02:28, 27 Авг Украинского фаната «ПСЖ» выгнали со стадиона во время матча из-за флага Украинского болельщика выгнали со стадиона во время матча второго тура чемпионата Франции по футболу между «Пари Сен-Жермен» и «Анже». Причиной стал флаг Украины. Об этом сообщает RMC Sport. Игра между «ПСЖ» и &la...
13:28, 29 Авг НАТО отказали России приостановить учения на время пандемии Альянс сообщил, что маневры носят лишь оборонительный характер. Глава Министерства иностранных дел России Сергей Лавров предложил генеральному секретарю НАТО Йенсу Столтенбергу временно ограничить военную деятельность. Но Североатлантический альянс ...
15:28, 29 Авг В Орловской области человек пострадал во время атаки БПЛА Два украинских беспилотника атаковали Орловскую область в ночь на 29 августа, сообщило Минобороны. Силы ПВО перехватили дроны, но обломки при падении нанесли ущерб. В регионе повреждено несколько зданий и есть пострадавший, сообщил губернатор Андрей...
03:28, 20 Авг В «Яндекс.Маркет» назвали самые популярные смартфоны во время пандемии Россияне стали покупать дешёвые модели телефонов. С 1 февраля по 30 апреля интерес россиян на мобильные устройства резко менялся. Так, в период эпидемии покупатели стали приобретать бюджетные модели. Аналитики «Яндекс.Маркет» назвали сам...
15:28, 27 Авг Нижегородка подхватила синегнойную палочку во время маникюра с гель-лаком Жительница Нижнего Новгорода пожаловалась, что после визита к мастеру у неё позеленел ноготь. Оказалось, что всё дело в синегнойной палочке, то есть опасной бактерии, которая считается источником множества заболеваний. Как она передалась — читайте д...
13:28, 27 Авг Можно ли пить кофе во время приема антибиотиков: что говорят ученые Результаты исследования показали, что кофе и антибиотики — вещи не всегда совместимые У многих людей утро начинается с чашки кофе, которая помогает проснуться и настроиться на день. Но мало кто задумывается, что в некоторых ситуациях привычный напит...
04:28, 25 Авг Российский пловец пропал без вести во время заплыва через Босфор Российский пловец Николай Свечников пропал без вести во время заплыва через пролив Босфор. Об этом стало известно 24 августа. Знакомая спортсмена Алена начала его оперативные поиски, восстанавливая хронологию событий. «Разговаривала с врачом, ...
21:28, 16 Авг Во время ливня бабочки «разбивают» крыльями падающие капли воды Они способны на это благодаря наноразмерному слою воска и крупным микромасштабным неровностям на поверхности. Ученые всегда поражались, каким образом насекомые и растения выживают после сильных дождей. Во время полета ливень может сбивать мелких орг...
20:28, 17 Авг В Кишиневе 69 человек задержали во время протеста оппозиционного блока «Победа» Правоохранительные органы Молдавии сообщили, что на протесте оппозиционного блока «Победа», были задержаны 69 человек, а также составлено 148 протоколов за различные противоправные действия. Об этом сообщила пресс-служба ведомства в свое...
03:28, 20 Авг Снова «майдан»? Во время протеста во Львове был жестоко избит чиновник Националисты выломали дверь в городскую администрацию и изувечили руководителя аппарата горсовета. В Украине снова вспыхнули протестные шествия с трагическими последствиями. И снова первые очаги появились на западе страны. В СМИ появились сведения о...
09:28, 24 Авг Опережая время: линейка HONOR Magic 8 выйдет раньше обычного срока Бренд HONOR готовит к запуску серию Magic 8, которая, по данным инсайдера Fixed Focus Digital, будет представлена в начале октября. Это раньше, чем прошлогодняя Magic 7, показанная лишь в конце октября 2024 года.При этом в октябре ожидаются стандарт...
12:28, 23 Авг Оззи Осборн увидел свою смерть во время последнего концерта в Бермингеме Британский рок-музыкант и основатель группы Black Sabbath Оззи Осборн предчувствовал собственную смерть во время последнего выступления в Бермингеме. В этом не сомневается его коллега по сцене, рокер Том Морелло, работавший на этом историческом конц...
01:28, 15 Авг Михаил Галустян проводит время с дочерьми от бывшей жены на фоне развода Михаил Галустян проводит время с дочерьми от бывшей жены Виктории на фоне их развода. 14-летняя Эстелла показала в тиктоке, как они с 13-летней сестрой Элиной веселятся вместе с отцом. В роликах семья участвует в популярном тренде и исполняет совмес...
18:28, 30 Авг В Windows 11 улучшится качество звука в Bluetooth-гарнитурах во время голосовых звонков Microsoft анонсировала новую функцию для Windows 11, которая решит давнюю проблему с падением качества звука в Bluetooth-гарнитурах при активации микрофона для голосовых звонков. Для этого в системе появится «сверхширокополосное стерео» (super wideb...
08:28, 13 Авг Шэрон Стоун впервые за долгое время вышла в свет с тремя приёмными сыновьями 67-летняя Шэрон Стоун посетила премьеру фильма "Никто 2" в Лос-Анджелесе, в котором сыграла одну из ролей. На красной дорожке она появилась с тремя приёмными сыновьями, которые редко бывают на публике: 25-летним Роаном, 20-летним Лэрдом и 19-летним ...
01:28, 28 Авг "Прямо во время церемонии". Агата Муцениеце поделилась новыми фото со своей свадьбы и рассказала о "чуде" Агата Муцениеце поделилась новыми фото со своей "тайной" свадьбы с Петром Дрангой, которая состоялась на днях. 36-летняя актриса также рассказала о "чуде", которое произошло во время церемонии."Говорят, что счастье любит тишину, но совсем не поделит...
20:28, 27 Авг "Прямо во время церемонии ". Агата Муцениеце поделилась новыми фото со своей свадьбы и рассказала о "чуде" Агата Муцениеце поделилась новыми фото со своей "тайной" свадьбы с Петром Дрангой, которая состоялась на днях. 36-летняя актриса также рассказала о "чуде", которое произошло во время церемонии."Говорят, что счастье любит тишину, но совсем не поделит...
16:28, 26 Авг Валентина Иванова показала, как проводит время с новорождённой дочерью, пока "абьюзер" Тимати отдыхает в Сен-Тропе Невеста Тимати Валентина Иванова, которая недавно впервые стала матерью, показала в соцсетях, как проходят её будни, пока рэпер отдыхает за границей.Судя по снимкам, 31-летняя Валентина проводит много времени дома вместе с дочерью Эммой и своей соба...
17:28, 14 Авг "Разозлилась". Бывшая девушка Тимати Алёна Шишкова высказалась об Анастасии Решетовой после того, как провела время с её сыном Бывшая девушка Тимати Алёна Шишкова высказалась о ещё одной экс-возлюбленной рэпера Анастасии Решетовой после того, как провела время с её пятилетним сыном Ратмиром.После того как 32-летняя Шишкова в своём инстаграме* опубликовала фотографию с Ратми...
03:28, 22 Авг "Еле ходит". В сети снова обсуждают состояние здоровья Филиппа Киркорова после того, как он упал во время выступления на "Новой волне" В сети снова обсуждают состояние здоровья Филиппа Киркорова. Поводом стало его падение на фестивале "Новая волна" в Казани, где 58-летний артист перед выходом на сцену также подтвердил слухи о том, что ему диагностировали сахарный диабет.На опублико...
01:28, 16 Авг Топливопровод не выдержал: SpaceX рассказала, почему взорвался ускоритель Super Heavy во время девятого испытательного полета, и что привело к утрате Starship Сегодня большой день для SpaceX: компания получила разрешение от Федерального управления гражданской авиации США (FAA) на десятый испытательный полет ракеты Starship. Одновременно SpaceX обнародовала дату полета Ship 37, а чуть позже компания опубли...
10:28, 14 Авг Геннадий Орлов: «У «Спартака» разве нет могущественного спонсора? В советский период поддерживали партийные бонзы, партийная верхушка. Я тоже одно время болел за красно-белых» – Успехи « Зенита » часто связывают с мощнейшим спонсором, с тем, что у клуба есть возможность тратить баснословные деньги на трансферы. – Подождите. А у « Спартака » разве нет могущественного спонсора? Не вижу здесь разницы. Если взять советский пе...
10:28, 26 Авг 16-летний Нгумоа спас победу для «Ливерпуля», Дуглас в сборной Бразилии, пловец пропал во время заплыва через Босфор, список книг для футболистов от Минспорта и другие новости 1. Второй тур АПЛ завершился ярко: «Ньюкасл» отыгрался с 0:2, дважды забив «Ливерпулю» в меньшинстве , но пропустил от 16-летнего Нгумоа на 100-й минуте и проиграл – 2:3! По итогам тура «Арсенал» лидирует , опережая «Тоттенхэм» и «Ливерпуль» по разн...
21:28, 29 Авг Ковальчук о детях: «В наше время не было таких соблазнов, все детство на улице, а сейчас – соцсети, тиктоки, рестораны. Они должны это пройти, наша цель – чтобы без негативных последствий» – Каких соблазнов надо избегать в таком возрасте, когда парень переходит во взрослый хоккей? Какие советы дашь ребятам? – Сейчас время, конечно, отличается от нашего, потому что в наше время не было соцсетей, не было айфонов, не было такого количест...
22:28, 15 Авг Отказ топливного компонента: FAA рассказало, почему упала ракета Starship во время девятого испытательного полета. SpaceX объявила дату 10-го испытательного полета Starship Федеральное управление гражданской авиации США (FAA) выпустило заявление с итогами расследования девятого испытательного полета ракеты Starship. По данным FAA, Starship Ship 35 начал неконтролируемо вращаться, а потом упал по причине отказа топливно...