NVIDIA планирует ускорить искусственный интеллект на ПК с Windows 11 с графическим процессором RTX 40 и RTX 30
Более 100 миллионов ПК из Windows извлекут выгоду от ускоренной производительности ИИ от NVIDIA благодаря TensorRT-LLM для графических процессоров RTX. Во время “Microsoft Ignite”, ключевого события, на котором обсуждается будущее искусственного интеллекта, NVIDIA сообщила, что TensorRT-LLM добавляется в Windows 11 и будет доступна более чем 100 миллионам пользователей RTX после запуска в последнем пакете драйверов 21 ноября. Ускорение искусственного интеллекта TensorRT-LLM будет доступно для всех настольных компьютеров и ноутбуков RTX с видеопамятью более 8 ГБ. Кроме TensorRT-LLM, NVIDIA и Microsoft также предлагают усовершенствование DirectML для улучшения популярных моделей AI, таких как Stable Diffusion и Llama 2.
Наличие графического процессора NVIDIA RTX с поддержкой TensorRT-LLM означает, что все данные и проекты могут обрабатываться до пяти раз быстрее. Это сэкономит время и даст более точные результаты. Ускорение результатов искусственного интеллекта происходит посредством локализованной библиотеки RAG (Retrieval Augamanted Generation). Кроме того, NVIDIA также обеспечит поддержку дополнительных LLM, таких как Mistral 7B и Nemotron 3 8B. Для тех, кто хочет испытать последний выпуск TensorRT-LLM, он будет доступен для установки по официальной ссылке Github.
Еще NVIDIA и Microsoft предложат интерфейс API для OpenAI’s ChatAPI через новую оболочку. Через которую вам не нужно загружать какой-либо набор данных в ChatAPI, поскольку весь набор данных будет доступен для ChatAPI так, будто он доступен локально. Специальная оболочка будет работать почти с любым LLM, оптимизированным TensorRT-LLM. Несколько оптимизированных примеров LLM включают Llama 2, Mistral, NV LLM и другие будут добавлены вскоре. API также будет доступна на странице NVIDIA GitHub.
Эти объявления показывают, что NVIDIA хочет ускорить ИИ не только для предприятий, но и для массовой аудитории. И предоставление его миллионам пользователей RTX, безусловно, является огромным делом.
