Hovimo
Технології

Хмарні сервіси, вразливості інфраструктури та машинне навчання

Сучасні хмарні середовища повинні балансувати вимоги до налаштування передових штучних інтелектуальних систем з безпекою базових програмних середовищ виконання. Вразливості в ключових компонентах, таких як середовища виконання Java, вимагають багаторівневих захистів разом із оновленнями інфраструктури.

LLM-as-Judge semantic correctness by training method as training data scales to 100K-plus examples
LLM-as-Judge semantic correctness by training method as training data scales to 100K-plus examples — Deep dive
Чому це важливоТакий підхід поєднує передові можливості ШІ платформи з актуальними реаліями інфраструктури та безпеки, задокументованими у джерелах, пропонуючи аналітичний погляд, а не стандартний огляд продукту.
Дохід від Data Center NVIDIA
108$ млрд
Дохід
▲ 110$ млрд
річне зростання
Дохід: 107,6$ млрд · річне зростання
Дані зі статті · NVIDIA

Вступ: Розширення сфери хмарних послуг

Дошкільне навчання (fine-tuning) — це процес подальшого навчання попередньо навченої великої мовної моделі (LLM) на власних даних компанії, щоб вона адаптувалася до конкретної галузі, завдання чи стилю, а не покладалися лише на загальні знання 1. Java є однією з найпоширеніших у світі мов програмування, що забезпечує роботу корпоративних застосунків, веб-сервісів, фінансових систем та критичної бізнес-інфраструктури 2.

Дошкільне навчання стало необхідним процесом для бізнесу, який прагне отримати більше цінності від LLM за нижчих витрат 1. Щоб задовольнити ці потреби, хмарні сервіси дедалі більше автоматизують інфраструктурні шари — наприклад, надаючи можливість безсерверної кастомізації моделей, — що дозволяє організаціям оновлювати параметри моделей без керування кластерами або налаштування розподіленого навчання 1. Водночас цей просунутий обчислювальний фокус існує поруч із постійною адміністративною реальністю базового супроводу програмного забезпечення.

Водночас корпоративна інфраструктура залишається вразливою до критичних вразливостей, виявлених глибоко в базових програмних стеках. Наприклад, широко використовувані платформи програмування, такі як OpenJDK, яка лежить в основі корпоративних дистрибутивів Java, включно з Amazon Corretto, можуть страждати від серйозних вразливостей до пошкодження пам'яті в основних компонентах, таких як апаратно прискорені декодери Base64 2.

Ці типи вразливостей під час виконання дозволяють ненавченим віддаленим зловмисникам виконувати код або розкривати конфіденційну інформацію в широкому діапазоні незалежних корпоративних застосунків 2. Навігація в цих протилежних вимогах вимагає від хмарних платформ одночасно розширювати межі автоматизованих інструментів штучного інтелекту та підтримувати суворі стандарти безпеки в традиційних корпоративних середовищах виконання.

Просунута кастомізація машинного навчання на SageMaker AI

Дошкільне навчання — це процес подальшого навчання попередньо навченої великої мовної моделі (LLM) на внутрішніх даних організації, що дозволяє системі адаптуватися до конкретної галузі, завдання чи стилю, а не повністю покладатися на загальні знання 1. Ця практика надає бізнесу дві основні переваги: вона забезпечує вимірювано вищу точність на спеціалізованих завданнях і контролює витрати 1. Зокрема, менша спеціалізована модель може дорівнювати або перевищувати передову модель на призначеному завданні, працюючи за частку ціни інференсу на токен, що дає економії, які зростають на мільйони запитів користувачів 1.

Для досягнення цього параметрично ефективні методи дошкільного навчання (PEFT), такі як адаптація низького рангу (LoRA), широко використовуються для зменшення вимог до потужності графічних процесорів (GPU), оновлюючи лише невелику підмножину параметрів моделі 1. Однак LoRA передбачає компроміс 1. Через природу оновлень ваг низького рангу представницька здатність дошкільно навченої моделі є внутрішньо обмеженою, що може погіршити її продуктивність на складних, різноманітних завданнях, які вимагають захоплення складних патернів 1.

Щоб подолати ці обмеження, повне дошкільне навчання (FFT) одночасно оновлює параметри моделі, дозволяючи великій мовній моделі повністю засвоїти складні галузеві знання 1. Традиційно впровадження FFT вимагало керування значними інфраструктурними накладними, включаючи виділення GPU, налаштування кластерів та конфігурації розподіленого навчання 1.

Amazon SageMaker AI Serverless Model Customization тепер підтримує повне дошкільне навчання (FFT), що дозволяє бізнесу використовувати цю просунуту техніку кастомізації моделей без тягаря інфраструктурного управління 1. Усунувши потребу в ручному налаштуванні кластерів або виділеному налаштуванні GPU, безсерверний підхід спрощує для організацій розгортання кастомізованих моделей, які досягають вищої якості на цільових завданнях 1.

Вразливості інфраструктури та корпоративні середовища виконання Java

В основі сучасних корпоративних застосунків, веб-сервісів та хмарних середовищ лежать базові платформи програмування, такі як Java 2. OpenJDK є відкритою реалізацією Java, яка забезпечує роботу величезної екосистеми корпоративного програмного забезпечення 2. Було розкрито критичну вразливість, відстежувану як CVE-2026-114938 і названу "Java4Shell", щодо вразливості до пошкодження пам'яті в функціональності апаратно прискореного декодування Base64 в Java 2. Цей компонент обробляє закодовані дані, які часто використовуються в мережевих комунікаціях, завантаженні файлів та механізмах аутентифікації 2.

Вразливість конкретно впливає на версії OpenJDK 17.0.6 та пізніші, що працюють на центральних процесорах x86-64, оснащених підтримкою інструкцій векторної маніпуляції байтами (AVX-512 VBMI) 3,4. Коли обробляється некоректний вхід Base64 — наприклад, рядок, що закінчується додатковим символом, — оптимізований декодер записує десятки байтів за межами кінця вихідного буфера, перш ніж середовище виконання відхиляє дані 4. Дослідники безпеки продемонстрували, що це пошкодження пам'яті може бути використане ненавченими віддаленими зловмисниками для ініціювання витоку кучової пам'яті або досягнення віддаленого виконання коду 5,4.

Оскільки багато незалежних корпоративних застосунків використовують одне й те саме базове середовище виконання Java, вразливості в основних компонентах створюють масштабний ризик для різноманітних інфраструктурних конфігурацій 2. Було доведено, що такі застосунки, як Atlassian Jira, Confluence, Jenkins та Keycloak, є вразливими у своїх конфігураціях за замовчуванням 5,4. Інші широко розгорнуті системи, зокрема Apache Kafka, Elasticsearch та Apache Solr, є вразливими після автентифікації 5. Це відкриває широку поверхню для атак, що охоплює як локальні сервери, так і хмарні архітектури 3.

Хмарні та програмні вендори відреагували на розкриття інформації випуском оновлень та рекомендацій 2,5. Вразливість зачіпає різні дистрибутиви, створені на основі ураженого коду, зокрема Eclipse Temurin, Oracle Java SE, Azul Zulu, Red Hat OpenJDK, Microsoft Build of OpenJDK та Amazon Corretto 2. Компанія Amazon усунула проблему у своїх збірках Java Corretto 4. Окрім безпосереднього виправлення програмного забезпечення, було впроваджено багаторівневий захист, наприклад, правила міжмережевого екрана вебзастосунків (WAF), щоб виявляти неправильно сформовані вхідні дані Base64 та допомагати пом'якшити потенційні спроби експлуатації 5.

Пом'якшення наслідків та багаторівневий захист в екосистемах

Рекомендації з безпеки та програмні патчі є першою лінією захисту від фундаментальних вразливостей, таких як Java4Shell 3,5. Oracle та проєкт OpenJDK опублікували рекомендації з безпеки та випустили виправлені збірки одразу після публічного розкриття інформації, щоб захистити корпоративні середовища 5. Вендори в усій програмній екосистемі працювали над розповсюдженням виправлень для уражених дистрибутивів, хоча терміни різняться; наприклад, Amazon вже вирішила проблему у своїх збірках Java Corretto, тоді як інші постачальники, як-от Red Hat, продовжували підготовку своїх оновлень 4.

Оскільки негайне встановлення патчів не завжди можливе у великих корпоративних мережах, організації покладаються на проміжні заходи та багаторівневі засоби контролю безпеки 3. Мережевий захист відіграє вирішальну роль у перехопленні шкідливих корисних навантажень до того, як вони досягнуть вразливих віртуальних машин Java 5.

Платформи безпеки та міжмережеві екрани вебзастосунків (WAF) запровадили спеціалізовані правила, розроблені для виявлення неправильно сформованих вхідних даних Base64, пов'язаних із механізмом експлуатації 5.

Наприклад, Cloudflare розгорнула керовані правила у своїх планах для виявлення підозрілих вхідних даних, налаштувавши їх за замовчуванням на реєстрацію подій, щоб запобігти перебоям у роботі сервісів через безпечний трафік, який інакше міг би спричинити хибнопозитивні спрацювання 5.

Клієнти можуть переглянути відповідні запити в розділі Security Events вже зараз і змінити дію правил на «Блокувати» (Block), як тільки переконаються, що це не впливає на легітимний трафік 5.

Ширші технологічні зрушення та реалії обслуговування моделей

Ширший технологічний ландшафт переживає масштабні зрушення, зумовлені безпрецедентним попитом на високопродуктивне обладнання для обробки даних та сучасні методи керування пам'яттю. NVIDIA повідомила про величезне фінансове зростання, підкресливши, що її дохід від центрів обробки даних досяг 107,6 мільярда доларів — на 110% більше, ніж рік тому, — тоді як почалися поставки її обчислювальної платформи Vera Rubin NVL72 6. Ці апаратні розширення підкреслюють, наскільки інтенсивно галузь покладається на передову інфраструктуру для підтримки сучасних робочих навантажень 6.

Покращення продуктивності vLLM
1,95 ×
Прискорення декодування
vLLM 0.34.0
1,6 ×
Зростання пропускної спроможності
vLLM 0.34.0
Прискорення декодування: 1,95 × · vLLM 0.34.0
Зростання пропускної спроможності: 1,6 × · vLLM 0.34.0
Дані зі статті · vLLM project

Водночас програмні оптимізації розвиваються, щоб витиснути максимальну ефективність із доступних апаратних ресурсів. Проєкт vLLM випустив версію 0.34.0, представивши значні архітектурні оновлення, такі як розширюваний кеш KV, увімкнений за замовчуванням 7. Ця функція динамічно змінює розмір кешу KV залежно від пам'яті, яка фактично вільна після прогріву, що дозволяє більшості моделей досягти більшої ємності кешу та вищої пропускної здатності без ручного налаштування розподілу пам'яті 7.

Ці програмні вдосконалення забезпечують суттєве прискорення в різноманітних апаратних екосистемах. Останній випуск vLLM приносить значні показники продуктивності на передових прискорювачах, таких як Blackwell та MI355X, включаючи прискорення декодування до 1,95 раза та покращення пропускної здатності в 1,6 раза для певних моделей 7. Такі оптимізації є життєво важливими для управління складними компромісами, притаманними великомасштабному обслуговуванню моделей та операціям виведення 7.

Оскільки платформи обробки масштабуються для задоволення потреб інтенсивних до даних застосунків, автоматизоване керування пам'яттю та апаратні прискорення залишаються центральними для підтримки операційної ефективності в корпоративних розгортаннях 7,6.

Написано за допомогою ШІ за наведеними джерелами та звірено з ними. Відкрийте джерела, щоб перевірити.

Першоджерело ↗