Хто може допомогти налаштувати такий сетап: Планую розгорнути сервер, який буде паралельно працювати з 4–5 різними AI-моделями для завдань з програмування. Ключове вимога — багатокористувацький доступ: кілька розробників зможуть користуватися сервером одночасно, кожен в ізольованій сесії та зі своїми агентами. Моделі Claude / GPT / Kimi k3
Ставки приховані
Ставки поки відсутні
-
Руслан Б. 5 квітня 2023Скільки користувачів ?
І чи разглядали варіант права на групи
Та включення selinux.
-
Ярослав Р.
5 квітня 2023
користувачів буде від 3-5+ (в основному це vscode-remote редактори які будуть запускати локальні процеси через zsh консоль)
права на групи теж було б круто в теорії, можна було б прямо групу resources-30 resources-10 або priority-10 і т.д.
selinux теоретично добре інтегровано в fedora і redhat based, але в теорії і тут буде працювати якщо не помиляюсь. -
Ярослав Р.
5 квітня 2023
в цілому відкритий до включення будь-яких підсистем які допоможуть з рішенням
-
Денис Голіус 5 квітня 2023Як зрозуміти, що ви запускаєте щось велике? Ваші кейси мені трохи не зрозумілі, можете приклад реальний привести?
Приклад з nginx не дуже, бо йому й так потрібно мізерну кількість ресурсів. А якщо ви хочете щось накшталт linux rdp - то краще ранити в Docker, а зберігати інфу кудись на кладу сторадж, і так - десктоп лінукс можна і в докері запустити. -
Ярослав Р.
5 квітня 2023
Кейс: юзер зайшов на сервер через ssh запустив наприклад python runsomeheavymultiprocess.py і так декілька юзерів, або запустив node runsome.js вони хочуть використати всі ресурси що є, тобто все що б юзер не запускав треба якось лімітувати.
Докер теж підходить, але потрібен реальний доступ до файлової системи замість overlayfs -
Ярослав Р.
5 квітня 2023
основа це щоб одні юзери мали наприклад 10% ресурсів а інші пріорітетніші 20% або навіть усі ресурси коли щось запустили, можете глянути cgroups але поки не вдалось налаштувати
-
Денис Голіус 5 квітня 2023Є така штука nomad або той же kubernetes, ними можна задавати такі ліміти та багато чого іншого. Через скрипти bash+systemв це ну дуже довго вийде писати говнокод, його дебаг та все таке інше. Для того ж k8s є багато готових навіть скейлерів. Але іще раз повторюю: якщо ви хочете зробити з одного VPS/Bare metal server щось типу dev серверу, то краще нарізати багато vps on demand, або контейнерів в k8s.
-
Ярослав Р.
5 квітня 2023
Зрозумів, vps-ondemand навіть близько не стоїть по прайсу поточного baremetal (не вигідно). Що по IOPS, CPU, RAM і т.д.
Мені треба повний доступ до baremetal без монтування файлових систем через overlay з яким потім можуть виникнути проблеми, юзери повинні запускати все що захочуть і якщо необхідно потім отримати усі ресурси системи, мені не треба контейнер чи оркестрація оцього всього.
Чисто теоретично скільки б ви хотіли за розвертання вашого бачення вирішення проблеми через k8s і як бачите виділення ресурсів (я так зрозумів ліміти на контейнер з zsh чи bash шелом) -
Сергей Яшин 5 квітня 2023Самое простое linux containers, самое допиленное openvz, оверхед минимальный
-
Денис Голіус 6 квітня 2023openvz платне, як я зрозумів то потрібне щось без ліцензування
знайомий ще таке запропонував:
ему нужен cloudlinux
пусть возьмёт лицензию, настроит LVE, настроит CageFS и работает -
Андрій Кісіль 5 квітня 2023Підтримую ідею з ldx з відповідними лімітами. Або той же docker з лімітами
-
Вадим Н. 6 квітня 2023Решал когда то подобную задачу через kubernetes и Kube eagle. Если хотите могу скинуть наработки которые есть у самого просто на данный проест нет времени.
-
Руслан Б. 7 квітня 2023залишилось запитання по встановленому сервері :
залізний, виділений
кількість ядер та об'єм оперативки
і тип дисків.
щоб орієнтуватись, що маєте і чи вистачає ресурсів, щоб їх розділяти.
-
Ярослав Р.
7 квітня 2023
дам тестовий на 8 ядер і 32гб оперативи. А так на реальному 128гб оперативи 2тб диск рейд 0 і 24 ядра
-
Ярослав Р.
7 квітня 2023
можете спробувати, я дивився як можна через cgroups + systemd але поки сам не пробував
Актуальні фриланс-проєкти в категорії DevOps
В рамках підвищення рівня кібербезпеки нашої інфраструктури нам необхідно відмовитися від практики зберігання «вічних» і статичних API-ключів, паролів і токенів інтеграцій у конфігураційних файлах (.env, appsettings.json, config.yaml) наших мікросервісів. Бізнес-мета: Створити єдину захищену точку зберігання конфіденційних даних (секретів) з механізмом їх автоматичного оновлення (ротації) у зовнішніх системах за розкладом. Інші наші сервіси будуть запитувати актуальні токени «на льоту» через API, що зведе до мінімуму шкоду в разі компрометації будь-якого з компонентів системи.Модель безпеки та шифрування (Crypto Core) У базі даних жоден секрет не повинен зберігатися в відкритому вигляді. При старті програми в змінні середовища передається Майстер-ключ (Master Key). Якщо ключ відсутній або має невалідну довжину, сервіс повинен падати на етапі ініціалізації з зрозумілою помилкою в логах. Кожен секрет шифрується перед записом у БД з використанням цього Майстер-ключа. При запиті — розшифровується в пам'яті і віддається в тілі відповіді.Аудит-логування (Audit Trail) Будь-яка дія з секретами (створення, читання сервісом, успішна або неуспішна ротація) повинна записуватися в окремий лог-файл audit.log (або окрему таблицю в БД). Суворе табу: В аудит-лог категорично заборонено записувати самі значення секретів (ні в відкритому, ні в зашифрованому вигляді).
Маємо dedicated сервер на hetzner з вебсайтом на докерах (+фремворк laravel) Контакт з розробниками втрачено Потрібно: - відновити і змінити серверні доступи (ймовірно, ssh) - рекомендувати місце зберігання і налаштувати повний бекап серверу з простим відновленням, ймовірно, не на hetzner для безпеки - пофіксити чомусь не відображаємий логотип (не зрозуміло чому файл перестав бути доступним) Важливо - бекапу сайту не має, права на помилку теж. Розглянемо тільки досвідчених спеціалістів.