Кто может помочь настроить такой сетап: Планирую развернуть сервер, который будет параллельно работать с 4–5 разными AI-моделями для задач по программированию. Ключевое требование — многопользовательский доступ: несколько разработчиков смогут пользоваться сервером одновременно, каждый в изолированной сессии и со своими агентами. Модели Claude / GPT / Kimi k3
Ставки скрыты
Ставки пока отсутствуют
-
Руслан Б. 5 апреля 2023Скільки користувачів ?
І чи разглядали варіант права на групи
Та включення selinux.
-
Ярослав Р.
5 апреля 2023
користувачів буде від 3-5+ (в основному це vscode-remote редактори які будуть запускати локальні процеси через zsh консоль)
права на групи теж було б круто в теорії, можна було б прямо групу resources-30 resources-10 або priority-10 і т.д.
selinux теоретично добре інтегровано в fedora і redhat based, але в теорії і тут буде працювати якщо не помиляюсь. -
Ярослав Р.
5 апреля 2023
в цілому відкритий до включення будь-яких підсистем які допоможуть з рішенням
-
Денис Голіус 5 апреля 2023Як зрозуміти, що ви запускаєте щось велике? Ваші кейси мені трохи не зрозумілі, можете приклад реальний привести?
Приклад з nginx не дуже, бо йому й так потрібно мізерну кількість ресурсів. А якщо ви хочете щось накшталт linux rdp - то краще ранити в Docker, а зберігати інфу кудись на кладу сторадж, і так - десктоп лінукс можна і в докері запустити. -
Ярослав Р.
5 апреля 2023
Кейс: юзер зайшов на сервер через ssh запустив наприклад python runsomeheavymultiprocess.py і так декілька юзерів, або запустив node runsome.js вони хочуть використати всі ресурси що є, тобто все що б юзер не запускав треба якось лімітувати.
Докер теж підходить, але потрібен реальний доступ до файлової системи замість overlayfs -
Ярослав Р.
5 апреля 2023
основа це щоб одні юзери мали наприклад 10% ресурсів а інші пріорітетніші 20% або навіть усі ресурси коли щось запустили, можете глянути cgroups але поки не вдалось налаштувати
-
Денис Голіус 5 апреля 2023Є така штука nomad або той же kubernetes, ними можна задавати такі ліміти та багато чого іншого. Через скрипти bash+systemв це ну дуже довго вийде писати говнокод, його дебаг та все таке інше. Для того ж k8s є багато готових навіть скейлерів. Але іще раз повторюю: якщо ви хочете зробити з одного VPS/Bare metal server щось типу dev серверу, то краще нарізати багато vps on demand, або контейнерів в k8s.
-
Ярослав Р.
5 апреля 2023
Зрозумів, vps-ondemand навіть близько не стоїть по прайсу поточного baremetal (не вигідно). Що по IOPS, CPU, RAM і т.д.
Мені треба повний доступ до baremetal без монтування файлових систем через overlay з яким потім можуть виникнути проблеми, юзери повинні запускати все що захочуть і якщо необхідно потім отримати усі ресурси системи, мені не треба контейнер чи оркестрація оцього всього.
Чисто теоретично скільки б ви хотіли за розвертання вашого бачення вирішення проблеми через k8s і як бачите виділення ресурсів (я так зрозумів ліміти на контейнер з zsh чи bash шелом) -
Сергей Яшин 5 апреля 2023Самое простое linux containers, самое допиленное openvz, оверхед минимальный
-
Денис Голіус 6 апреля 2023openvz платне, як я зрозумів то потрібне щось без ліцензування
знайомий ще таке запропонував:
ему нужен cloudlinux
пусть возьмёт лицензию, настроит LVE, настроит CageFS и работает -
Андрій Кісіль 5 апреля 2023Підтримую ідею з ldx з відповідними лімітами. Або той же docker з лімітами
-
Вадим Н. 6 апреля 2023Решал когда то подобную задачу через kubernetes и Kube eagle. Если хотите могу скинуть наработки которые есть у самого просто на данный проест нет времени.
-
Руслан Б. 7 апреля 2023залишилось запитання по встановленому сервері :
залізний, виділений
кількість ядер та об'єм оперативки
і тип дисків.
щоб орієнтуватись, що маєте і чи вистачає ресурсів, щоб їх розділяти.
-
Ярослав Р.
7 апреля 2023
дам тестовий на 8 ядер і 32гб оперативи. А так на реальному 128гб оперативи 2тб диск рейд 0 і 24 ядра
-
Ярослав Р.
7 апреля 2023
можете спробувати, я дивився як можна через cgroups + systemd але поки сам не пробував
Актуальные фриланс-проекты в категории DevOps
В рамках повышения уровня кибербезопасности нашей инфраструктуры нам необходимо отказаться от практики хранения «вечных» и статичных API-ключей, паролей и токенов интеграций в конфигурационных файлах (.env, appsettings.json, config.yaml) наших микросервисов. Бизнес-цель: Создать единую защищенную точку хранения конфиденциальных данных (секретов) с механизмом их автоматического обновления (ротации) во внешних системах по расписанию. Другие наши сервисы будут запрашивать актуальные токены «на лету» через API, что сведет к минимуму ущерб в случае компрометации любого из компонентов системы.Модель безопасности и шифрование (Crypto Core) В базе данных ни один секрет не должен храниться в открытом виде. При старте приложения в переменные окружения передается Мастер-ключ (Master Key). Если ключ отсутствует или имеет невалидную длину, сервис должен падать на этапе инициализации с понятной ошибкой в логах. Каждый секрет шифруется перед записью в БД с использованием этого Мастер-ключа. При запросе — расшифровывается в памяти и отдается в теле ответа.Аудит-логирование (Audit Trail) Любое действие с секретами (создание, чтение сервисом, успешная или неуспешная ротация) должно записываться в отдельный лог-файл audit.log (или отдельную таблицу в БД). Строгое табу: В аудит-лог категорически запрещено записывать сами значения секретов (ни в открытом, ни в зашифрованном виде).
У нас есть выделенный сервер на hetzner с вебсайтом на докерах (+фреймворк laravel) Контакт с разработчиками потерян Необходимо: - восстановить и изменить серверные доступы (вероятно, ssh) - рекомендовать место хранения и настроить полный бэкап сервера с простым восстановлением, вероятно, не на hetzner для безопасности - пофиксить почему-то не отображаемый логотип (непонятно почему файл перестал быть доступным) Важно - бэкапа сайта нет, права на ошибку тоже. Рассмотрим только опытных специалистов.