Отрубайте ботов нахрен и удивитесь, как упадет нагрузка. Самый простой финт ушами - отрезать хотяб самых наглых, которые заюзали Python парсер для новичков из коробки и даже забыли UA прописать.
AI-шки я наоборот оставляю, т.к. зачастую можно попасть в выдачу чатов.