Если вашего бота ловит Cloudflare...

[DimOK]

Даже если вы отправляете точь-в-точь такие же headers и cookies... С точно такого же айпи, но в браузере сайт открывается, а используя автоматизированные запросы (curl или средства вашего языка) - нет.

То дело вот в чём: практически все сайты сейчас работают по защищенному протоколу https, а для его установки нужен предварительный обмен сертификатами TLS-handshaking.

Прикол в том, что этот обмен сильно отличается у браузера и в настройках по умолчанию средств вашей системы, именно его палит cloudflare и даёт отлуп вашему ботику.

Решение простое: добрые люди сделали специальную версию curl, которая полностью имитирует TLS-handshake актуальных браузеров: https://github.com/lwthiker/curl-impersonate

Проверено, работает, да и как ему не работать, когда теперь всё такое же как в браузере...