Blockbot: Added bots and goof agents
authorMichael Vogel <icarus@dabo.de>
Sun, 5 Jul 2020 14:36:17 +0000 (16:36 +0200)
committerMichael Vogel <icarus@dabo.de>
Sun, 5 Jul 2020 14:36:17 +0000 (16:36 +0200)
blockbot/blockbot.php

index 8c6560c..785c5f2 100644 (file)
@@ -74,7 +74,8 @@ function blockbot_init_1(App $a) {
                'Scrapy/', 'github-camo', 'MJ12bot/', 'DotBot/', 'Pinterestbot/', 'Jooblebot/',
                'Cliqzbot/', 'YaK/', 'Mediatoolkitbot', 'Snacktory', 'FunWebProducts', 'oBot/',
                '7Siters/', 'KOCMOHABT', 'Google-SearchByImage', 'FemtosearchBot/',
-               'HubSpot Crawler', 'DomainStatsBot/', 'Re-re Studio'];
+               'HubSpot Crawler', 'DomainStatsBot/', 'Re-re Studio', 'AwarioSmartBot/',
+               'SummalyBot/', 'DNSResearchBot/', 'PetalBot;'];
 
        if (!DI::config()->get('blockbot', 'good_crawlers')) {
                $agents = array_merge($agents, $good_agents);
@@ -114,7 +115,7 @@ function blockbot_init_1(App $a) {
                'Faraday v', 'okhttp', 'UniversalFeedParser', 'PixelFedBot', 'python-requests',
                'WordPress/', 'http.rb/', 'Apache-HttpClient/', 'WordPress.com;', 'Pleroma',
                'Dispatch/', 'Ruby', 'Java/', 'libwww-perl/', 'Mastodon/',
-               'lua-resty-http/'];
+               'lua-resty-http/', 'Tiny Tiny RSS/'];
 
        if (DI::config()->get('blockbot', 'good_crawlers')) {
                $agents = array_merge($agents, $good_agents);