langfilter/langfilter.php

   1 <?php
   2 /*
   3  * Name: Language Filter
   4  * Version: 0.1
   5  * Description: Filters out postings in languages not spoken by the users
   6  * Author: Tobias Diekershoff <https://f.diekershoff.de/u/tobias>
   7  * License: MIT
   8  */
   9
  10 use Friendica\App;
  11 use Friendica\Content\Text\BBCode;
  12 use Friendica\Core\Hook;
  13 use Friendica\Core\L10n;
  14 use Friendica\Core\PConfig;
  15 use Friendica\Core\Renderer;
  16 use Friendica\DI;
  17
  18 /* Define the hooks we want to use
  19  * that is, we have settings, we need to save the settings and we want
  20  * to modify the content of a posting when friendica prepares it.
  21  */
  22
  23 function langfilter_install()
  24 {
  25         Hook::register('prepare_body_content_filter', 'addon/langfilter/langfilter.php', 'langfilter_prepare_body_content_filter', 10);
  26         Hook::register('addon_settings', 'addon/langfilter/langfilter.php', 'langfilter_addon_settings');
  27         Hook::register('addon_settings_post', 'addon/langfilter/langfilter.php', 'langfilter_addon_settings_post');
  28 }
  29
  30 function langfilter_uninstall()
  31 {
  32         Hook::unregister('prepare_body_content_filter', 'addon/langfilter/langfilter.php', 'langfilter_prepare_body_content_filter');
  33         Hook::unregister('prepare_body', 'addon/langfilter/langfilter.php', 'langfilter_prepare_body');
  34         Hook::unregister('addon_settings', 'addon/langfilter/langfilter.php', 'langfilter_addon_settings');
  35         Hook::unregister('addon_settings_post', 'addon/langfilter/langfilter.php', 'langfilter_addon_settings_post');
  36 }
  37
  38 /* The settings
  39  * 1st check if somebody logged in is calling
  40  * 2nd get the current settings
  41  * 3rd parse a SMARTY3 template, replacing some translateable strings for the form
  42  */
  43
  44 function langfilter_addon_settings(App $a, &$s)
  45 {
  46         if (!local_user()) {
  47                 return;
  48         }
  49
  50         $enable_checked = (intval(PConfig::get(local_user(), 'langfilter', 'disable')) ? '' : ' checked="checked" ');
  51         $languages      = PConfig::get(local_user(), 'langfilter', 'languages');
  52         $minconfidence  = PConfig::get(local_user(), 'langfilter', 'minconfidence') * 100;
  53         $minlength      = PConfig::get(local_user(), 'langfilter', 'minlength');
  54
  55         $t = Renderer::getMarkupTemplate("settings.tpl", "addon/langfilter/");
  56         $s .= Renderer::replaceMacros($t, [
  57                 '$title'         => L10n::t("Language Filter"),
  58                 '$intro'         => L10n::t('This addon tries to identify the language posts are writen in. If it does not match any language specifed below, posts will be hidden by collapsing them.'),
  59                 '$enabled'       => ['langfilter_enable', L10n::t('Use the language filter'), $enable_checked, ''],
  60                 '$languages'     => ['langfilter_languages', L10n::t('Able to read'), $languages, L10n::t('List of abbreviations (iso2 codes) for languages you speak, comma separated. For example "de,it".')],
  61                 '$minconfidence' => ['langfilter_minconfidence', L10n::t('Minimum confidence in language detection'), $minconfidence, L10n::t('Minimum confidence in language detection being correct, from 0 to 100. Posts will not be filtered when the confidence of language detection is below this percent value.')],
  62                 '$minlength'     => ['langfilter_minlength', L10n::t('Minimum length of message body'), $minlength, L10n::t('Minimum number of characters in message body for filter to be used. Posts shorter than this will not be filtered. Note: Language detection is unreliable for short content (<200 characters).')],
  63                 '$submit'        => L10n::t('Save Settings'),
  64         ]);
  65
  66         return;
  67 }
  68
  69 /* Save the settings
  70  * 1st check it's a logged in user calling
  71  * 2nd check the langfilter form is to be saved
  72  * 3rd save the settings to the DB for later usage
  73  */
  74
  75 function langfilter_addon_settings_post(App $a, &$b)
  76 {
  77         if (!local_user()) {
  78                 return;
  79         }
  80
  81         if (!empty($_POST['langfilter-settings-submit'])) {
  82                 PConfig::set(local_user(), 'langfilter', 'languages', trim($_POST['langfilter_languages']));
  83                 $enable = (!empty($_POST['langfilter_enable']) ? intval($_POST['langfilter_enable']) : 0);
  84                 $disable = 1 - $enable;
  85                 PConfig::set(local_user(), 'langfilter', 'disable', $disable);
  86                 $minconfidence = 0 + $_POST['langfilter_minconfidence'];
  87                 if (!$minconfidence) {
  88                         $minconfidence = 0;
  89                 } elseif ($minconfidence < 0) {
  90                         $minconfidence = 0;
  91                 } elseif ($minconfidence > 100) {
  92                         $minconfidence = 100;
  93                 }
  94                 PConfig::set(local_user(), 'langfilter', 'minconfidence', $minconfidence / 100.0);
  95
  96                 $minlength = 0 + $_POST['langfilter_minlength'];
  97                 if (!$minlength) {
  98                         $minlength = 32;
  99                 } elseif ($minlength < 0) {
 100                         $minlength = 32;
 101                 }
 102                 PConfig::set(local_user(), 'langfilter', 'minlength', $minlength);
 103
 104                 info(L10n::t('Language Filter Settings saved.') . EOL);
 105         }
 106 }
 107
 108 /* Actually filter postings by their language
 109  * 1st check if the user wants to filter postings
 110  * 2nd get the user settings which languages shall be not filtered out
 111  * 3rd extract the language of a posting
 112  * 4th if the determined language does not fit to the spoken languages
 113  *     of the user, then collapse the posting, but provide a link to
 114  *     expand it again.
 115  */
 116
 117 function langfilter_prepare_body_content_filter(App $a, &$hook_data)
 118 {
 119         $logged_user = local_user();
 120         if (!$logged_user) {
 121                 return;
 122         }
 123
 124         // Never filter own messages
 125         // TODO: find a better way to extract this
 126         $logged_user_profile = DI::baseUrl()->get() . '/profile/' . $a->user['nickname'];
 127         if ($logged_user_profile == $hook_data['item']['author-link']) {
 128                 return;
 129         }
 130
 131         // Don't filter if language filter is disabled
 132         if (PConfig::get($logged_user, 'langfilter', 'disable')) {
 133                 return;
 134         }
 135
 136         $naked_body = BBCode::toPlaintext($hook_data['item']['body'], false);
 137
 138         // Don't filter if body lenght is below minimum
 139         $minlen = PConfig::get(local_user(), 'langfilter', 'minlength', 32);
 140         if (!$minlen) {
 141                 $minlen = 32;
 142         }
 143
 144         if (strlen($naked_body) < $minlen) {
 145                 return;
 146         }
 147
 148         $read_languages_string = PConfig::get(local_user(), 'langfilter', 'languages');
 149         $minconfidence = PConfig::get(local_user(), 'langfilter', 'minconfidence');
 150
 151         // Don't filter if no spoken languages are configured
 152         if (!$read_languages_string) {
 153                 return;
 154         }
 155         $read_languages_array = explode(',', $read_languages_string);
 156
 157         // Extract the language of the post
 158         if (!empty($hook_data['item']['language'])) {
 159                 $languages = json_decode($hook_data['item']['language'], true);
 160                 if (!is_array($languages)) {
 161                         return;
 162                 }
 163
 164                 foreach ($languages as $iso2 => $confidence) {
 165                         break;
 166                 }
 167
 168                 if (empty($iso2)) {
 169                         return;
 170                 }
 171
 172                 $lang = Text_LanguageDetect_ISO639::code2ToName($iso2);
 173         } else {
 174                 $opts = $hook_data['item']['postopts'];
 175                 if (!$opts) {
 176                         // no options associated to post
 177                         return;
 178                 }
 179
 180                 if (!preg_match('/\blang=([^;]*);([^:]*)/', $opts, $matches)) {
 181                         // no lang options associated to post
 182                         return;
 183                 }
 184
 185                 $lang = $matches[1];
 186                 $confidence = $matches[2];
 187
 188                 $iso2 = Text_LanguageDetect_ISO639::nameToCode2($lang);
 189         }
 190
 191         // Do not filter if language detection confidence is too low
 192         if ($minconfidence && $confidence < $minconfidence) {
 193                 return;
 194         }
 195
 196         if (!$iso2) {
 197                 return;
 198         }
 199
 200         if (!in_array($iso2, $read_languages_array)) {
 201                 $hook_data['filter_reasons'][] = L10n::t('Filtered language: %s', ucfirst($lang));
 202         }
 203 }