[twitter] Perform mention/hashtags replacements before expanding links
[friendica-addons.git/.git] / twitter / twitter.php
1 <?php
2 /**
3  * Name: Twitter Connector
4  * Description: Bidirectional (posting, relaying and reading) connector for Twitter.
5  * Version: 1.1.0
6  * Author: Tobias Diekershoff <https://f.diekershoff.de/profile/tobias>
7  * Author: Michael Vogel <https://pirati.ca/profile/heluecht>
8  * Maintainer: Hypolite Petovan <https://friendica.mrpetovan.com/profile/hypolite>
9  *
10  * Copyright (c) 2011-2013 Tobias Diekershoff, Michael Vogel, Hypolite Petovan
11  * All rights reserved.
12  *
13  * Redistribution and use in source and binary forms, with or without
14  * modification, are permitted provided that the following conditions are met:
15  *    * Redistributions of source code must retain the above copyright notice,
16  *     this list of conditions and the following disclaimer.
17  *    * Redistributions in binary form must reproduce the above
18  *    * copyright notice, this list of conditions and the following disclaimer in
19  *      the documentation and/or other materials provided with the distribution.
20  *    * Neither the name of the <organization> nor the names of its contributors
21  *      may be used to endorse or promote products derived from this software
22  *      without specific prior written permission.
23  *
24  * THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS "AS IS" AND
25  * ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE IMPLIED
26  * WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE ARE
27  * DISCLAIMED. IN NO EVENT SHALL <COPYRIGHT HOLDER> BE LIABLE FOR ANY DIRECT,
28  * INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING,
29  * BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE,
30  * DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY THEORY OF
31  * LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT (INCLUDING NEGLIGENCE
32  * OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE OF THIS SOFTWARE, EVEN IF
33  * ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
34  *
35  */
36 /*   Twitter Addon for Friendica
37  *
38  *   Author: Tobias Diekershoff
39  *           tobias.diekershoff@gmx.net
40  *
41  *   License:3-clause BSD license
42  *
43  *   Configuration:
44  *     To use this addon you need a OAuth Consumer key pair (key & secret)
45  *     you can get it from Twitter at https://twitter.com/apps
46  *
47  *     Register your Friendica site as "Client" application with "Read & Write" access
48  *     we do not need "Twitter as login". When you've registered the app you get the
49  *     OAuth Consumer key and secret pair for your application/site.
50  *
51  *     Add this key pair to your global .htconfig.php or use the admin panel.
52  *
53  *     $a->config['twitter']['consumerkey'] = 'your consumer_key here';
54  *     $a->config['twitter']['consumersecret'] = 'your consumer_secret here';
55  *
56  *     To activate the addon itself add it to the $a->config['system']['addon']
57  *     setting. After this, your user can configure their Twitter account settings
58  *     from "Settings -> Addon Settings".
59  *
60  *     Requirements: PHP5, curl
61  */
62
63 use Abraham\TwitterOAuth\TwitterOAuth;
64 use Friendica\App;
65 use Friendica\Content\OEmbed;
66 use Friendica\Content\Text\BBCode;
67 use Friendica\Content\Text\Plaintext;
68 use Friendica\Core\Addon;
69 use Friendica\Core\Config;
70 use Friendica\Core\L10n;
71 use Friendica\Core\PConfig;
72 use Friendica\Core\Worker;
73 use Friendica\Model\GContact;
74 use Friendica\Model\Group;
75 use Friendica\Model\Item;
76 use Friendica\Model\Photo;
77 use Friendica\Model\Queue;
78 use Friendica\Model\User;
79 use Friendica\Object\Image;
80 use Friendica\Util\DateTimeFormat;
81 use Friendica\Util\Network;
82
83 require_once 'boot.php';
84 require_once 'include/dba.php';
85 require_once 'include/enotify.php';
86 require_once 'include/text.php';
87
88 require_once __DIR__ . DIRECTORY_SEPARATOR . 'vendor' . DIRECTORY_SEPARATOR . 'autoload.php';
89
90 define('TWITTER_DEFAULT_POLL_INTERVAL', 5); // given in minutes
91
92 function twitter_install()
93 {
94         //  we need some hooks, for the configuration and for sending tweets
95         Addon::registerHook('connector_settings', 'addon/twitter/twitter.php', 'twitter_settings');
96         Addon::registerHook('connector_settings_post', 'addon/twitter/twitter.php', 'twitter_settings_post');
97         Addon::registerHook('post_local', 'addon/twitter/twitter.php', 'twitter_post_local');
98         Addon::registerHook('notifier_normal', 'addon/twitter/twitter.php', 'twitter_post_hook');
99         Addon::registerHook('jot_networks', 'addon/twitter/twitter.php', 'twitter_jot_nets');
100         Addon::registerHook('cron', 'addon/twitter/twitter.php', 'twitter_cron');
101         Addon::registerHook('queue_predeliver', 'addon/twitter/twitter.php', 'twitter_queue_hook');
102         Addon::registerHook('follow', 'addon/twitter/twitter.php', 'twitter_follow');
103         Addon::registerHook('expire', 'addon/twitter/twitter.php', 'twitter_expire');
104         Addon::registerHook('prepare_body', 'addon/twitter/twitter.php', 'twitter_prepare_body');
105         Addon::registerHook('check_item_notification', 'addon/twitter/twitter.php', 'twitter_check_item_notification');
106         logger("installed twitter");
107 }
108
109 function twitter_uninstall()
110 {
111         Addon::unregisterHook('connector_settings', 'addon/twitter/twitter.php', 'twitter_settings');
112         Addon::unregisterHook('connector_settings_post', 'addon/twitter/twitter.php', 'twitter_settings_post');
113         Addon::unregisterHook('post_local', 'addon/twitter/twitter.php', 'twitter_post_local');
114         Addon::unregisterHook('notifier_normal', 'addon/twitter/twitter.php', 'twitter_post_hook');
115         Addon::unregisterHook('jot_networks', 'addon/twitter/twitter.php', 'twitter_jot_nets');
116         Addon::unregisterHook('cron', 'addon/twitter/twitter.php', 'twitter_cron');
117         Addon::unregisterHook('queue_predeliver', 'addon/twitter/twitter.php', 'twitter_queue_hook');
118         Addon::unregisterHook('follow', 'addon/twitter/twitter.php', 'twitter_follow');
119         Addon::unregisterHook('expire', 'addon/twitter/twitter.php', 'twitter_expire');
120         Addon::unregisterHook('prepare_body', 'addon/twitter/twitter.php', 'twitter_prepare_body');
121         Addon::unregisterHook('check_item_notification', 'addon/twitter/twitter.php', 'twitter_check_item_notification');
122
123         // old setting - remove only
124         Addon::unregisterHook('post_local_end', 'addon/twitter/twitter.php', 'twitter_post_hook');
125         Addon::unregisterHook('addon_settings', 'addon/twitter/twitter.php', 'twitter_settings');
126         Addon::unregisterHook('addon_settings_post', 'addon/twitter/twitter.php', 'twitter_settings_post');
127 }
128
129 function twitter_check_item_notification(App $a, &$notification_data)
130 {
131         $own_id = PConfig::get($notification_data["uid"], 'twitter', 'own_id');
132
133         $own_user = q("SELECT `url` FROM `contact` WHERE `uid` = %d AND `alias` = '%s' LIMIT 1",
134                         intval($notification_data["uid"]),
135                         dbesc("twitter::".$own_id)
136         );
137
138         if ($own_user) {
139                 $notification_data["profiles"][] = $own_user[0]["url"];
140         }
141 }
142
143 function twitter_follow(App $a, &$contact)
144 {
145         logger("twitter_follow: Check if contact is twitter contact. " . $contact["url"], LOGGER_DEBUG);
146
147         if (!strstr($contact["url"], "://twitter.com") && !strstr($contact["url"], "@twitter.com")) {
148                 return;
149         }
150
151         // contact seems to be a twitter contact, so continue
152         $nickname = preg_replace("=https?://twitter.com/(.*)=ism", "$1", $contact["url"]);
153         $nickname = str_replace("@twitter.com", "", $nickname);
154
155         $uid = $a->user["uid"];
156
157         $ckey = Config::get('twitter', 'consumerkey');
158         $csecret = Config::get('twitter', 'consumersecret');
159         $otoken = PConfig::get($uid, 'twitter', 'oauthtoken');
160         $osecret = PConfig::get($uid, 'twitter', 'oauthsecret');
161
162         // If the addon is not configured (general or for this user) quit here
163         if (empty($ckey) || empty($csecret) || empty($otoken) || empty($osecret)) {
164                 $contact = false;
165                 return;
166         }
167
168         $connection = new TwitterOAuth($ckey, $csecret, $otoken, $osecret);
169         $connection->post('friendships/create', ['screen_name' => $nickname]);
170
171         twitter_fetchuser($a, $uid, $nickname);
172
173         $r = q("SELECT name,nick,url,addr,batch,notify,poll,request,confirm,poco,photo,priority,network,alias,pubkey
174                 FROM `contact` WHERE `uid` = %d AND `nick` = '%s'",
175                                 intval($uid),
176                                 dbesc($nickname));
177         if (count($r)) {
178                 $contact["contact"] = $r[0];
179         }
180 }
181
182 function twitter_jot_nets(App $a, &$b)
183 {
184         if (!local_user()) {
185                 return;
186         }
187
188         $tw_post = PConfig::get(local_user(), 'twitter', 'post');
189         if (intval($tw_post) == 1) {
190                 $tw_defpost = PConfig::get(local_user(), 'twitter', 'post_by_default');
191                 $selected = ((intval($tw_defpost) == 1) ? ' checked="checked" ' : '');
192                 $b .= '<div class="profile-jot-net"><input type="checkbox" name="twitter_enable"' . $selected . ' value="1" /> '
193                         . L10n::t('Post to Twitter') . '</div>';
194         }
195 }
196
197 function twitter_settings_post(App $a, $post)
198 {
199         if (!local_user()) {
200                 return;
201         }
202         // don't check twitter settings if twitter submit button is not clicked
203         if (!x($_POST, 'twitter-submit')) {
204                 return;
205         }
206
207         if (isset($_POST['twitter-disconnect'])) {
208                 /*               * *
209                  * if the twitter-disconnect checkbox is set, clear the OAuth key/secret pair
210                  * from the user configuration
211                  */
212                 PConfig::delete(local_user(), 'twitter', 'consumerkey');
213                 PConfig::delete(local_user(), 'twitter', 'consumersecret');
214                 PConfig::delete(local_user(), 'twitter', 'oauthtoken');
215                 PConfig::delete(local_user(), 'twitter', 'oauthsecret');
216                 PConfig::delete(local_user(), 'twitter', 'post');
217                 PConfig::delete(local_user(), 'twitter', 'post_by_default');
218                 PConfig::delete(local_user(), 'twitter', 'lastid');
219                 PConfig::delete(local_user(), 'twitter', 'mirror_posts');
220                 PConfig::delete(local_user(), 'twitter', 'import');
221                 PConfig::delete(local_user(), 'twitter', 'create_user');
222                 PConfig::delete(local_user(), 'twitter', 'own_id');
223         } else {
224                 if (isset($_POST['twitter-pin'])) {
225                         //  if the user supplied us with a PIN from Twitter, let the magic of OAuth happen
226                         logger('got a Twitter PIN');
227                         $ckey    = Config::get('twitter', 'consumerkey');
228                         $csecret = Config::get('twitter', 'consumersecret');
229                         //  the token and secret for which the PIN was generated were hidden in the settings
230                         //  form as token and token2, we need a new connection to Twitter using these token
231                         //  and secret to request a Access Token with the PIN
232                         $connection = new TwitterOAuth($ckey, $csecret, $_POST['twitter-token'], $_POST['twitter-token2']);
233                         $token = $connection->oauth("oauth/access_token", ["oauth_verifier" => $_POST['twitter-pin']]);
234                         //  ok, now that we have the Access Token, save them in the user config
235                         PConfig::set(local_user(), 'twitter', 'oauthtoken', $token['oauth_token']);
236                         PConfig::set(local_user(), 'twitter', 'oauthsecret', $token['oauth_token_secret']);
237                         PConfig::set(local_user(), 'twitter', 'post', 1);
238                         //  reload the Addon Settings page, if we don't do it see Bug #42
239                         goaway('settings/connectors');
240                 } else {
241                         //  if no PIN is supplied in the POST variables, the user has changed the setting
242                         //  to post a tweet for every new __public__ posting to the wall
243                         PConfig::set(local_user(), 'twitter', 'post', intval($_POST['twitter-enable']));
244                         PConfig::set(local_user(), 'twitter', 'post_by_default', intval($_POST['twitter-default']));
245                         PConfig::set(local_user(), 'twitter', 'mirror_posts', intval($_POST['twitter-mirror']));
246                         PConfig::set(local_user(), 'twitter', 'import', intval($_POST['twitter-import']));
247                         PConfig::set(local_user(), 'twitter', 'create_user', intval($_POST['twitter-create_user']));
248
249                         if (!intval($_POST['twitter-mirror'])) {
250                                 PConfig::delete(local_user(), 'twitter', 'lastid');
251                         }
252
253                         info(L10n::t('Twitter settings updated.') . EOL);
254                 }
255         }
256 }
257
258 function twitter_settings(App $a, &$s)
259 {
260         if (!local_user()) {
261                 return;
262         }
263         $a->page['htmlhead'] .= '<link rel="stylesheet"  type="text/css" href="' . $a->get_baseurl() . '/addon/twitter/twitter.css' . '" media="all" />' . "\r\n";
264         /*       * *
265          * 1) Check that we have global consumer key & secret
266          * 2) If no OAuthtoken & stuff is present, generate button to get some
267          * 3) Checkbox for "Send public notices (280 chars only)
268          */
269         $ckey    = Config::get('twitter', 'consumerkey');
270         $csecret = Config::get('twitter', 'consumersecret');
271         $otoken  = PConfig::get(local_user(), 'twitter', 'oauthtoken');
272         $osecret = PConfig::get(local_user(), 'twitter', 'oauthsecret');
273
274         $enabled            = intval(PConfig::get(local_user(), 'twitter', 'post'));
275         $defenabled         = intval(PConfig::get(local_user(), 'twitter', 'post_by_default'));
276         $mirrorenabled      = intval(PConfig::get(local_user(), 'twitter', 'mirror_posts'));
277         $importenabled      = intval(PConfig::get(local_user(), 'twitter', 'import'));
278         $create_userenabled = intval(PConfig::get(local_user(), 'twitter', 'create_user'));
279
280         $css = (($enabled) ? '' : '-disabled');
281
282         $s .= '<span id="settings_twitter_inflated" class="settings-block fakelink" style="display: block;" onclick="openClose(\'settings_twitter_expanded\'); openClose(\'settings_twitter_inflated\');">';
283         $s .= '<img class="connector' . $css . '" src="images/twitter.png" /><h3 class="connector">' . L10n::t('Twitter Import/Export/Mirror') . '</h3>';
284         $s .= '</span>';
285         $s .= '<div id="settings_twitter_expanded" class="settings-block" style="display: none;">';
286         $s .= '<span class="fakelink" onclick="openClose(\'settings_twitter_expanded\'); openClose(\'settings_twitter_inflated\');">';
287         $s .= '<img class="connector' . $css . '" src="images/twitter.png" /><h3 class="connector">' . L10n::t('Twitter Import/Export/Mirror') . '</h3>';
288         $s .= '</span>';
289
290         if ((!$ckey) && (!$csecret)) {
291                 /*               * *
292                  * no global consumer keys
293                  * display warning and skip personal config
294                  */
295                 $s .= '<p>' . L10n::t('No consumer key pair for Twitter found. Please contact your site administrator.') . '</p>';
296         } else {
297                 /*               * *
298                  * ok we have a consumer key pair now look into the OAuth stuff
299                  */
300                 if ((!$otoken) && (!$osecret)) {
301                         /*                       * *
302                          * the user has not yet connected the account to twitter...
303                          * get a temporary OAuth key/secret pair and display a button with
304                          * which the user can request a PIN to connect the account to a
305                          * account at Twitter.
306                          */
307                         $connection = new TwitterOAuth($ckey, $csecret);
308                         $result = $connection->oauth('oauth/request_token', ['oauth_callback' => 'oob']);
309                         /*                       * *
310                          *  make some nice form
311                          */
312                         $s .= '<p>' . L10n::t('At this Friendica instance the Twitter addon was enabled but you have not yet connected your account to your Twitter account. To do so click the button below to get a PIN from Twitter which you have to copy into the input box below and submit the form. Only your <strong>public</strong> posts will be posted to Twitter.') . '</p>';
313                         $s .= '<a href="' . $connection->url('oauth/authorize', ['oauth_token' => $result->oauth_token]) . '" target="_twitter"><img src="addon/twitter/lighter.png" alt="' . L10n::t('Log in with Twitter') . '"></a>';
314                         $s .= '<div id="twitter-pin-wrapper">';
315                         $s .= '<label id="twitter-pin-label" for="twitter-pin">' . L10n::t('Copy the PIN from Twitter here') . '</label>';
316                         $s .= '<input id="twitter-pin" type="text" name="twitter-pin" />';
317                         $s .= '<input id="twitter-token" type="hidden" name="twitter-token" value="' . $result->oauth_token . '" />';
318                         $s .= '<input id="twitter-token2" type="hidden" name="twitter-token2" value="' . $result->oauth_token_secret . '" />';
319                         $s .= '</div><div class="clear"></div>';
320                         $s .= '<div class="settings-submit-wrapper" ><input type="submit" name="twitter-submit" class="settings-submit" value="' . L10n::t('Save Settings') . '" /></div>';
321                 } else {
322                         /*                       * *
323                          *  we have an OAuth key / secret pair for the user
324                          *  so let's give a chance to disable the postings to Twitter
325                          */
326                         $connection = new TwitterOAuth($ckey, $csecret, $otoken, $osecret);
327                         $details = $connection->get('account/verify_credentials');
328
329                         $field_checkbox = get_markup_template('field_checkbox.tpl');
330
331                         $s .= '<div id="twitter-info" >
332                                 <p>' . L10n::t('Currently connected to: ') . '<a href="https://twitter.com/' . $details->screen_name . '" target="_twitter">' . $details->screen_name . '</a>
333                                         <button type="submit" name="twitter-disconnect" value="1">' . L10n::t('Disconnect') . '</button>
334                                 </p>
335                                 <p id="twitter-info-block">
336                                         <a href="https://twitter.com/' . $details->screen_name . '" target="_twitter"><img id="twitter-avatar" src="' . $details->profile_image_url . '" /></a>
337                                         <em>' . $details->description . '</em>
338                                 </p>
339                         </div>';
340                         $s .= '<div class="clear"></div>';
341
342                         $s .= replace_macros($field_checkbox, [
343                                 '$field' => ['twitter-enable', L10n::t('Allow posting to Twitter'), $enabled, L10n::t('If enabled all your <strong>public</strong> postings can be posted to the associated Twitter account. You can choose to do so by default (here) or for every posting separately in the posting options when writing the entry.')]
344                         ]);
345                         if ($a->user['hidewall']) {
346                                 $s .= '<p>' . L10n::t('<strong>Note</strong>: Due to your privacy settings (<em>Hide your profile details from unknown viewers?</em>) the link potentially included in public postings relayed to Twitter will lead the visitor to a blank page informing the visitor that the access to your profile has been restricted.') . '</p>';
347                         }
348                         $s .= replace_macros($field_checkbox, [
349                                 '$field' => ['twitter-default', L10n::t('Send public postings to Twitter by default'), $defenabled, '']
350                         ]);
351                         $s .= replace_macros($field_checkbox, [
352                                 '$field' => ['twitter-mirror', L10n::t('Mirror all posts from twitter that are no replies'), $mirrorenabled, '']
353                         ]);
354                         $s .= replace_macros($field_checkbox, [
355                                 '$field' => ['twitter-import', L10n::t('Import the remote timeline'), $importenabled, '']
356                         ]);
357                         $s .= replace_macros($field_checkbox, [
358                                 '$field' => ['twitter-create_user', L10n::t('Automatically create contacts'), $create_userenabled, '']
359                         ]);
360
361                         $s .= '<div class="clear"></div>';
362                         $s .= '<div class="settings-submit-wrapper" ><input type="submit" name="twitter-submit" class="settings-submit" value="' . L10n::t('Save Settings') . '" /></div>';
363                 }
364         }
365         $s .= '</div><div class="clear"></div>';
366 }
367
368 function twitter_post_local(App $a, &$b)
369 {
370         if ($b['edit']) {
371                 return;
372         }
373
374         if (!local_user() || (local_user() != $b['uid'])) {
375                 return;
376         }
377
378         $twitter_post = intval(PConfig::get(local_user(), 'twitter', 'post'));
379         $twitter_enable = (($twitter_post && x($_REQUEST, 'twitter_enable')) ? intval($_REQUEST['twitter_enable']) : 0);
380
381         // if API is used, default to the chosen settings
382         if ($b['api_source'] && intval(PConfig::get(local_user(), 'twitter', 'post_by_default'))) {
383                 $twitter_enable = 1;
384         }
385
386         if (!$twitter_enable) {
387                 return;
388         }
389
390         if (strlen($b['postopts'])) {
391                 $b['postopts'] .= ',';
392         }
393
394         $b['postopts'] .= 'twitter';
395 }
396
397 function twitter_action(App $a, $uid, $pid, $action)
398 {
399         $ckey = Config::get('twitter', 'consumerkey');
400         $csecret = Config::get('twitter', 'consumersecret');
401         $otoken = PConfig::get($uid, 'twitter', 'oauthtoken');
402         $osecret = PConfig::get($uid, 'twitter', 'oauthsecret');
403
404         $connection = new TwitterOAuth($ckey, $csecret, $otoken, $osecret);
405
406         $post = ['id' => $pid];
407
408         logger("twitter_action '" . $action . "' ID: " . $pid . " data: " . print_r($post, true), LOGGER_DATA);
409
410         switch ($action) {
411                 case "delete":
412                         // To-Do: $result = $connection->post('statuses/destroy', $post);
413                         break;
414                 case "like":
415                         $result = $connection->post('favorites/create', $post);
416                         break;
417                 case "unlike":
418                         $result = $connection->post('favorites/destroy', $post);
419                         break;
420         }
421         logger("twitter_action '" . $action . "' send, result: " . print_r($result, true), LOGGER_DEBUG);
422 }
423
424 function twitter_post_hook(App $a, &$b)
425 {
426         // Post to Twitter
427         if (!PConfig::get($b["uid"], 'twitter', 'import')
428                 && ($b['deleted'] || $b['private'] || ($b['created'] !== $b['edited']))) {
429                 return;
430         }
431
432         if ($b['parent'] != $b['id']) {
433                 logger("twitter_post_hook: parameter " . print_r($b, true), LOGGER_DATA);
434
435                 // Looking if its a reply to a twitter post
436                 if ((substr($b["parent-uri"], 0, 9) != "twitter::")
437                         && (substr($b["extid"], 0, 9) != "twitter::")
438                         && (substr($b["thr-parent"], 0, 9) != "twitter::"))
439                 {
440                         logger("twitter_post_hook: no twitter post " . $b["parent"]);
441                         return;
442                 }
443
444                 $r = q("SELECT * FROM item WHERE item.uri = '%s' AND item.uid = %d LIMIT 1",
445                         dbesc($b["thr-parent"]),
446                         intval($b["uid"]));
447
448                 if (!count($r)) {
449                         logger("twitter_post_hook: no parent found " . $b["thr-parent"]);
450                         return;
451                 } else {
452                         $iscomment = true;
453                         $orig_post = $r[0];
454                 }
455
456
457                 $nicknameplain = preg_replace("=https?://twitter.com/(.*)=ism", "$1", $orig_post["author-link"]);
458                 $nickname = "@[url=" . $orig_post["author-link"] . "]" . $nicknameplain . "[/url]";
459                 $nicknameplain = "@" . $nicknameplain;
460
461                 logger("twitter_post_hook: comparing " . $nickname . " and " . $nicknameplain . " with " . $b["body"], LOGGER_DEBUG);
462                 if ((strpos($b["body"], $nickname) === false) && (strpos($b["body"], $nicknameplain) === false)) {
463                         $b["body"] = $nickname . " " . $b["body"];
464                 }
465
466                 logger("twitter_post_hook: parent found " . print_r($orig_post, true), LOGGER_DATA);
467         } else {
468                 $iscomment = false;
469
470                 if ($b['private'] || !strstr($b['postopts'], 'twitter')) {
471                         return;
472                 }
473
474                 // Dont't post if the post doesn't belong to us.
475                 // This is a check for forum postings
476                 $self = dba::selectFirst('contact', ['id'], ['uid' => $b['uid'], 'self' => true]);
477                 if ($b['contact-id'] != $self['id']) {
478                         return;
479                 }
480         }
481
482         if (($b['verb'] == ACTIVITY_POST) && $b['deleted']) {
483                 twitter_action($a, $b["uid"], substr($orig_post["uri"], 9), "delete");
484         }
485
486         if ($b['verb'] == ACTIVITY_LIKE) {
487                 logger("twitter_post_hook: parameter 2 " . substr($b["thr-parent"], 9), LOGGER_DEBUG);
488                 if ($b['deleted']) {
489                         twitter_action($a, $b["uid"], substr($b["thr-parent"], 9), "unlike");
490                 } else {
491                         twitter_action($a, $b["uid"], substr($b["thr-parent"], 9), "like");
492                 }
493
494                 return;
495         }
496
497         if ($b['deleted'] || ($b['created'] !== $b['edited'])) {
498                 return;
499         }
500
501         // if post comes from twitter don't send it back
502         if ($b['extid'] == NETWORK_TWITTER) {
503                 return;
504         }
505
506         if ($b['app'] == "Twitter") {
507                 return;
508         }
509
510         logger('twitter post invoked');
511
512         PConfig::load($b['uid'], 'twitter');
513
514         $ckey    = Config::get('twitter', 'consumerkey');
515         $csecret = Config::get('twitter', 'consumersecret');
516         $otoken  = PConfig::get($b['uid'], 'twitter', 'oauthtoken');
517         $osecret = PConfig::get($b['uid'], 'twitter', 'oauthsecret');
518
519         if ($ckey && $csecret && $otoken && $osecret) {
520                 logger('twitter: we have customer key and oauth stuff, going to send.', LOGGER_DEBUG);
521
522                 // If it's a repeated message from twitter then do a native retweet and exit
523                 if (twitter_is_retweet($a, $b['uid'], $b['body'])) {
524                         return;
525                 }
526
527                 $connection = new TwitterOAuth($ckey, $csecret, $otoken, $osecret);
528
529                 $max_char = 280;
530                 $msgarr = BBCode::toPlaintext($b, $max_char, true, 8);
531                 $msg = $msgarr["text"];
532
533                 if (($msg == "") && isset($msgarr["title"])) {
534                         $msg = Plaintext::shorten($msgarr["title"], $max_char - 50);
535                 }
536
537                 $image = "";
538
539                 if (isset($msgarr["url"]) && ($msgarr["type"] != "photo")) {
540                         $msg .= "\n" . $msgarr["url"];
541                 }
542
543                 if (isset($msgarr["image"]) && ($msgarr["type"] != "video")) {
544                         $image = $msgarr["image"];
545                 }
546
547                 // and now tweet it :-)
548                 if (strlen($msg) && ($image != "")) {
549                         $connection = new TwitterOAuth($ckey, $csecret, $otoken, $osecret);
550                         $media = $connection->upload('media/upload', ['media' => $image]);
551
552                         $post = ['status' => $msg, 'media_ids' => $media->media_id_string];
553
554                         if ($iscomment) {
555                                 $post["in_reply_to_status_id"] = substr($orig_post["uri"], 9);
556                         }
557
558                         $result = $connection->post('statuses/update', $post);
559
560                         logger('twitter_post_with_media send, result: ' . print_r($result, true), LOGGER_DEBUG);
561
562                         if ($result->source) {
563                                 Config::set("twitter", "application_name", strip_tags($result->source));
564                         }
565
566                         if ($result->errors || $result->error) {
567                                 logger('Send to Twitter failed: "' . print_r($result->errors, true) . '"');
568
569                                 // Workaround: Remove the picture link so that the post can be reposted without it
570                                 $msg .= " " . $image;
571                                 $image = "";
572                         } elseif ($iscomment) {
573                                 logger('twitter_post: Update extid ' . $result->id_str . " for post id " . $b['id']);
574                                 Item::update(['extid' => "twitter::" . $result->id_str, 'body' => $result->text], ['id' => $b['id']]);
575                         }
576                 }
577
578                 if (strlen($msg) && ($image == "")) {
579 // -----------------
580                         $max_char = 280;
581                         $msgarr = BBCode::toPlaintext($b, $max_char, true, 8);
582                         $msg = $msgarr["text"];
583
584                         if (($msg == "") && isset($msgarr["title"])) {
585                                 $msg = Plaintext::shorten($msgarr["title"], $max_char - 50);
586                         }
587
588                         if (isset($msgarr["url"])) {
589                                 $msg .= "\n" . $msgarr["url"];
590                         }
591 // -----------------
592                         $url = 'statuses/update';
593                         $post = ['status' => $msg, 'weighted_character_count' => 'true'];
594
595                         if ($iscomment) {
596                                 $post["in_reply_to_status_id"] = substr($orig_post["uri"], 9);
597                         }
598
599                         $result = $connection->post($url, $post);
600                         logger('twitter_post send, result: ' . print_r($result, true), LOGGER_DEBUG);
601
602                         if ($result->source) {
603                                 Config::set("twitter", "application_name", strip_tags($result->source));
604                         }
605
606                         if ($result->errors) {
607                                 logger('Send to Twitter failed: "' . print_r($result->errors, true) . '"');
608
609                                 $r = q("SELECT `id` FROM `contact` WHERE `uid` = %d AND `self`", intval($b['uid']));
610                                 if (count($r)) {
611                                         $a->contact = $r[0]["id"];
612                                 }
613
614                                 $s = serialize(['url' => $url, 'item' => $b['id'], 'post' => $post]);
615
616                                 Queue::add($a->contact, NETWORK_TWITTER, $s);
617                                 notice(L10n::t('Twitter post failed. Queued for retry.') . EOL);
618                         } elseif ($iscomment) {
619                                 logger('twitter_post: Update extid ' . $result->id_str . " for post id " . $b['id']);
620                                 Item::update(['extid' => "twitter::" . $result->id_str], ['id' => $b['id']]);
621                         }
622                 }
623         }
624 }
625
626 function twitter_addon_admin_post(App $a)
627 {
628         $consumerkey    = x($_POST, 'consumerkey')    ? notags(trim($_POST['consumerkey']))    : '';
629         $consumersecret = x($_POST, 'consumersecret') ? notags(trim($_POST['consumersecret'])) : '';
630         Config::set('twitter', 'consumerkey', $consumerkey);
631         Config::set('twitter', 'consumersecret', $consumersecret);
632         info(L10n::t('Settings updated.') . EOL);
633 }
634
635 function twitter_addon_admin(App $a, &$o)
636 {
637         $t = get_markup_template("admin.tpl", "addon/twitter/");
638
639         $o = replace_macros($t, [
640                 '$submit' => L10n::t('Save Settings'),
641                 // name, label, value, help, [extra values]
642                 '$consumerkey' => ['consumerkey', L10n::t('Consumer key'), Config::get('twitter', 'consumerkey'), ''],
643                 '$consumersecret' => ['consumersecret', L10n::t('Consumer secret'), Config::get('twitter', 'consumersecret'), ''],
644         ]);
645 }
646
647 function twitter_cron(App $a, $b)
648 {
649         $last = Config::get('twitter', 'last_poll');
650
651         $poll_interval = intval(Config::get('twitter', 'poll_interval'));
652         if (!$poll_interval) {
653                 $poll_interval = TWITTER_DEFAULT_POLL_INTERVAL;
654         }
655
656         if ($last) {
657                 $next = $last + ($poll_interval * 60);
658                 if ($next > time()) {
659                         logger('twitter: poll intervall not reached');
660                         return;
661                 }
662         }
663         logger('twitter: cron_start');
664
665         $r = q("SELECT * FROM `pconfig` WHERE `cat` = 'twitter' AND `k` = 'mirror_posts' AND `v` = '1'");
666         if (count($r)) {
667                 foreach ($r as $rr) {
668                         logger('twitter: fetching for user ' . $rr['uid']);
669                         Worker::add(PRIORITY_MEDIUM, "addon/twitter/twitter_sync.php", 1, (int) $rr['uid']);
670                 }
671         }
672
673         $abandon_days = intval(Config::get('system', 'account_abandon_days'));
674         if ($abandon_days < 1) {
675                 $abandon_days = 0;
676         }
677
678         $abandon_limit = date(DateTimeFormat::MYSQL, time() - $abandon_days * 86400);
679
680         $r = q("SELECT * FROM `pconfig` WHERE `cat` = 'twitter' AND `k` = 'import' AND `v` = '1'");
681         if (count($r)) {
682                 foreach ($r as $rr) {
683                         if ($abandon_days != 0) {
684                                 $user = q("SELECT `login_date` FROM `user` WHERE uid=%d AND `login_date` >= '%s'", $rr['uid'], $abandon_limit);
685                                 if (!count($user)) {
686                                         logger('abandoned account: timeline from user ' . $rr['uid'] . ' will not be imported');
687                                         continue;
688                                 }
689                         }
690
691                         logger('twitter: importing timeline from user ' . $rr['uid']);
692                         Worker::add(PRIORITY_MEDIUM, "addon/twitter/twitter_sync.php", 2, (int) $rr['uid']);
693                         /*
694                           // To-Do
695                           // check for new contacts once a day
696                           $last_contact_check = PConfig::get($rr['uid'],'pumpio','contact_check');
697                           if($last_contact_check)
698                           $next_contact_check = $last_contact_check + 86400;
699                           else
700                           $next_contact_check = 0;
701
702                           if($next_contact_check <= time()) {
703                           pumpio_getallusers($a, $rr["uid"]);
704                           PConfig::set($rr['uid'],'pumpio','contact_check',time());
705                           }
706                          */
707                 }
708         }
709
710         logger('twitter: cron_end');
711
712         Config::set('twitter', 'last_poll', time());
713 }
714
715 function twitter_expire(App $a, $b)
716 {
717         $days = Config::get('twitter', 'expire');
718
719         if ($days == 0) {
720                 return;
721         }
722
723         if (method_exists('dba', 'delete')) {
724                 $r = dba::select('item', ['id'], ['deleted' => true, 'network' => NETWORK_TWITTER]);
725                 while ($row = dba::fetch($r)) {
726                         dba::delete('item', ['id' => $row['id']]);
727                 }
728                 dba::close($r);
729         } else {
730                 $r = q("DELETE FROM `item` WHERE `deleted` AND `network` = '%s'", dbesc(NETWORK_TWITTER));
731         }
732
733         require_once "include/items.php";
734
735         logger('twitter_expire: expire_start');
736
737         $r = q("SELECT * FROM `pconfig` WHERE `cat` = 'twitter' AND `k` = 'import' AND `v` = '1' ORDER BY RAND()");
738         if (count($r)) {
739                 foreach ($r as $rr) {
740                         logger('twitter_expire: user ' . $rr['uid']);
741                         Item::expire($rr['uid'], $days, NETWORK_TWITTER, true);
742                 }
743         }
744
745         logger('twitter_expire: expire_end');
746 }
747
748 function twitter_prepare_body(App $a, &$b)
749 {
750         if ($b["item"]["network"] != NETWORK_TWITTER) {
751                 return;
752         }
753
754         if ($b["preview"]) {
755                 $max_char = 280;
756                 $item = $b["item"];
757                 $item["plink"] = $a->get_baseurl() . "/display/" . $a->user["nickname"] . "/" . $item["parent"];
758
759                 $r = q("SELECT `author-link` FROM item WHERE item.uri = '%s' AND item.uid = %d LIMIT 1",
760                         dbesc($item["thr-parent"]),
761                         intval(local_user()));
762
763                 if (count($r)) {
764                         $orig_post = $r[0];
765
766                         $nicknameplain = preg_replace("=https?://twitter.com/(.*)=ism", "$1", $orig_post["author-link"]);
767                         $nickname = "@[url=" . $orig_post["author-link"] . "]" . $nicknameplain . "[/url]";
768                         $nicknameplain = "@" . $nicknameplain;
769
770                         if ((strpos($item["body"], $nickname) === false) && (strpos($item["body"], $nicknameplain) === false)) {
771                                 $item["body"] = $nickname . " " . $item["body"];
772                         }
773                 }
774
775                 $msgarr = BBCode::toPlaintext($item, $max_char, true, 8);
776                 $msg = $msgarr["text"];
777
778                 if (isset($msgarr["url"]) && ($msgarr["type"] != "photo")) {
779                         $msg .= " " . $msgarr["url"];
780                 }
781
782                 if (isset($msgarr["image"])) {
783                         $msg .= " " . $msgarr["image"];
784                 }
785
786                 $b['html'] = nl2br(htmlspecialchars($msg));
787         }
788 }
789
790 /**
791  * @brief Build the item array for the mirrored post
792  *
793  * @param App $a Application class
794  * @param integer $uid User id
795  * @param object $post Twitter object with the post
796  *
797  * @return array item data to be posted
798  */
799 function twitter_do_mirrorpost(App $a, $uid, $post)
800 {
801         $datarray["type"] = "wall";
802         $datarray["api_source"] = true;
803         $datarray["profile_uid"] = $uid;
804         $datarray["extid"] = NETWORK_TWITTER;
805         $datarray['message_id'] = item_new_uri($a->get_hostname(), $uid, NETWORK_TWITTER . ":" . $post->id);
806         $datarray['object'] = json_encode($post);
807         $datarray["title"] = "";
808
809         if (is_object($post->retweeted_status)) {
810                 // We don't support nested shares, so we mustn't show quotes as shares on retweets
811                 $item = twitter_createpost($a, $uid, $post->retweeted_status, ['id' => 0], false, false, true);
812
813                 $datarray['body'] = "\n" . share_header(
814                         $item['author-name'],
815                         $item['author-link'],
816                         $item['author-avatar'],
817                         "",
818                         $item['created'],
819                         $item['plink']
820                 );
821
822                 $datarray['body'] .= $item['body'] . '[/share]';
823         } else {
824                 $item = twitter_createpost($a, $uid, $post, ['id' => 0], false, false, false);
825
826                 $datarray['body'] = $item['body'];
827         }
828
829         $datarray["source"] = $item['app'];
830         $datarray["verb"] = $item['verb'];
831
832         if (isset($item["location"])) {
833                 $datarray["location"] = $item["location"];
834         }
835
836         if (isset($item["coord"])) {
837                 $datarray["coord"] = $item["coord"];
838         }
839
840         return $datarray;
841 }
842
843 function twitter_fetchtimeline(App $a, $uid)
844 {
845         $ckey    = Config::get('twitter', 'consumerkey');
846         $csecret = Config::get('twitter', 'consumersecret');
847         $otoken  = PConfig::get($uid, 'twitter', 'oauthtoken');
848         $osecret = PConfig::get($uid, 'twitter', 'oauthsecret');
849         $lastid  = PConfig::get($uid, 'twitter', 'lastid');
850
851         $application_name = Config::get('twitter', 'application_name');
852
853         if ($application_name == "") {
854                 $application_name = $a->get_hostname();
855         }
856
857         $has_picture = false;
858
859         require_once 'mod/item.php';
860         require_once 'include/items.php';
861         require_once 'mod/share.php';
862
863         $connection = new TwitterOAuth($ckey, $csecret, $otoken, $osecret);
864
865         $parameters = ["exclude_replies" => true, "trim_user" => false, "contributor_details" => true, "include_rts" => true, "tweet_mode" => "extended"];
866
867         $first_time = ($lastid == "");
868
869         if ($lastid != "") {
870                 $parameters["since_id"] = $lastid;
871         }
872
873         $items = $connection->get('statuses/user_timeline', $parameters);
874
875         if (!is_array($items)) {
876                 return;
877         }
878
879         $posts = array_reverse($items);
880
881         if (count($posts)) {
882                 foreach ($posts as $post) {
883                         if ($post->id_str > $lastid) {
884                                 $lastid = $post->id_str;
885                                 PConfig::set($uid, 'twitter', 'lastid', $lastid);
886                         }
887
888                         if ($first_time) {
889                                 continue;
890                         }
891
892                         if (!stristr($post->source, $application_name)) {
893                                 $_SESSION["authenticated"] = true;
894                                 $_SESSION["uid"] = $uid;
895
896                                 $_REQUEST = twitter_do_mirrorpost($a, $uid, $post);
897
898                                 logger('twitter: posting for user ' . $uid);
899
900                                 item_post($a);
901                         }
902                 }
903         }
904         PConfig::set($uid, 'twitter', 'lastid', $lastid);
905 }
906
907 function twitter_queue_hook(App $a, &$b)
908 {
909         $qi = q("SELECT * FROM `queue` WHERE `network` = '%s'",
910                 dbesc(NETWORK_TWITTER)
911         );
912         if (!count($qi)) {
913                 return;
914         }
915
916         foreach ($qi as $x) {
917                 if ($x['network'] !== NETWORK_TWITTER) {
918                         continue;
919                 }
920
921                 logger('twitter_queue: run');
922
923                 $r = q("SELECT `user`.* FROM `user` LEFT JOIN `contact` on `contact`.`uid` = `user`.`uid`
924                         WHERE `contact`.`self` = 1 AND `contact`.`id` = %d LIMIT 1",
925                         intval($x['cid'])
926                 );
927                 if (!count($r)) {
928                         continue;
929                 }
930
931                 $user = $r[0];
932
933                 $ckey    = Config::get('twitter', 'consumerkey');
934                 $csecret = Config::get('twitter', 'consumersecret');
935                 $otoken  = PConfig::get($user['uid'], 'twitter', 'oauthtoken');
936                 $osecret = PConfig::get($user['uid'], 'twitter', 'oauthsecret');
937
938                 $success = false;
939
940                 if ($ckey && $csecret && $otoken && $osecret) {
941                         logger('twitter_queue: able to post');
942
943                         $z = unserialize($x['content']);
944
945                         $connection = new TwitterOAuth($ckey, $csecret, $otoken, $osecret);
946                         $result = $connection->post($z['url'], $z['post']);
947
948                         logger('twitter_queue: post result: ' . print_r($result, true), LOGGER_DEBUG);
949
950                         if ($result->errors) {
951                                 logger('twitter_queue: Send to Twitter failed: "' . print_r($result->errors, true) . '"');
952                         } else {
953                                 $success = true;
954                                 Queue::removeItem($x['id']);
955                         }
956                 } else {
957                         logger("twitter_queue: Error getting tokens for user " . $user['uid']);
958                 }
959
960                 if (!$success) {
961                         logger('twitter_queue: delayed');
962                         Queue::updateTime($x['id']);
963                 }
964         }
965 }
966
967 function twitter_fix_avatar($avatar)
968 {
969         $new_avatar = str_replace("_normal.", ".", $avatar);
970
971         $info = Image::getInfoFromURL($new_avatar);
972         if (!$info) {
973                 $new_avatar = $avatar;
974         }
975
976         return $new_avatar;
977 }
978
979 function twitter_fetch_contact($uid, $contact, $create_user)
980 {
981         if ($contact->id_str == "") {
982                 return -1;
983         }
984
985         $avatar = twitter_fix_avatar($contact->profile_image_url_https);
986
987         GContact::update(["url" => "https://twitter.com/" . $contact->screen_name,
988                 "network" => NETWORK_TWITTER, "photo" => $avatar, "hide" => true,
989                 "name" => $contact->name, "nick" => $contact->screen_name,
990                 "location" => $contact->location, "about" => $contact->description,
991                 "addr" => $contact->screen_name . "@twitter.com", "generation" => 2]);
992
993         $r = q("SELECT * FROM `contact` WHERE `uid` = %d AND `alias` = '%s' LIMIT 1",
994                 intval($uid),
995                 dbesc("twitter::" . $contact->id_str));
996
997         if (!count($r) && !$create_user) {
998                 return 0;
999         }
1000
1001         if (count($r) && ($r[0]["readonly"] || $r[0]["blocked"])) {
1002                 logger("twitter_fetch_contact: Contact '" . $r[0]["nick"] . "' is blocked or readonly.", LOGGER_DEBUG);
1003                 return -1;
1004         }
1005
1006         if (!count($r)) {
1007                 // create contact record
1008                 q("INSERT INTO `contact` (`uid`, `created`, `url`, `nurl`, `addr`, `alias`, `notify`, `poll`,
1009                                         `name`, `nick`, `photo`, `network`, `rel`, `priority`,
1010                                         `location`, `about`, `writable`, `blocked`, `readonly`, `pending`)
1011                                         VALUES (%d, '%s', '%s', '%s', '%s', '%s', '%s', '%s', '%s', '%s', '%s', '%s', %d, %d, '%s', '%s', %d, 0, 0, 0)",
1012                         intval($uid),
1013                         dbesc(DateTimeFormat::utcNow()),
1014                         dbesc("https://twitter.com/" . $contact->screen_name),
1015                         dbesc(normalise_link("https://twitter.com/" . $contact->screen_name)),
1016                         dbesc($contact->screen_name."@twitter.com"),
1017                         dbesc("twitter::" . $contact->id_str),
1018                         dbesc(''),
1019                         dbesc("twitter::" . $contact->id_str),
1020                         dbesc($contact->name),
1021                         dbesc($contact->screen_name),
1022                         dbesc($avatar),
1023                         dbesc(NETWORK_TWITTER),
1024                         intval(CONTACT_IS_FRIEND),
1025                         intval(1),
1026                         dbesc($contact->location),
1027                         dbesc($contact->description),
1028                         intval(1)
1029                 );
1030
1031                 $r = q("SELECT * FROM `contact` WHERE `alias` = '%s' AND `uid` = %d LIMIT 1",
1032                         dbesc("twitter::".$contact->id_str),
1033                         intval($uid)
1034                 );
1035
1036                 if (!count($r)) {
1037                         return false;
1038                 }
1039
1040                 $contact_id = $r[0]['id'];
1041
1042                 Group::addMember(User::getDefaultGroup($uid), $contact_id);
1043
1044                 $photos = Photo::importProfilePhoto($avatar, $uid, $contact_id, true);
1045
1046                 if ($photos) {
1047                         q("UPDATE `contact` SET `photo` = '%s',
1048                                                 `thumb` = '%s',
1049                                                 `micro` = '%s',
1050                                                 `name-date` = '%s',
1051                                                 `uri-date` = '%s',
1052                                                         `avatar-date` = '%s'
1053                                         WHERE `id` = %d",
1054                                 dbesc($photos[0]),
1055                                 dbesc($photos[1]),
1056                                 dbesc($photos[2]),
1057                                 dbesc(DateTimeFormat::utcNow()),
1058                                 dbesc(DateTimeFormat::utcNow()),
1059                                 dbesc(DateTimeFormat::utcNow()),
1060                                 intval($contact_id)
1061                         );
1062                 }
1063         } else {
1064                 // update profile photos once every two weeks as we have no notification of when they change.
1065                 //$update_photo = (($r[0]['avatar-date'] < DateTimeFormat::convert('now -2 days', '', '', )) ? true : false);
1066                 $update_photo = ($r[0]['avatar-date'] < DateTimeFormat::utc('now -12 hours'));
1067
1068                 // check that we have all the photos, this has been known to fail on occasion
1069                 if ((!$r[0]['photo']) || (!$r[0]['thumb']) || (!$r[0]['micro']) || ($update_photo)) {
1070                         logger("twitter_fetch_contact: Updating contact " . $contact->screen_name, LOGGER_DEBUG);
1071
1072                         $photos = Photo::importProfilePhoto($avatar, $uid, $r[0]['id'], true);
1073
1074                         if ($photos) {
1075                                 q("UPDATE `contact` SET `photo` = '%s',
1076                                                         `thumb` = '%s',
1077                                                         `micro` = '%s',
1078                                                         `name-date` = '%s',
1079                                                         `uri-date` = '%s',
1080                                                         `avatar-date` = '%s',
1081                                                         `url` = '%s',
1082                                                         `nurl` = '%s',
1083                                                         `addr` = '%s',
1084                                                         `name` = '%s',
1085                                                         `nick` = '%s',
1086                                                         `location` = '%s',
1087                                                         `about` = '%s'
1088                                                 WHERE `id` = %d",
1089                                         dbesc($photos[0]),
1090                                         dbesc($photos[1]),
1091                                         dbesc($photos[2]),
1092                                         dbesc(DateTimeFormat::utcNow()),
1093                                         dbesc(DateTimeFormat::utcNow()),
1094                                         dbesc(DateTimeFormat::utcNow()),
1095                                         dbesc("https://twitter.com/".$contact->screen_name),
1096                                         dbesc(normalise_link("https://twitter.com/".$contact->screen_name)),
1097                                         dbesc($contact->screen_name."@twitter.com"),
1098                                         dbesc($contact->name),
1099                                         dbesc($contact->screen_name),
1100                                         dbesc($contact->location),
1101                                         dbesc($contact->description),
1102                                         intval($r[0]['id'])
1103                                 );
1104                         }
1105                 }
1106         }
1107
1108         return $r[0]["id"];
1109 }
1110
1111 function twitter_fetchuser(App $a, $uid, $screen_name = "", $user_id = "")
1112 {
1113         $ckey = Config::get('twitter', 'consumerkey');
1114         $csecret = Config::get('twitter', 'consumersecret');
1115         $otoken = PConfig::get($uid, 'twitter', 'oauthtoken');
1116         $osecret = PConfig::get($uid, 'twitter', 'oauthsecret');
1117
1118         $r = q("SELECT * FROM `contact` WHERE `self` = 1 AND `uid` = %d LIMIT 1",
1119                 intval($uid));
1120
1121         if (count($r)) {
1122                 $self = $r[0];
1123         } else {
1124                 return;
1125         }
1126
1127         $parameters = [];
1128
1129         if ($screen_name != "") {
1130                 $parameters["screen_name"] = $screen_name;
1131         }
1132
1133         if ($user_id != "") {
1134                 $parameters["user_id"] = $user_id;
1135         }
1136
1137         // Fetching user data
1138         $connection = new TwitterOAuth($ckey, $csecret, $otoken, $osecret);
1139         $user = $connection->get('users/show', $parameters);
1140
1141         if (!is_object($user)) {
1142                 return;
1143         }
1144
1145         $contact_id = twitter_fetch_contact($uid, $user, true);
1146
1147         return $contact_id;
1148 }
1149
1150 function twitter_expand_entities(App $a, $body, $item, $picture)
1151 {
1152         $plain = $body;
1153
1154         $tags_arr = [];
1155
1156         foreach ($item->entities->hashtags AS $hashtag) {
1157                 $url = "#[url=" . $a->get_baseurl() . "/search?tag=" . rawurlencode($hashtag->text) . "]" . $hashtag->text . "[/url]";
1158                 $tags_arr["#" . $hashtag->text] = $url;
1159                 $body = str_replace("#" . $hashtag->text, $url, $body);
1160         }
1161
1162         foreach ($item->entities->user_mentions AS $mention) {
1163                 $url = "@[url=https://twitter.com/" . rawurlencode($mention->screen_name) . "]" . $mention->screen_name . "[/url]";
1164                 $tags_arr["@" . $mention->screen_name] = $url;
1165                 $body = str_replace("@" . $mention->screen_name, $url, $body);
1166         }
1167
1168         if (isset($item->entities->urls)) {
1169                 $type = "";
1170                 $footerurl = "";
1171                 $footerlink = "";
1172                 $footer = "";
1173
1174                 foreach ($item->entities->urls as $url) {
1175                         $plain = str_replace($url->url, '', $plain);
1176
1177                         if ($url->url && $url->expanded_url && $url->display_url) {
1178                                 $expanded_url = Network::finalUrl($url->expanded_url);
1179
1180                                 $oembed_data = OEmbed::fetchURL($expanded_url);
1181
1182                                 // Quickfix: Workaround for URL with "[" and "]" in it
1183                                 if (strpos($expanded_url, "[") || strpos($expanded_url, "]")) {
1184                                         $expanded_url = $url->url;
1185                                 }
1186
1187                                 if ($type == "") {
1188                                         $type = $oembed_data->type;
1189                                 }
1190
1191                                 if ($oembed_data->type == "video") {
1192                                         //$body = str_replace($url->url,
1193                                         //              "[video]".$expanded_url."[/video]", $body);
1194                                         //$dontincludemedia = true;
1195                                         $type = $oembed_data->type;
1196                                         $footerurl = $expanded_url;
1197                                         $footerlink = "[url=" . $expanded_url . "]" . $expanded_url . "[/url]";
1198
1199                                         $body = str_replace($url->url, $footerlink, $body);
1200                                         //} elseif (($oembed_data->type == "photo") AND isset($oembed_data->url) AND !$dontincludemedia) {
1201                                 } elseif (($oembed_data->type == "photo") && isset($oembed_data->url)) {
1202                                         $body = str_replace($url->url, "[url=" . $expanded_url . "][img]" . $oembed_data->url . "[/img][/url]", $body);
1203                                         //$dontincludemedia = true;
1204                                 } elseif ($oembed_data->type != "link") {
1205                                         $body = str_replace($url->url, "[url=" . $expanded_url . "]" . $expanded_url . "[/url]", $body);
1206                                 } else {
1207                                         $img_str = Network::fetchUrl($expanded_url, true, $redirects, 4);
1208
1209                                         $tempfile = tempnam(get_temppath(), "cache");
1210                                         file_put_contents($tempfile, $img_str);
1211                                         $mime = image_type_to_mime_type(exif_imagetype($tempfile));
1212                                         unlink($tempfile);
1213
1214                                         if (substr($mime, 0, 6) == "image/") {
1215                                                 $type = "photo";
1216                                                 $body = str_replace($url->url, "[img]" . $expanded_url . "[/img]", $body);
1217                                                 //$dontincludemedia = true;
1218                                         } else {
1219                                                 $type = $oembed_data->type;
1220                                                 $footerurl = $expanded_url;
1221                                                 $footerlink = "[url=" . $expanded_url . "]" . $expanded_url . "[/url]";
1222
1223                                                 $body = str_replace($url->url, $footerlink, $body);
1224                                         }
1225                                 }
1226                         }
1227                 }
1228
1229                 if ($footerurl != "") {
1230                         $footer = add_page_info($footerurl, false, $picture);
1231                 }
1232
1233                 if (($footerlink != "") && (trim($footer) != "")) {
1234                         $removedlink = trim(str_replace($footerlink, "", $body));
1235
1236                         if (($removedlink == "") || strstr($body, $removedlink)) {
1237                                 $body = $removedlink;
1238                         }
1239
1240                         $body .= $footer;
1241                 }
1242
1243                 if (($footer == "") && ($picture != "")) {
1244                         $body .= "\n\n[img]" . $picture . "[/img]\n";
1245                 } elseif (($footer == "") && ($picture == "")) {
1246                         $body = add_page_info_to_body($body);
1247                 }
1248         }
1249
1250         // it seems as if the entities aren't always covering all mentions. So the rest will be checked here
1251         $tags = get_tags($body);
1252
1253         if (count($tags)) {
1254                 foreach ($tags as $tag) {
1255                         if (strstr(trim($tag), " ")) {
1256                                 continue;
1257                         }
1258
1259                         if (strpos($tag, '#') === 0) {
1260                                 if (strpos($tag, '[url=')) {
1261                                         continue;
1262                                 }
1263
1264                                 // don't link tags that are already embedded in links
1265                                 if (preg_match('/\[(.*?)' . preg_quote($tag, '/') . '(.*?)\]/', $body)) {
1266                                         continue;
1267                                 }
1268                                 if (preg_match('/\[(.*?)\]\((.*?)' . preg_quote($tag, '/') . '(.*?)\)/', $body)) {
1269                                         continue;
1270                                 }
1271
1272                                 $basetag = str_replace('_', ' ', substr($tag, 1));
1273                                 $url = '#[url=' . $a->get_baseurl() . '/search?tag=' . rawurlencode($basetag) . ']' . $basetag . '[/url]';
1274                                 $body = str_replace($tag, $url, $body);
1275                                 $tags_arr["#" . $basetag] = $url;
1276                         } elseif (strpos($tag, '@') === 0) {
1277                                 if (strpos($tag, '[url=')) {
1278                                         continue;
1279                                 }
1280
1281                                 $basetag = substr($tag, 1);
1282                                 $url = '@[url=https://twitter.com/' . rawurlencode($basetag) . ']' . $basetag . '[/url]';
1283                                 $body = str_replace($tag, $url, $body);
1284                                 $tags_arr["@" . $basetag] = $url;
1285                         }
1286                 }
1287         }
1288
1289         $tags = implode($tags_arr, ",");
1290
1291         return ["body" => $body, "tags" => $tags, "plain" => $plain];
1292 }
1293
1294 /**
1295  * @brief Fetch media entities and add media links to the body
1296  *
1297  * @param object $post Twitter object with the post
1298  * @param array $postarray Array of the item that is about to be posted
1299  *
1300  * @return $picture string Image URL or empty string
1301  */
1302 function twitter_media_entities($post, &$postarray)
1303 {
1304         // There are no media entities? So we quit.
1305         if (!is_array($post->extended_entities->media)) {
1306                 return "";
1307         }
1308
1309         // When the post links to an external page, we only take one picture.
1310         // We only do this when there is exactly one media.
1311         if ((count($post->entities->urls) > 0) && (count($post->extended_entities->media) == 1)) {
1312                 $picture = "";
1313                 foreach ($post->extended_entities->media AS $medium) {
1314                         if (isset($medium->media_url_https)) {
1315                                 $picture = $medium->media_url_https;
1316                                 $postarray['body'] = str_replace($medium->url, "", $postarray['body']);
1317                         }
1318                 }
1319                 return $picture;
1320         }
1321
1322         // This is a pure media post, first search for all media urls
1323         $media = [];
1324         foreach ($post->extended_entities->media AS $medium) {
1325                 switch ($medium->type) {
1326                         case 'photo':
1327                                 $media[$medium->url] .= "\n[img]" . $medium->media_url_https . "[/img]";
1328                                 $postarray['object-type'] = ACTIVITY_OBJ_IMAGE;
1329                                 break;
1330                         case 'video':
1331                         case 'animated_gif':
1332                                 $media[$medium->url] .= "\n[img]" . $medium->media_url_https . "[/img]";
1333                                 $postarray['object-type'] = ACTIVITY_OBJ_VIDEO;
1334                                 if (is_array($medium->video_info->variants)) {
1335                                         $bitrate = 0;
1336                                         // We take the video with the highest bitrate
1337                                         foreach ($medium->video_info->variants AS $variant) {
1338                                                 if (($variant->content_type == "video/mp4") && ($variant->bitrate >= $bitrate)) {
1339                                                         $media[$medium->url] = "\n[video]" . $variant->url . "[/video]";
1340                                                         $bitrate = $variant->bitrate;
1341                                                 }
1342                                         }
1343                                 }
1344                                 break;
1345                         // The following code will only be activated for test reasons
1346                         //default:
1347                         //      $postarray['body'] .= print_r($medium, true);
1348                 }
1349         }
1350
1351         // Now we replace the media urls.
1352         foreach ($media AS $key => $value) {
1353                 $postarray['body'] = str_replace($key, "\n" . $value . "\n", $postarray['body']);
1354         }
1355         return "";
1356 }
1357
1358 function twitter_createpost(App $a, $uid, $post, $self, $create_user, $only_existing_contact, $noquote)
1359 {
1360         $postarray = [];
1361         $postarray['network'] = NETWORK_TWITTER;
1362         $postarray['gravity'] = 0;
1363         $postarray['uid'] = $uid;
1364         $postarray['wall'] = 0;
1365         $postarray['uri'] = "twitter::" . $post->id_str;
1366         $postarray['object'] = json_encode($post);
1367
1368         // Don't import our own comments
1369         $r = q("SELECT * FROM `item` WHERE `extid` = '%s' AND `uid` = %d LIMIT 1",
1370                 dbesc($postarray['uri']),
1371                 intval($uid)
1372         );
1373
1374         if (count($r)) {
1375                 logger("Item with extid " . $postarray['uri'] . " found.", LOGGER_DEBUG);
1376                 return [];
1377         }
1378
1379         $contactid = 0;
1380
1381         if ($post->in_reply_to_status_id_str != "") {
1382                 $parent = "twitter::" . $post->in_reply_to_status_id_str;
1383
1384                 $r = q("SELECT * FROM `item` WHERE `uri` = '%s' AND `uid` = %d LIMIT 1",
1385                         dbesc($parent),
1386                         intval($uid)
1387                 );
1388                 if (count($r)) {
1389                         $postarray['thr-parent'] = $r[0]["uri"];
1390                         $postarray['parent-uri'] = $r[0]["parent-uri"];
1391                         $postarray['parent'] = $r[0]["parent"];
1392                         $postarray['object-type'] = ACTIVITY_OBJ_COMMENT;
1393                 } else {
1394                         $r = q("SELECT * FROM `item` WHERE `extid` = '%s' AND `uid` = %d LIMIT 1",
1395                                 dbesc($parent),
1396                                 intval($uid)
1397                         );
1398                         if (count($r)) {
1399                                 $postarray['thr-parent'] = $r[0]['uri'];
1400                                 $postarray['parent-uri'] = $r[0]['parent-uri'];
1401                                 $postarray['parent'] = $r[0]['parent'];
1402                                 $postarray['object-type'] = ACTIVITY_OBJ_COMMENT;
1403                         } else {
1404                                 $postarray['thr-parent'] = $postarray['uri'];
1405                                 $postarray['parent-uri'] = $postarray['uri'];
1406                                 $postarray['object-type'] = ACTIVITY_OBJ_NOTE;
1407                         }
1408                 }
1409
1410                 // Is it me?
1411                 $own_id = PConfig::get($uid, 'twitter', 'own_id');
1412
1413                 if ($post->user->id_str == $own_id) {
1414                         $r = q("SELECT * FROM `contact` WHERE `self` = 1 AND `uid` = %d LIMIT 1",
1415                                 intval($uid));
1416
1417                         if (count($r)) {
1418                                 $contactid = $r[0]["id"];
1419
1420                                 $postarray['owner-name']   = $r[0]["name"];
1421                                 $postarray['owner-link']   = $r[0]["url"];
1422                                 $postarray['owner-avatar'] = $r[0]["photo"];
1423                         } else {
1424                                 logger("No self contact for user " . $uid, LOGGER_DEBUG);
1425                                 return [];
1426                         }
1427                 }
1428                 // Don't create accounts of people who just comment something
1429                 $create_user = false;
1430         } else {
1431                 $postarray['parent-uri'] = $postarray['uri'];
1432                 $postarray['object-type'] = ACTIVITY_OBJ_NOTE;
1433         }
1434
1435         if ($contactid == 0) {
1436                 $contactid = twitter_fetch_contact($uid, $post->user, $create_user);
1437
1438                 $postarray['owner-name'] = $post->user->name;
1439                 $postarray['owner-link'] = "https://twitter.com/" . $post->user->screen_name;
1440                 $postarray['owner-avatar'] = twitter_fix_avatar($post->user->profile_image_url_https);
1441         }
1442
1443         if (($contactid == 0) && !$only_existing_contact) {
1444                 $contactid = $self['id'];
1445         } elseif ($contactid <= 0) {
1446                 logger("Contact ID is zero or less than zero.", LOGGER_DEBUG);
1447                 return [];
1448         }
1449
1450         $postarray['contact-id'] = $contactid;
1451
1452         $postarray['verb'] = ACTIVITY_POST;
1453         $postarray['author-name'] = $postarray['owner-name'];
1454         $postarray['author-link'] = $postarray['owner-link'];
1455         $postarray['author-avatar'] = $postarray['owner-avatar'];
1456         $postarray['plink'] = "https://twitter.com/" . $post->user->screen_name . "/status/" . $post->id_str;
1457         $postarray['app'] = strip_tags($post->source);
1458
1459         if ($post->user->protected) {
1460                 $postarray['private'] = 1;
1461                 $postarray['allow_cid'] = '<' . $self['id'] . '>';
1462         }
1463
1464         if (is_string($post->full_text)) {
1465                 $postarray['body'] = $post->full_text;
1466         } else {
1467                 $postarray['body'] = $post->text;
1468         }
1469
1470         // When the post contains links then use the correct object type
1471         if (count($post->entities->urls) > 0) {
1472                 $postarray['object-type'] = ACTIVITY_OBJ_BOOKMARK;
1473         }
1474
1475         // Search for media links
1476         $picture = twitter_media_entities($post, $postarray);
1477
1478         $converted = twitter_expand_entities($a, $postarray['body'], $post, $picture);
1479         $postarray['body'] = $converted["body"];
1480         $postarray['tag'] = $converted["tags"];
1481         $postarray['created'] = DateTimeFormat::utc($post->created_at);
1482         $postarray['edited'] = DateTimeFormat::utc($post->created_at);
1483
1484         $statustext = $converted["plain"];
1485
1486         if (is_string($post->place->name)) {
1487                 $postarray["location"] = $post->place->name;
1488         }
1489         if (is_string($post->place->full_name)) {
1490                 $postarray["location"] = $post->place->full_name;
1491         }
1492         if (is_array($post->geo->coordinates)) {
1493                 $postarray["coord"] = $post->geo->coordinates[0] . " " . $post->geo->coordinates[1];
1494         }
1495         if (is_array($post->coordinates->coordinates)) {
1496                 $postarray["coord"] = $post->coordinates->coordinates[1] . " " . $post->coordinates->coordinates[0];
1497         }
1498         if (is_object($post->retweeted_status)) {
1499                 $retweet = twitter_createpost($a, $uid, $post->retweeted_status, $self, false, false, $noquote);
1500
1501                 $retweet['object'] = $postarray['object'];
1502                 $retweet['private'] = $postarray['private'];
1503                 $retweet['allow_cid'] = $postarray['allow_cid'];
1504                 $retweet['contact-id'] = $postarray['contact-id'];
1505                 $retweet['owner-name'] = $postarray['owner-name'];
1506                 $retweet['owner-link'] = $postarray['owner-link'];
1507                 $retweet['owner-avatar'] = $postarray['owner-avatar'];
1508
1509                 $postarray = $retweet;
1510         }
1511
1512         if (is_object($post->quoted_status) && !$noquote) {
1513                 $quoted = twitter_createpost($a, $uid, $post->quoted_status, $self, false, false, true);
1514
1515                 $postarray['body'] = $statustext;
1516
1517                 $postarray['body'] .= "\n" . share_header(
1518                         $quoted['author-name'],
1519                         $quoted['author-link'],
1520                         $quoted['author-avatar'],
1521                         "",
1522                         $quoted['created'],
1523                         $quoted['plink']
1524                 );
1525
1526                 $postarray['body'] .= $quoted['body'] . '[/share]';
1527         }
1528
1529         return $postarray;
1530 }
1531
1532 function twitter_checknotification(App $a, $uid, $own_id, $top_item, $postarray)
1533 {
1534         /// TODO: this whole function doesn't seem to work. Needs complete check
1535         $user = q("SELECT * FROM `contact` WHERE `uid` = %d AND `self` LIMIT 1",
1536                 intval($uid)
1537         );
1538
1539         if (!count($user)) {
1540                 return;
1541         }
1542
1543         // Is it me?
1544         if (link_compare($user[0]["url"], $postarray['author-link'])) {
1545                 return;
1546         }
1547
1548         $own_user = q("SELECT * FROM `contact` WHERE `uid` = %d AND `alias` = '%s' LIMIT 1",
1549                 intval($uid),
1550                 dbesc("twitter::".$own_id)
1551         );
1552
1553         if (!count($own_user)) {
1554                 return;
1555         }
1556
1557         // Is it me from twitter?
1558         if (link_compare($own_user[0]["url"], $postarray['author-link'])) {
1559                 return;
1560         }
1561
1562         $myconv = q("SELECT `author-link`, `author-avatar`, `parent` FROM `item` WHERE `parent-uri` = '%s' AND `uid` = %d AND `parent` != 0 AND `deleted` = 0",
1563                 dbesc($postarray['parent-uri']),
1564                 intval($uid)
1565         );
1566
1567         if (count($myconv)) {
1568                 foreach ($myconv as $conv) {
1569                         // now if we find a match, it means we're in this conversation
1570                         if (!link_compare($conv['author-link'], $user[0]["url"]) && !link_compare($conv['author-link'], $own_user[0]["url"])) {
1571                                 continue;
1572                         }
1573
1574                         require_once 'include/enotify.php';
1575
1576                         $conv_parent = $conv['parent'];
1577
1578                         notification([
1579                                 'type' => NOTIFY_COMMENT,
1580                                 'notify_flags' => $user[0]['notify-flags'],
1581                                 'language' => $user[0]['language'],
1582                                 'to_name' => $user[0]['username'],
1583                                 'to_email' => $user[0]['email'],
1584                                 'uid' => $user[0]['uid'],
1585                                 'item' => $postarray,
1586                                 'link' => $a->get_baseurl() . '/display/' . urlencode(Item::getGuidById($top_item)),
1587                                 'source_name' => $postarray['author-name'],
1588                                 'source_link' => $postarray['author-link'],
1589                                 'source_photo' => $postarray['author-avatar'],
1590                                 'verb' => ACTIVITY_POST,
1591                                 'otype' => 'item',
1592                                 'parent' => $conv_parent,
1593                         ]);
1594
1595                         // only send one notification
1596                         break;
1597                 }
1598         }
1599 }
1600
1601 function twitter_fetchparentposts(App $a, $uid, $post, $connection, $self, $own_id)
1602 {
1603         logger("twitter_fetchparentposts: Fetching for user " . $uid . " and post " . $post->id_str, LOGGER_DEBUG);
1604
1605         $posts = [];
1606
1607         while ($post->in_reply_to_status_id_str != "") {
1608                 $parameters = ["trim_user" => false, "tweet_mode" => "extended", "id" => $post->in_reply_to_status_id_str];
1609
1610                 $post = $connection->get('statuses/show', $parameters);
1611
1612                 if (!count($post)) {
1613                         logger("twitter_fetchparentposts: Can't fetch post " . $parameters->id, LOGGER_DEBUG);
1614                         break;
1615                 }
1616
1617                 $r = q("SELECT * FROM `item` WHERE `uri` = '%s' AND `uid` = %d LIMIT 1",
1618                         dbesc("twitter::".$post->id_str),
1619                         intval($uid)
1620                 );
1621
1622                 if (count($r)) {
1623                         break;
1624                 }
1625
1626                 $posts[] = $post;
1627         }
1628
1629         logger("twitter_fetchparentposts: Fetching " . count($posts) . " parents", LOGGER_DEBUG);
1630
1631         $posts = array_reverse($posts);
1632
1633         if (count($posts)) {
1634                 foreach ($posts as $post) {
1635                         $postarray = twitter_createpost($a, $uid, $post, $self, false, false, false);
1636
1637                         if (trim($postarray['body']) == "") {
1638                                 continue;
1639                         }
1640
1641                         $item = Item::insert($postarray);
1642                         $postarray["id"] = $item;
1643
1644                         logger('twitter_fetchparentpost: User ' . $self["nick"] . ' posted parent timeline item ' . $item);
1645
1646                         if ($item && !function_exists("check_item_notification")) {
1647                                 twitter_checknotification($a, $uid, $own_id, $item, $postarray);
1648                         }
1649                 }
1650         }
1651 }
1652
1653 function twitter_fetchhometimeline(App $a, $uid)
1654 {
1655         $ckey    = Config::get('twitter', 'consumerkey');
1656         $csecret = Config::get('twitter', 'consumersecret');
1657         $otoken  = PConfig::get($uid, 'twitter', 'oauthtoken');
1658         $osecret = PConfig::get($uid, 'twitter', 'oauthsecret');
1659         $create_user = PConfig::get($uid, 'twitter', 'create_user');
1660         $mirror_posts = PConfig::get($uid, 'twitter', 'mirror_posts');
1661
1662         logger("twitter_fetchhometimeline: Fetching for user " . $uid, LOGGER_DEBUG);
1663
1664         $application_name = Config::get('twitter', 'application_name');
1665
1666         if ($application_name == "") {
1667                 $application_name = $a->get_hostname();
1668         }
1669
1670         require_once 'include/items.php';
1671
1672         $connection = new TwitterOAuth($ckey, $csecret, $otoken, $osecret);
1673
1674         $own_contact = twitter_fetch_own_contact($a, $uid);
1675
1676         $r = q("SELECT * FROM `contact` WHERE `id` = %d AND `uid` = %d LIMIT 1",
1677                 intval($own_contact),
1678                 intval($uid));
1679
1680         if (count($r)) {
1681                 $own_id = $r[0]["nick"];
1682         } else {
1683                 logger("twitter_fetchhometimeline: Own twitter contact not found for user " . $uid, LOGGER_DEBUG);
1684                 return;
1685         }
1686
1687         $r = q("SELECT * FROM `contact` WHERE `self` = 1 AND `uid` = %d LIMIT 1",
1688                 intval($uid));
1689
1690         if (count($r)) {
1691                 $self = $r[0];
1692         } else {
1693                 logger("twitter_fetchhometimeline: Own contact not found for user " . $uid, LOGGER_DEBUG);
1694                 return;
1695         }
1696
1697         $u = q("SELECT * FROM user WHERE uid = %d LIMIT 1",
1698                 intval($uid));
1699         if (!count($u)) {
1700                 logger("twitter_fetchhometimeline: Own user not found for user " . $uid, LOGGER_DEBUG);
1701                 return;
1702         }
1703
1704         $parameters = ["exclude_replies" => false, "trim_user" => false, "contributor_details" => true, "include_rts" => true, "tweet_mode" => "extended"];
1705         //$parameters["count"] = 200;
1706         // Fetching timeline
1707         $lastid = PConfig::get($uid, 'twitter', 'lasthometimelineid');
1708
1709         $first_time = ($lastid == "");
1710
1711         if ($lastid != "") {
1712                 $parameters["since_id"] = $lastid;
1713         }
1714
1715         $items = $connection->get('statuses/home_timeline', $parameters);
1716
1717         if (!is_array($items)) {
1718                 logger("twitter_fetchhometimeline: Error fetching home timeline: " . print_r($items, true), LOGGER_DEBUG);
1719                 return;
1720         }
1721
1722         $posts = array_reverse($items);
1723
1724         logger("twitter_fetchhometimeline: Fetching timeline for user " . $uid . " " . sizeof($posts) . " items", LOGGER_DEBUG);
1725
1726         if (count($posts)) {
1727                 foreach ($posts as $post) {
1728                         if ($post->id_str > $lastid) {
1729                                 $lastid = $post->id_str;
1730                                 PConfig::set($uid, 'twitter', 'lasthometimelineid', $lastid);
1731                         }
1732
1733                         if ($first_time) {
1734                                 continue;
1735                         }
1736
1737                         if (stristr($post->source, $application_name) && $post->user->screen_name == $own_id) {
1738                                 logger("twitter_fetchhometimeline: Skip previously sended post", LOGGER_DEBUG);
1739                                 continue;
1740                         }
1741
1742                         if ($mirror_posts && $post->user->screen_name == $own_id && $post->in_reply_to_status_id_str == "") {
1743                                 logger("twitter_fetchhometimeline: Skip post that will be mirrored", LOGGER_DEBUG);
1744                                 continue;
1745                         }
1746
1747                         if ($post->in_reply_to_status_id_str != "") {
1748                                 twitter_fetchparentposts($a, $uid, $post, $connection, $self, $own_id);
1749                         }
1750
1751                         $postarray = twitter_createpost($a, $uid, $post, $self, $create_user, true, false);
1752
1753                         if (trim($postarray['body']) == "") {
1754                                 continue;
1755                         }
1756
1757                         $item = Item::insert($postarray);
1758                         $postarray["id"] = $item;
1759
1760                         logger('twitter_fetchhometimeline: User ' . $self["nick"] . ' posted home timeline item ' . $item);
1761
1762                         if ($item && !function_exists("check_item_notification")) {
1763                                 twitter_checknotification($a, $uid, $own_id, $item, $postarray);
1764                         }
1765                 }
1766         }
1767         PConfig::set($uid, 'twitter', 'lasthometimelineid', $lastid);
1768
1769         // Fetching mentions
1770         $lastid = PConfig::get($uid, 'twitter', 'lastmentionid');
1771
1772         $first_time = ($lastid == "");
1773
1774         if ($lastid != "") {
1775                 $parameters["since_id"] = $lastid;
1776         }
1777
1778         $items = $connection->get('statuses/mentions_timeline', $parameters);
1779
1780         if (!is_array($items)) {
1781                 logger("twitter_fetchhometimeline: Error fetching mentions: " . print_r($items, true), LOGGER_DEBUG);
1782                 return;
1783         }
1784
1785         $posts = array_reverse($items);
1786
1787         logger("twitter_fetchhometimeline: Fetching mentions for user " . $uid . " " . sizeof($posts) . " items", LOGGER_DEBUG);
1788
1789         if (count($posts)) {
1790                 foreach ($posts as $post) {
1791                         if ($post->id_str > $lastid) {
1792                                 $lastid = $post->id_str;
1793                         }
1794
1795                         if ($first_time) {
1796                                 continue;
1797                         }
1798
1799                         if ($post->in_reply_to_status_id_str != "") {
1800                                 twitter_fetchparentposts($a, $uid, $post, $connection, $self, $own_id);
1801                         }
1802
1803                         $postarray = twitter_createpost($a, $uid, $post, $self, false, false, false);
1804
1805                         if (trim($postarray['body']) == "") {
1806                                 continue;
1807                         }
1808
1809                         $item = Item::insert($postarray);
1810                         $postarray["id"] = $item;
1811
1812                         if ($item && function_exists("check_item_notification")) {
1813                                 check_item_notification($item, $uid, NOTIFY_TAGSELF);
1814                         }
1815
1816                         if (!isset($postarray["parent"]) || ($postarray["parent"] == 0)) {
1817                                 $postarray["parent"] = $item;
1818                         }
1819
1820                         logger('twitter_fetchhometimeline: User ' . $self["nick"] . ' posted mention timeline item ' . $item);
1821
1822                         if ($item == 0) {
1823                                 $r = q("SELECT * FROM `item` WHERE `uri` = '%s' AND `uid` = %d LIMIT 1",
1824                                         dbesc($postarray['uri']),
1825                                         intval($uid)
1826                                 );
1827                                 if (count($r)) {
1828                                         $item = $r[0]['id'];
1829                                         $parent_id = $r[0]['parent'];
1830                                 }
1831                         } else {
1832                                 $parent_id = $postarray['parent'];
1833                         }
1834
1835                         if (($item != 0) && !function_exists("check_item_notification")) {
1836                                 require_once 'include/enotify.php';
1837                                 notification([
1838                                         'type'         => NOTIFY_TAGSELF,
1839                                         'notify_flags' => $u[0]['notify-flags'],
1840                                         'language'     => $u[0]['language'],
1841                                         'to_name'      => $u[0]['username'],
1842                                         'to_email'     => $u[0]['email'],
1843                                         'uid'          => $u[0]['uid'],
1844                                         'item'         => $postarray,
1845                                         'link'         => $a->get_baseurl() . '/display/' . urlencode(Item::getGuidById($item)),
1846                                         'source_name'  => $postarray['author-name'],
1847                                         'source_link'  => $postarray['author-link'],
1848                                         'source_photo' => $postarray['author-avatar'],
1849                                         'verb'         => ACTIVITY_TAG,
1850                                         'otype'        => 'item',
1851                                         'parent'       => $parent_id
1852                                 ]);
1853                         }
1854                 }
1855         }
1856
1857         PConfig::set($uid, 'twitter', 'lastmentionid', $lastid);
1858 }
1859
1860 function twitter_fetch_own_contact(App $a, $uid)
1861 {
1862         $ckey    = Config::get('twitter', 'consumerkey');
1863         $csecret = Config::get('twitter', 'consumersecret');
1864         $otoken  = PConfig::get($uid, 'twitter', 'oauthtoken');
1865         $osecret = PConfig::get($uid, 'twitter', 'oauthsecret');
1866
1867         $own_id = PConfig::get($uid, 'twitter', 'own_id');
1868
1869         $contact_id = 0;
1870
1871         if ($own_id == "") {
1872                 $connection = new TwitterOAuth($ckey, $csecret, $otoken, $osecret);
1873
1874                 // Fetching user data
1875                 $user = $connection->get('account/verify_credentials');
1876
1877                 PConfig::set($uid, 'twitter', 'own_id', $user->id_str);
1878
1879                 $contact_id = twitter_fetch_contact($uid, $user, true);
1880         } else {
1881                 $r = q("SELECT * FROM `contact` WHERE `uid` = %d AND `alias` = '%s' LIMIT 1",
1882                         intval($uid),
1883                         dbesc("twitter::" . $own_id));
1884                 if (count($r)) {
1885                         $contact_id = $r[0]["id"];
1886                 } else {
1887                         PConfig::delete($uid, 'twitter', 'own_id');
1888                 }
1889         }
1890
1891         return $contact_id;
1892 }
1893
1894 function twitter_is_retweet(App $a, $uid, $body)
1895 {
1896         $body = trim($body);
1897
1898         // Skip if it isn't a pure repeated messages
1899         // Does it start with a share?
1900         if (strpos($body, "[share") > 0) {
1901                 return false;
1902         }
1903
1904         // Does it end with a share?
1905         if (strlen($body) > (strrpos($body, "[/share]") + 8)) {
1906                 return false;
1907         }
1908
1909         $attributes = preg_replace("/\[share(.*?)\]\s?(.*?)\s?\[\/share\]\s?/ism", "$1", $body);
1910         // Skip if there is no shared message in there
1911         if ($body == $attributes) {
1912                 return false;
1913         }
1914
1915         $link = "";
1916         preg_match("/link='(.*?)'/ism", $attributes, $matches);
1917         if ($matches[1] != "") {
1918                 $link = $matches[1];
1919         }
1920
1921         preg_match('/link="(.*?)"/ism', $attributes, $matches);
1922         if ($matches[1] != "") {
1923                 $link = $matches[1];
1924         }
1925
1926         $id = preg_replace("=https?://twitter.com/(.*)/status/(.*)=ism", "$2", $link);
1927         if ($id == $link) {
1928                 return false;
1929         }
1930
1931         logger('twitter_is_retweet: Retweeting id ' . $id . ' for user ' . $uid, LOGGER_DEBUG);
1932
1933         $ckey    = Config::get('twitter', 'consumerkey');
1934         $csecret = Config::get('twitter', 'consumersecret');
1935         $otoken  = PConfig::get($uid, 'twitter', 'oauthtoken');
1936         $osecret = PConfig::get($uid, 'twitter', 'oauthsecret');
1937
1938         $connection = new TwitterOAuth($ckey, $csecret, $otoken, $osecret);
1939         $result = $connection->post('statuses/retweet/' . $id);
1940
1941         logger('twitter_is_retweet: result ' . print_r($result, true), LOGGER_DEBUG);
1942
1943         return !isset($result->errors);
1944 }