Немножко велосипедостроения под Linux или RSS-агрегатор на коленке своими руками

#! /usr/bin/perl   
use MIME::Base64;

$path_temp="/home/media/rsstool";
# каталог для временных файлов/архивов


# считываем файл конфигурации и заносим разобранную строчку  в массивы - заголовок ленты, url ленты, файл с архивом ленты 
open(config,"</etc/rss/rsstoemail.conf");
$numb=0;
while (!eof(config))
{
 $strcnf=<config>;
 $strcnf=~tr/\n//d;
 (@rss[$numb],@rssname[$numb],@rssfeeds[$numb])=split "#", $strcnf;
 @rssarcfile[$numb]="@rssname[$numb].rss";
 @rssdiffer[$numb]="@rssname[$numb].diff";
 $numb=$numb+1;
}
close config;
# считываем файл конфигурации и заносим разобранную строчку  в массивы - заголовок ленты, url ленты, файл с архивом ленты 



# если файла для архива ленты нет - создаем его
foreach $srtname1(@rssarcfile)
{
 if (! -e "$path_temp/$srtname1")
  {
   `echo >$path_temp/$srtname1`;
  }
}
# если файла для архива ленты нет - создаем его



# проверим нет ли уже запущенной копии если есть - выходим
$run=`ps -AH|grep -c rsstoemail.pl`;
$run=~tr/\n//d;
if ($run ne "1")
 {
  exit;
 }
# проверим нет ли уже запущенной копии если есть - выходим



# обрабатываем список лент
foreach $i(@rss)      
      {
           # если в строчке из списка что-то есть
           if (@rss[$i] ne "")
             {
        
              $chkdiff="";

              # обнуляем дифф-файл с новыми постами
              `echo >$path_temp/@rssdiffer[$i]`;
              printf "run rsstool\n";

              # скачиваем ленту, конвертируем текст в koi-8, вырезаем заголовок и сбрасываем во временный файл
             `/sbin/myscript/rsstool --wget --csv=@  @rssfeeds[$i] | iconv -c -f UTF-8 -t KOI8-R| grep SITE\@DATE\@URL\@TITLE\@DESC -v >$path_temp/feed_new_@rssname[$i].rss`;

              # сравниваем временный файл с архивом ленты, результаты записываем в дифф
             `diff -iaEbwB --strip-trailing-cr $path_temp/@rssarcfile[$i] $path_temp/feed_new_@rssname[$i].rss | grep ^\\>\\  >$path_temp/@rssdiffer[$i]`;

             # проверяем сколько в получившемся диффе строчек
             $chkdiff=`grep \@ $path_temp/@rssdiffer[$i] -c`;
             $chkdiff=~tr/\n//d;

             # если в нем что-то есть
             if ($chkdiff ne "0")
               {
                my @toemail = ();
                my @original = ();

                # открываем дифф, считываем построчно, из строчек вырезаем > оставшийся после diff 
                # результат заносим в массив для обработки и массив с исходником
                open(diffopen,"<$path_temp/@rssdiffer[$i]"); 
                while (!eof(diffopen))
                    {
                     $string = <diffopen>;    
                     $string=~s/^(\>\ )//;
                     $string=~tr/\n//d;    
                     push (@toemail, $string);
                     push (@original, $string);
                    }
                close diffopen;
                # открываем дифф, считываем построчно, из строчек вырезаем > оставшийся после diff 
                # результат заносим в массив для обработки и массив с исходником

         # отправка на почту
               
                # создаем на основе даты и времени уникальную строку и сообщаем когда и сколько было новых постов - для отладки
                $dirr=`date '+%Y-%m-%d-%H_%M_%S'`; 
                $newm=$#toemail+1;
                printf "$dirr new messages $newm\n";
                # создаем на основе даты и времени уникальную строку и сообщаем когда и сколько было новых постов - для отладки


                # проходим по массиву с новыми постами
                foreach $difs(@toemail)
                      {
                       # обрабатываем строчку перед созданием письма 
                       # убираем символы "
                       $difs=~tr/\"//d;
                       # убираем конечный пробел 
                       $difs=~s/\ $//;     

                       $nmf="";
                       $date="";
                       $url="";
                       $bookname="";
                       $body="";
                       $resser="";
                       $ssurl="";
                       $sndusr="";

                       # разбираем строку в переменные
                       ($nmf,$date,$url,$bookname,$body)=split '@', $difs;



                   # дополнительная обработка текста, отправляемого на почту

                       # в тексте для ленты отзывов флибусты и либрусека вырезаем и заносим в переменную ник оставившего отзыв
                       if (@rssname[$i] eq "flibusta" or @rssname[$i] eq "librusec")
                         {
                          $body=~m/(.+?)(\ про\ )/;      
                          $sndusr=$1;
                          $sndusr=~tr/\n//d;
                         }
                       # в тексте для ленты отзывов флибусты и либрусека вырезаем и заносим в переменную ник оставившего отзыв


                       # в ленте отзывов и новых поступлений флибусты url меняем на единообразный (поскольку там может быть
                       #  несколько вариантов proxy.flibusta.net, flibusta.net, www.flibusta.net ) и делаем сразу url для скачивания
                       if (@rssname[$i] eq "flibusta" or @rssname[$i] eq "flibustanewbooks")
                          {
                           ($resser,$ssurl)=split "\/b\/",$url;
                           $resser=~m/(flibusta.net)/;    
                           if ($1 eq "flibusta.net")
                              {
                               $surl="http://flibusta.net/b/$ssurl/download\n";
                              }
                           else
                              {
                               $surl=$url;
                              }
                          }
                       else
                          {
                           $surl=$url;
                          }
                       # в ленте отзывов и новых поступлений флибусты url меняем на единообразный (поскольку там может быть
                       #  несколько вариантов proxy.flibusta.net, flibusta.net, www.flibusta.net ) и делаем сразу url для скачивания



                       # в ленте новых поступлений флибусты изменяем строку в формат название книги - автор - жанр
                       if (@rssname[$i] eq "flibustanewbooks")
                          {
                           ($book_auth,$book_name,$book_genre)=split "- ",$bookname;
                            $bookname="$book_name - $book_auth - $book_genre";
                          }
                       # в ленте новых поступлений флибусты изменяем строку в формат название книги - автор - жанр


                 # дополнительная обработка текста, отправляемого на почту



                     # строку заголовка кодируем в base64 и добавляем строку с кодировкой для поля SUBJ:
                     $booknameenc=encode_base64("$bookname my_@rssname[$i]_rss");
                     $booknameenc=~tr/\n//d;
                     $booknameenc="\=\?KOI8\-R\?B\?$booknameenc\?\=";
                     # строку заголовка кодируем в base64 и добавляем строку с кодировкой для поля SUBJ:

                    

                    # спим секунду и генерируем уникальную строку на основе времени
                    sleep 1;
                    $dirr=`date '+%Y-%m-%d-%H_%M_%S'`; 
                    # спим секунду и генерируем уникальную строку на основе времени
                    

                    # создаем файл с письмом в каталоге для отправки почты с именем вида msgrss_2014-05-20-19_26_09 и начинаем записывать туда текст письма
                    open(fopen,">>$path_temp/mail/msgrss_$dirr");
                    print fopen "From\:\ fromemail\@domen\.ru\n";
                    print fopen "To\:\ toemail\@gmail\.com\n";
                    print fopen "Subject\: $booknameenc\n";
                    print fopen "MIME-Version: 1.0\n";
                    print fopen "Content-Type: multipart/mixed;\n";
                    print fopen " boundary=\"----------12012917B16D15D68\"\n";
                    print fopen "------------12012917B16D15D68\n";               
                    print fopen "Content-Type: text/plain; charset=koi8-r\n";    
                    print fopen "Content-Transfer-Encoding: 8bit\n";             
                    print fopen "\n";
                    print fopen "$nmf\n";
                    print fopen "$surl\n";
                    print fopen "$bookname\n";
                    print fopen "\n";
                    if ($sndusr ne "")
                      {
                       print fopen "sendbyuser:$sndusr\n";
                      }
                    print fopen "\n";
                    print fopen "$body\n";
                    print fopen "\n";
                    close fopen;
                    # создаем файл с письмом в каталоге для отправки почты с именем вида msgrss_2014-05-20-09_26_09 и начинаем записывать туда текст письма
                  }

             # после завершения обработки одной ленты из списка

              # копируем файл с новыми постами в каталог архива с уникальным именем - включено для отладки
              `cp $path_temp/@rssdiffer[$i] $path_temp/arhiv/diffnew\_$dirr`;
              # добавляем пустую строку в файл с архивом лент - включено для отладки
              `echo >>$path_temp/@rssarcfile[$i]`;
             

              # в файл архива ленты загоняем исходные новые посты
              open(arcrss,">>$path_temp/@rssarcfile[$i]"); 
              foreach $difffs(@original)
                     {
                      $difffs=~s/^(\>\ )//; 
                      $difffs=~tr/\n//d;    
                      print arcrss "$difffs\n";                     
                     }
              close(arcrss);
             # в файл архива ленты загоняем исходные новые посты





           }
        }     
     }
     
     
printf "start send messages\n";

# ночью производим убивание возможных дубликатов в архиве ленты
if ($hour eq "04" and $min<"30")
  {
   foreach $srtname(@rssarcfile)
          { 
           `uniq -u $path_temp/$srtname >$path_temp/$srtname.tmp`;
           `mv -f $path_temp/$srtname.tmp $path_temp/$srtname`;
          }
   sleep 1000;
  }
# ночью производим убивание возможных дубликатов в архиве ленты

#! /usr/bin/perl   

# общий каталог временных файлов
$path_all="/home/media/rsstool";

# подкаталоги
$path_mail="$path_all/mail";
$path_mail_arhiv="$path_all/mail_arhiv";
$path_arhiv="$path_all/arhiv";

# получаем список дублицирующихся файлов  без _send в конце
@list_dupes=`/sbin/myscript/fdupes -f $path_mail|grep -v send|grep -v \^\$`;

# проходим по списку и удаляем дубликаты
foreach  $fl(@list_dupes)
       { 
        $fl=~tr/\n//d;
        `rm -f $fl`;
        printf "rm dupe $fl\n";
       }
# проходим по списку и удаляем дубликаты


# получаем список оставшихся файлов без _send на конце
@list_files=`ls $path_mail/ |grep -v send`; 
sleep 5;

# проходим по списку отправляя файлы через ssmtp а затем переименовываем отправленные в *_send
foreach $i(@list_files)
 {
  $i=~tr/\n//d;
  printf "sended $path_mail/$i\n";
  `/sbin/myscript/ssmtp toemail\@gmail.com \<$path_mail/$i`;
  `mv $path_mail/$i $path_mail/$i\_send`;
  sleep 1;
 }
# проходим по списку отправляя файлы через ssmtp а затем переименовываем отправленные в *_send

# перекидываем  в архив все файлы кроме последней тысячи
@all_files=`ls $path_mail/`;         
$cont=$#all_files-1000;               
if ($cont > 0)                       
{                                    
printf "bigger 1000 to $cont\n";                    
 for ($y=0; $y<$cont;$y++)           
  {                                   
   @all_files[$y]=~tr/\n//d;
  `mv $path_mail/@all_files[$y] $path_mail_arhiv`;
   printf "@all_files[$y]\n";         
  }                                   
}                                    
# перекидываем  в архив все файлы кроме последней тысячи

1#librusec#http://lib.rus.ec/polka/show/all/rss
2#flibusta#http://flibusta.net/polka/show/all/rss
3#nnm#http://nnm.me/rss/
4#habrahabr#http://habrahabr.ru/rss
5#3dnewssoft#http://www.3dnews.ru/software-news/rss/
6#3dnewshard#http://www.3dnews.ru/news/rss/
7#flibustanewbooks#http://flibusta.net/new/rss