一直通过TTRSS订阅各大IT门户和博客的文章,其实这些内容更适合公开访问,于是简单做了个页面,后台通过java程序直接访问TTRSS的数据库生成页面。内容不是全网爬取的,是定点几个比较大的门户网站的,搜索条件比较简单,通过关键词过滤内容或者标题。后台准实时拉取各个Feed的文章,然后定时半个小时刷新一次页面,半个小时内,网页呈现都是缓存的内容。因为爬取数据的过程是现成的,主要工作是做个动态页面,几个小时就搞定了。程序放在家里的NAS上面运行。
标签归档: RSS
分享一个追最新外语电影的RSS
国内的Torrent分享网站越来越少了,无意中发现https://www.demonoid.is/可以下载到最新的高清/超清电影。但是有点比较讨厌,就是弹窗有点过份,不是我白嫖了种子还不愿支持广告,真是弹窗太过三俗刺眼,难以忍受。于是试着分析了网页内容,自己抓取电影种子文件链接,并添加Google搜索IMDB的链接,制作了RSS订阅链接。本来还想找一下有没有类似的Torrent分享站点,发现demonoid是与海盗湾齐名的,之前排名前几的站点已经都无法打开了,只剩这一个,切用且珍惜吧 :-) 源站地址:链接,经过抓取清洗和加工后生成的RSS链接为:https://photo.codefine.site:5443/rssfactory/demonoid-movies,只抓取了1080P及其以上质量的电影。
订阅后的呈现效果:
同时也制作了HTML版的独立网页:
https://movie.codefine.site:5443/
电影详情页,包含两个torrent下载地址,IMDB和豆瓣搜索链接。
分享AWS博客的两个RSS源
为了第一时间获取AWS的几百个云服务的最新资讯,做了一个自动抓取AWS博客标题,生成RSS Feeds的服务,分别提供中英文版本:
中文:https://photo.codefine.site:12524/rssfactory/awsblogcn
英文:https://photo.codefine.site:12524/rssfactory/awsblog (过滤标题中包含存储相关关键词的博客。)
AWS存储:https://photo.codefine.site:12524/rssfactory/awsblog-storage (订阅存储、大数据和数据库类别的博客。)
docker本地安装tiny tiny rss记录
# 启动mariadb 10.0.38 docker run --name mariadb -p 3306:3306 \ -e MYSQL_ROOT_PASSWORD='password' \ -d mariadb:10.0.38 # 安装docker php 5.6 docker run -p 9000:9000 --name php \ -v /opt/codefine.site/:/opt/codefine.site/ \ -v /opt/codefine:/opt/codefine \ -v /media/c2/php//conf:/usr/local/etc/php \ -v /media/c2/php/logs:/phplogs \ -v /opt/phpmyadmin:/opt/phpmyadmin \ -d php6:latest # 安装php插件。借助于内部家里的内部梯子。懒得设置debian镜像。 export http_proxy=http://22.22.22.14:10080 apt update apt install libxml2-dev apt install libxml2 apt install libcurl3 apt install libcurl4-gnutls-dev ln -s x86_64-linux-gnu/curl curl apt-get install -y libfreetype6-dev libjpeg62-turbo-dev libpng-dev docker-php-ext-configure gd --with-freetype --with-jpeg docker-php-ext-install -j$(nproc) gd docker-php-ext-install mysql docker-php-ext-install mysqli docker-php-ext-install intl docker-php-ext-install pdo docker-php-ext-install pdo_mysql docker-php-ext-install fileinfo docker-php-ext-install xml docker-php-ext-install mbstring docker-php-ext-install json docker-php-ext-install opcache docker-php-ext-enable intl docker-php-ext-enable pdo docker-php-ext-enable pdo_mysql docker-php-ext-enable fileinfo docker-php-ext-enable xml docker-php-ext-enable mbstring docker-php-ext-enable json docker-php-ext-enable opcache docker-php-ext-enable mysql docker-php-ext-enable mysqli docker-php-ext-enable gd # 生成新的镜像。 docker save -o php.tar php docker load -i php.tar # 重新run一个新的container。 # nginx cat /etc/nginx/sites-enabled/ttrss server { listen 12345 ssl; root /opt/codefine.site/; index index.php index.html index.htm; server_name photo.codefine.site; ssl_certificate /path/of/server/file.pem; ssl_certificate_key /path/of/server/key/file.pem; ssl_protocols TLSv1 TLSv1.1 TLSv1.2; location / { try_files $uri $uri/ =404; } location ~ \.php$ { include snippets/fastcgi-php.conf; fastcgi_pass 127.0.0.1:9000; } }
给CSDN极客和开发者头条增加RSS源
CSDN极客,网址:http://geek.csdn.net/,经常有一些比较好的链接,对于程序员来说,有一些阅读学习价值。不知从何时开始该网站不再提供RSS订阅,这对于RSS重度使用者来说有点难以忍受。因此花了一下午时间做了一个抓取该网站头条主页内容生成RSS订阅地址的实现。使用PHP后台抓取网页内容,对内容进行正则匹配后过滤出有价值的链接,生成RSS XML格式文档后返回。订阅地址为:http://codefine.site/rss_factory?url=geek.csdn.net。同样,也给支持开发者头条(https://toutiao.io)新增了RSS源:http://codefine.site/rss_factory?url=toutiao.io。
订阅效果: