分享一个实时抓取IT相关博客和新闻的业务

作者：童燕群 | 发布日期：一月 17, 2021 | 阅读次数（510） | 评论 |

微信扫描，分享到朋友圈和群

一直通过TTRSS订阅各大IT门户和博客的文章，其实这些内容更适合公开访问，于是简单做了个页面，后台通过java程序直接访问TTRSS的数据库生成页面。内容不是全网爬取的，是定点几个比较大的门户网站的，搜索条件比较简单，通过关键词过滤内容或者标题。后台准实时拉取各个Feed的文章，然后定时半个小时刷新一次页面，半个小时内，网页呈现都是缓存的内容。因为爬取数据的过程是现成的，主要工作是做个动态页面，几个小时就搞定了。程序放在家里的NAS上面运行。

访问地址：https://news.codefine.site:12524。

微信扫描，分享到朋友圈和群

|

(5.00分 - 1票)

Loading ... | 这篇文章归档在：WEB网络, 移动互联, 软件应用 | 标签： IT, RSS, TTRSS, 新闻, 爬虫. | 永久链接：链接 | 评论（0） |

评论

关于

关于本站简介
订阅本站文章列表
建站总结本站建站技术
关注微博
微信公众帐号
shentar
站内搜索
我的项目
相关阅读
近期文章
分类目录
- 生活札记 (51)
  - 奇趣见闻 (12)
  - 文字网摘 (10)
  - 职业发展 (12)
  - 观影随想 (6)
- 软件应用 (15)
- 软件技术 (247)
  - C/C++ (24)
  - IO编程 (16)
  - Java (41)
    - Geronimo (2)
    - Jetty (10)
    - JMX (1)
    - JNI技术 (1)
    - Netty (1)
  - Linux内核 (6)
  - WEB网络 (43)
  - 多线程编程 (16)
  - 存储技术 (51)
    - 云计算/云存储 (41)
      - Amazon S3 (3)
      - Ceph (3)
      - DRBD (6)
      - Hadoop (3)
      - Swift (9)
    - 存储业界 (4)
  - 实用脚本 (21)
  - 建站技术 (22)
  - 数据库 (9)
  - 数码硬件 (29)
  - 架构设计 (29)
  - 移动互联 (52)
  - 算法数据结构 (34)
  - 编程基础 (5)
  - 语言基础 (24)
热度排行
1. [转] 宫崎骏用动漫教给我们的人生哲理，每一句都能说到心里！ - (日期:[八月 24, 2013] 点击:[52,575])
2. Google 网页爬虫报告无法连接站点解决办法 - (日期:[七月 20, 2014] 点击:[38,564])
3. 架设Tiny Tiny RSS（TTRSS）阅读器，找回Google Reader！ - (日期:[九月 27, 2013] 点击:[27,715])
4. SkyDrive、DropBox和Google Drive三大公有云存储服务对比 - (日期:[六月 25, 2013] 点击:[25,493])
5. 升级到至强E5440后，与i5 CPU笔记本性能对比 - (日期:[二月 18, 2014] 点击:[23,546])
6. 公钥私钥加密解密数字证书数字签名详解 - (日期:[四月 19, 2014] 点击:[22,942])
7. 本站建站技术合集 - (日期:[九月 20, 2013] 点击:[22,360])
8. 使用OpenerDNS解决无法访问Google的问题 - (日期:[七月 5, 2014] 点击:[21,673])
9. WordPress博客添加“返回顶部”按钮 - (日期:[七月 14, 2013] 点击:[21,144])
10. Linux文件系统基础之inode和dentry - (日期:[三月 13, 2015] 点击:[20,131])
11. 云存储中的HTTP鉴权算法分析 - (日期:[二月 7, 2014] 点击:[18,616])
12. 精选37条强大的常用linux shell命令组合 - (日期:[九月 4, 2013] 点击:[17,411])
13. 存储基础知识之——磁盘阵列原理及操作实战 - (日期:[二月 9, 2014] 点击:[17,357])
14. DNS原理、架构和配置详解 - (日期:[九月 6, 2013] 点击:[16,770])
15. Netty和Jetty的Java NIO 网络框架模型分析 - (日期:[七月 13, 2013] 点击:[16,317])
16. CoreOS 初识之安装 - (日期:[十一月 16, 2014] 点击:[16,122])
17. Windows与Linux文件系统互访的几种方法 - (日期:[八月 21, 2014] 点击:[15,701])
18. Dijkstra算法求解最短路径分析 - (日期:[七月 12, 2014] 点击:[14,912])
19. NAS解决方案实现多媒体文件共享播放 - (日期:[十二月 21, 2014] 点击:[13,821])
20. 简介 - (日期:[九月 1, 2012] 点击:[13,680])
21. 如何编程实现 2 + 2 = 5？ - (日期:[六月 2, 2014] 点击:[13,246])
22. 搭建了一个iNews程序 - (日期:[十月 15, 2013] 点击:[13,223])
23. 2014年9月曝出的Bash ShellShock漏洞简析 - (日期:[九月 26, 2014] 点击:[13,108])
24. 彻底解决WordPress博客垃圾评论的问题 - (日期:[八月 5, 2013] 点击:[13,058])
25. 如何使用1M的内存排序100万个8位数 - (日期:[三月 27, 2014] 点击:[12,541])
26. 全部日志列表 - (日期:[十一月 11, 2012] 点击:[12,238])
27. 关于回调函数和this指针探讨 - (日期:[八月 24, 2014] 点击:[12,177])
28. 给定一个long型常量，其值为x，给定long型变量a，要求a & x 的取值集合 - (日期:[九月 8, 2012] 点击:[11,681])
29. WordPress建站必备实用插件 - (日期:[八月 7, 2014] 点击:[11,321])
30. Amazon 云计算业务全面介绍 - (日期:[三月 9, 2014] 点击:[11,226])
归档
- 2024年四月 (1)
- 2024年二月 (1)
- 2023年九月 (1)
- 2023年一月 (1)
- 2022年十月 (1)
- 2022年八月 (2)
- 2022年四月 (1)
- 2022年三月 (1)
- 2021年十二月 (2)
- 2021年十月 (2)
- 2021年九月 (1)
- 2021年八月 (1)
- 2021年五月 (1)
- 2021年三月 (2)
- 2021年一月 (2)
- 2020年十二月 (5)
- 2020年十一月 (2)
- 2020年十月 (2)
- 2020年九月 (1)
- 2020年八月 (5)
- 2020年七月 (2)
- 2019年九月 (1)
- 2018年八月 (1)
- 2018年七月 (1)
- 2018年六月 (1)
- 2018年五月 (1)
- 2018年三月 (1)
- 2018年二月 (1)
- 2018年一月 (2)
- 2017年十二月 (3)
- 2017年十月 (4)
- 2017年九月 (1)
- 2017年七月 (1)
- 2017年六月 (1)
- 2016年十二月 (1)
- 2016年十月 (1)
- 2016年九月 (1)
- 2016年七月 (2)
- 2016年六月 (1)
- 2016年二月 (3)
- 2015年十二月 (3)
- 2015年十一月 (2)
- 2015年十月 (1)
- 2015年八月 (2)
- 2015年七月 (4)
- 2015年六月 (1)
- 2015年三月 (2)
- 2015年二月 (1)
- 2015年一月 (4)
- 2014年十二月 (2)
- 2014年十一月 (2)
- 2014年十月 (5)
- 2014年九月 (8)
- 2014年八月 (11)
- 2014年七月 (17)
- 2014年六月 (7)
- 2014年五月 (15)
- 2014年四月 (16)
- 2014年三月 (14)
- 2014年二月 (5)
- 2013年十二月 (5)
- 2013年十一月 (3)
- 2013年十月 (13)
- 2013年九月 (13)
- 2013年八月 (13)
- 2013年七月 (9)
- 2013年六月 (8)
- 2013年五月 (1)
- 2013年三月 (3)
- 2013年一月 (1)
- 2012年十一月 (1)
- 2012年九月 (12)
- 2012年八月 (3)
- 2011年二月 (1)
- 2009年三月 (1)
- 2009年二月 (1)
- 2008年十一月 (1)
- 2008年六月 (1)
- 2008年四月 (1)
- 2008年三月 (1)
内容聚合
- 最近50篇文章
- 最新评论