关于
我的项目
相关阅读
热度排行
- [转] 宫崎骏用动漫教给我们的人生哲理,每一句都能说到心里! - (日期:[八月 24, 2013] 点击:[53,332])
- Google 网页爬虫报告无法连接站点解决办法 - (日期:[七月 20, 2014] 点击:[38,643])
- 架设Tiny Tiny RSS(TTRSS)阅读器,找回Google Reader! - (日期:[九月 27, 2013] 点击:[27,775])
- SkyDrive、DropBox和Google Drive三大公有云存储服务对比 - (日期:[六月 25, 2013] 点击:[25,584])
- 升级到至强E5440后,与i5 CPU笔记本性能对比 - (日期:[二月 18, 2014] 点击:[23,727])
- 公钥私钥加密解密数字证书数字签名详解 - (日期:[四月 19, 2014] 点击:[22,966])
- 本站建站技术合集 - (日期:[九月 20, 2013] 点击:[22,510])
- 使用OpenerDNS解决无法访问Google的问题 - (日期:[七月 5, 2014] 点击:[21,803])
- WordPress博客添加“返回顶部”按钮 - (日期:[七月 14, 2013] 点击:[21,216])
- Linux文件系统基础之inode和dentry - (日期:[三月 13, 2015] 点击:[20,176])
- 云存储中的HTTP鉴权算法分析 - (日期:[二月 7, 2014] 点击:[18,646])
- 存储基础知识之——磁盘阵列原理及操作实战 - (日期:[二月 9, 2014] 点击:[17,503])
- 精选37条强大的常用linux shell命令组合 - (日期:[九月 4, 2013] 点击:[17,430])
- DNS原理、架构和配置详解 - (日期:[九月 6, 2013] 点击:[16,811])
- Netty和Jetty的Java NIO 网络框架模型分析 - (日期:[七月 13, 2013] 点击:[16,337])
- CoreOS 初识之安装 - (日期:[十一月 16, 2014] 点击:[16,178])
- Windows与Linux文件系统互访的几种方法 - (日期:[八月 21, 2014] 点击:[15,737])
- Dijkstra算法求解最短路径分析 - (日期:[七月 12, 2014] 点击:[14,930])
- NAS解决方案实现多媒体文件共享播放 - (日期:[十二月 21, 2014] 点击:[13,931])
- 简介 - (日期:[九月 1, 2012] 点击:[13,765])
- 如何编程实现 2 + 2 = 5? - (日期:[六月 2, 2014] 点击:[13,272])
- 搭建了一个iNews程序 - (日期:[十月 15, 2013] 点击:[13,244])
- 2014年9月曝出的Bash ShellShock漏洞简析 - (日期:[九月 26, 2014] 点击:[13,142])
- 彻底解决WordPress博客垃圾评论的问题 - (日期:[八月 5, 2013] 点击:[13,093])
- 如何使用1M的内存排序100万个8位数 - (日期:[三月 27, 2014] 点击:[12,558])
- 全部日志列表 - (日期:[十一月 11, 2012] 点击:[12,342])
- 关于回调函数和this指针探讨 - (日期:[八月 24, 2014] 点击:[12,215])
- 给定一个long型常量,其值为x,给定long型变量a,要求a & x 的取值集合 - (日期:[九月 8, 2012] 点击:[11,710])
- WordPress建站必备实用插件 - (日期:[八月 7, 2014] 点击:[11,363])
- 开源好用的电子书管理服务Talebook(Calibre网络版)安装使用指南 - (日期:[四月 23, 2022] 点击:[11,360])
分类目录
文章归档
- 2025年一月 (1)
- 2024年十二月 (1)
- 2024年四月 (1)
- 2024年二月 (1)
- 2023年九月 (1)
- 2023年一月 (1)
- 2022年十月 (1)
- 2022年八月 (2)
- 2022年四月 (1)
- 2022年三月 (1)
- 2021年十二月 (2)
- 2021年十月 (2)
- 2021年九月 (1)
- 2021年八月 (1)
- 2021年五月 (1)
- 2021年三月 (2)
- 2021年一月 (2)
- 2020年十二月 (5)
- 2020年十一月 (2)
- 2020年十月 (2)
- 2020年九月 (1)
- 2020年八月 (5)
- 2020年七月 (2)
- 2019年九月 (1)
- 2018年八月 (1)
- 2018年七月 (1)
- 2018年六月 (1)
- 2018年五月 (1)
- 2018年三月 (1)
- 2018年二月 (1)
- 2018年一月 (2)
- 2017年十二月 (3)
- 2017年十月 (4)
- 2017年九月 (1)
- 2017年七月 (1)
- 2017年六月 (1)
- 2016年十二月 (1)
- 2016年十月 (1)
- 2016年九月 (1)
- 2016年七月 (2)
- 2016年六月 (1)
- 2016年二月 (3)
- 2015年十二月 (3)
- 2015年十一月 (2)
- 2015年十月 (1)
- 2015年八月 (2)
- 2015年七月 (4)
- 2015年六月 (1)
- 2015年三月 (2)
- 2015年二月 (1)
- 2015年一月 (4)
- 2014年十二月 (2)
- 2014年十一月 (2)
- 2014年十月 (5)
- 2014年九月 (8)
- 2014年八月 (11)
- 2014年七月 (17)
- 2014年六月 (7)
- 2014年五月 (15)
- 2014年四月 (16)
- 2014年三月 (14)
- 2014年二月 (5)
- 2013年十二月 (5)
- 2013年十一月 (3)
- 2013年十月 (13)
- 2013年九月 (13)
- 2013年八月 (13)
- 2013年七月 (9)
- 2013年六月 (8)
- 2013年五月 (1)
- 2013年三月 (3)
- 2013年一月 (1)
- 2012年十一月 (1)
- 2012年九月 (12)
- 2012年八月 (3)
- 2011年二月 (1)
- 2009年三月 (1)
- 2009年二月 (1)
- 2008年十一月 (1)
- 2008年六月 (1)
- 2008年四月 (1)
- 2008年三月 (1)
一道有趣的并发编程试题
今天看到《如何优雅的让3个线程打印ABC》这篇文章,就像文章里讲到的,3个线程顺序打印ABC确实没有必要,很浪费,单纯考察多线程的控制机制,面稍微有点窄,也是挺鸡肋的。实际上,既要多线程并发执行,又要输出结果有序,这样的场景还真有,类似于存储系统里面的单个文件顺序存储,但是又要支持多个客户端并发写,即:多个线程并发提交IO,由一个类似于总线的机制排序,打包,按包写盘,完成后同时通知各个等待响应的客户端。这里不打算介绍复杂的IO逻辑,想拿一个简单的模型来实例解读一下。
在之前公司经常给面试者出一道题:计算 [10亿, 12亿) 范围内的质数,要求:
- 使用多线程并发计算
- 边计算边输出,按照从小到大排序输出
- 内存使用量越小越优,已知的可用内存量不足以存储所有计算结果
- 耗时越短越优
同上面的题目一样,没有华丽的算法,简单考察应试者对多线程的理解和编码能力。但这道题比上面题目要更注重实用,并不是为了多线程而多线程,并且多线程能真正起到性能提升的效果,上面的ABC只是借锁来串行化了任务执行过程,严格意义上讲,不能算是实用的多线程实例。
下面给出思路,质数计算有一定的工作量,并且随着数字越大计算量越大,题目要求的计算范围很广,因此可以简单的以数字为单位分给多个线程去运算。
尝试写了一版,发现结果队列中的记录积压严重,调整线程池的大小也无济于事。这个并发模型用得不对,用LinkedBlockingQueue仅仅解决两个线程之间的同步,可能太浪费了。take调用的开销应该太大了。
import java.util.TreeSet;
import java.util.concurrent.LinkedBlockingQueue;
import java.util.concurrent.ThreadPoolExecutor;
import java.util.concurrent.TimeUnit;
public class Main {
private int i = 1000000000;
private static final int MAX_NUMBER = 1100000000;
public static void main(String[] args) throws InterruptedException {
final Main m = new Main();
ThreadPoolExecutor executor = new ThreadPoolExecutor(200, 200, 0,
TimeUnit.SECONDS, new LinkedBlockingQueue<Runnable>());
CalTask[] cs = new CalTask[200];
for (int i = 0; i < 200; i++) {
cs[i] = new CalTask(m);
executor.submit(cs[i]);
}
TreeSet<OneItem> s = new TreeSet<>();
for (int i = 0; i < 200; i++) {
s.add(new OneItem(i, cs[i].takeFirstOne()));
}
while (true) {
OneItem one = s.first();
if (one.primeNumber == MAX_NUMBER) {
break;
}
s.remove(one);
// System.out.println(one.primeNumber + ", ");
s.add(new OneItem(one.threadNum, cs[one.threadNum].takeFirstOne()));
}
executor.shutdown();
}
private synchronized int getNext() {
return i++;
}
private static class OneItem implements Comparable<OneItem> {
private final int threadNum;
private final int primeNumber;
private OneItem(int t, int p) {
this.threadNum = t;
this.primeNumber = p;
}
@Override
public int compareTo(OneItem oneItem) {
return this.primeNumber - oneItem.primeNumber;
}
}
private static class CalTask implements Runnable {
private final LinkedBlockingQueue<Integer> result = new LinkedBlockingQueue<>();
private final Main m;
private volatile boolean isEnd = false;
public CalTask(Main m) {
this.m = m;
}
public void run() {
while (true) {
int curnum = m.getNext();
if (curnum > MAX_NUMBER) {
System.out.println("end this task.");
isEnd = true;
break;
}
boolean isPrime = true;
int max = (int) Math.sqrt(curnum);
for (int j = 2; j <= max; j++) {
if (curnum % j == 0) {
isPrime = false;
break;
}
}
if (isPrime) {
try {
result.put(curnum);
} catch (InterruptedException e) {
e.printStackTrace();
}
}
}
}
public int takeFirstOne() throws InterruptedException {
if (isEnd && result.isEmpty()) {
return MAX_NUMBER;
}
System.out.println("queue size is: " + result.size());
return result.take();
}
}
}
试着改进回忆当年是怎么给这个答案的,然后又写了下面这一版,似乎能运行起来了 :-),感觉锁的粒度大了,有浪费,然后存在明显的busy-waiting问题。
import java.util.Iterator;
import java.util.TreeSet;
import java.util.concurrent.LinkedBlockingQueue;
import java.util.concurrent.ThreadPoolExecutor;
import java.util.concurrent.TimeUnit;
public class Main {
private static int i = 1000000000;
private static final int MAX = 1100000000;
private static final int THREAD_COUNT = 32;
public static void main(String[] args) throws InterruptedException {
ThreadPoolExecutor executor = new ThreadPoolExecutor(THREAD_COUNT, THREAD_COUNT, 0,
TimeUnit.SECONDS, new LinkedBlockingQueue<Runnable>());
CalTask[] cs = new CalTask[THREAD_COUNT];
TreeSet<Integer> res = new TreeSet<>();
for (int i = 0; i < THREAD_COUNT; i++) {
cs[i] = new CalTask(res);
executor.submit(cs[i]);
}
while (true) {
Thread.sleep(100);
int min = MAX;
for (int i = 0; i < THREAD_COUNT; i++) {
int tmpNum = cs[i].getCurNum();
if (tmpNum <= min) {
min = tmpNum;
}
}
synchronized (Main.class) {
Iterator<Integer> itr = res.iterator();
while (itr.hasNext()) {
int n = itr.next();
if (n <= min) {
System.out.println(n);
itr.remove();
} else {
break;
}
}
}
if (MAX <= min) {
break;
}
}
System.out.println("");
executor.shutdown();
}
private static synchronized int getNext() {
return i++;
}
private static class CalTask implements Runnable {
private final TreeSet<Integer> res;
private volatile int curNum = 0;
public CalTask(TreeSet<Integer> res) {
this.res = res;
}
public void run() {
while (true) {
curNum = getNext();
if (curNum >= MAX) {
System.out.println("end this task.");
break;
}
boolean isPrime = true;
int max = (int) Math.sqrt(curNum);
for (int j = 2; j <= max; j++) {
if (curNum % j == 0) {
isPrime = false;
break;
}
}
if (isPrime) {
synchronized (Main.class) {
res.add(curNum);
// System.out.println("queue size is: " + res.size());
}
}
}
}
public int getCurNum() {
return Math.min(curNum, MAX);
}
}
}