Linux多线程通信?
PIPE和FIFO用来实现进程间相互发送非常短小的、频率很高的消息;
这两种方式通常适用于两个进程间的通信。
共享内存用来实现进程间共享的、非常庞大的、读写操作频率很高的数据(配合信号量使用);
这种方式通常适用于多进程间通信。
其他考虑用socket。这里的“其他情况”,其实是今天主要会碰到的情况:
分布式开发。
在多进程、多线程、多模块所构成的今天最常见的分布式系统开发中,
socket是第一选择
。
消息队列,现在建议不要使用了 —- 因为找不到使用它们的理由。
在实际中,我个人感觉,PIPE和FIFO可以偶尔使用下,共享内存都用的不多了。在效率上说,socket有包装数据和解包数据的过程,所以理论上来说socket是没有PIPE/FIFO快,不过现在计算机上真心不计较这么一点点速度损失的。你费劲纠结半天,不如我把socket设计好了,多插一块CPU来得更划算。
另外,进程间通信的数据一般来说我们都会存入数据库的,这样万一某个进程突然死掉或者整个服务器死了,也不至于丢失重要数据、便于回滚到之前的状态。从这个角度考虑,适用共享内存的情况也更少了,所以socket使用得更多。再多说一点关于共享内存的:共享内存的效率确实高,但它的重点在“共享”二字上。如果的确有好些进程共享一大块数据(如果把每个进程都看做是类的对象的话,那么共享数据就是这个类的static数据成员),那么共享内存就是一个不二的选择了。但是在面向对象的今天,我们更多的时候是多线程+锁+线程间共享数据。因此共享进程在今天使用的也越来越少了。
不过,在面对一些极度追求效率的需求时,共享内存就会成为唯一的选择,比如高频交易系统。除此以外,一般是不需要特意使用共享内存的。另外,
PIPE和共享内存是不能跨LAN的
(FIFO可以但FIFO只能用于两个进程通信)
。
如果你的分布式系统随着需求的增加而越来越大所以你想把不同的模块放在不同机器上而你之前开发的时候用了PIPE或者共享内存,那么你将不得不对代码进行大幅修改……同时,即使FIFO可以跨越LAN,其代码的可读性、易操作性和可移植性、适应性也远没有socket大。这也就是为什么一开始说socket是第一选择的原因。
最后还有个信号简单说一下。
请注意,是信号,不是信号量。
信号量是用于同步线程间的对象的使用的(建议题主看我的答案,自认为比较通俗易懂:
semaphore和mutex的区别? – Linux – 知乎
)。
信号也是进程间通信的一种方式。比如在Linux系统下,一个进程正在执行时,你用键盘按Ctrl+c,就是给这个进程发送了一个信号。进程在捕捉到这个信号后会做相应的动作。
虽然信号是可以自定义的,但这并不能改变信号的局限性:不能跨LAN、信息量极其有限
。
在现代的分布式系统中,通常都是消息驱动:
即进程受到某个消息后,通过对消息的内容的分析然后做相应的动作。如果你把你的分布式系统设置成信号驱动的,这就表示你收到一个信号就要做一个动作而一个信号的本质其实就是一个数字而已。这样系统稍微大一点的话,系统将变得异常难以维护;甚至在很多时候,信号驱动是无法满足我们的需求的。
因此现在我们一般也不用信号了。因此,请记住:
除非你有非常有说服力的理由,否则请用socket。
顺便给你推荐个基于socket的轻量级的消息库:ZeroMQ。
linux怎么查看一个进程的所有线程?
使用ps命令
常用参数:
-a显示所有进程(等价于-e)(utility)
-a显示一个终端的所有进程,除了会话引线
-n忽略选择。
-d显示所有进程,但省略所有的会话引线(utility)
-x显示没有控制终端的进程,同时显示各个命令的具体路径。dx不可合用。(utility)
-ppid进程使用cpu的时间
-uuidorusername选择有效的用户id或者是用户名
-ggidorgroupname显示组的所有进程。
uusername显示该用户下的所有进程,且显示各个命令的详细路径。如:psuzhang;(utility)
-f全部列出,通常和其他选项联用。如:ps-faorps-fxandsoon.
-l长格式(有f,wchan,c等字段)
-j作业格式
-o用户自定义格式。
v以虚拟存储器格式显示
s以信号格式显示
-m显示所有的线程
-h显示进程的层次(和其它的命令合用,如:ps-ha)(utility)
e命令之后显示环境(如:ps-de;ps-ae)(utility)
h不显示第一行
ps命令常用用法:
1)psa显示现行终端机下的所有程序,包括其他用户的程序。
2)ps-a显示所有进程。
3)psc列出程序时,显示每个程序真正的指令名称,而不包含路径,参数或常驻服务的标示。
4)ps-e此参数的效果和指定”a”参数相同。
5)pse列出程序时,显示每个程序所使用的环境变量。
6)psf用ascii字符显示树状结构,表达程序间的相互关系。
7)ps-h显示树状结构,表示程序间的相互关系。
8)ps-n显示所有的程序,除了执行ps指令终端机下的程序之外。
9)pss采用程序信号的格式显示程序状况。
10)pss列出程序时,包括已中断的子程序资料。
11)ps-t指定终端机编号,并列出属于该终端机的程序的状况。
12)psu以用户为主的格式来显示程序状况。
13)psx显示所有程序,不以终端机来区分。
最常用的方法是ps-aux或ps-ef,然后再利用一个管道符号导向到grep去查找特定的进程,然后再对特定的进程进行操作。
Linux中,shell脚本如何使用信号机制去控制线程的开启关闭?
trap是Linux的内建命令,用于捕捉信号,trap命令可以指定收到某种信号时所执行的命令。trap命令的格式如下:trap command sig1 sig2 … sigN,当接收到sinN中任意一个信号时,执行command命令,command命令完成后继续接收到信号前的操作,直到脚本结束。 利用trap命令捕捉INT信号(即与Ctrl+c绑定的中断信号)。trap还可以忽略某些信号,将command用空字符串代替即可,如trap “” TERM INT,忽略kill %n和Ctrl+c发送的信号(kill发送的是TERM信号)。Linux更强劲的杀死进程的命令:kill -9 进程号(或kill -9 %n作业号)等价与kill -KILL 进程号。
举个例子
:
最近小A需要生产2015年全年的KPI数据报表,现在小A已经将生产脚本写好了,生产脚本一次只能生产指定一天的KPI数据,假设跑一次生产脚本需要5分钟,那么:
如果是循环顺序执行,那么需要时间:5 * 365 = 1825 分钟,约等于 6 天
如果是一次性放到linux后台并发执行,365个后台任务,系统可承受不住哦!
既然不能一次性把365个任务放到linux后台执行,那么,能不能实现自动地每次将N个任务放到后台并发执行呢?当然是可以的啦。
#! /bin/bash
source /etc/profile;
# —————————–
tempfifo=$$.fifo # $$表示当前执行文件的PID
begin_date=$1 # 开始时间
end_date=$2 # 结束时间
if
then
if
then
echo “Error! $begin_date is greater than $end_date”
exit 1;
fi
else
echo “Error! Not enough params.”
echo “Sample: sh loop_kpi 2015-12-01 2015-12-07”
exit 2;
fi
# —————————–
trap “exec 1000>&-;exec 1000
mkfifo $tempfifo
exec 1000$tempfifo
rm -rf $tempfifo
for ((i=1; i
do
echo >&1000
done
while
do
read -u1000
{
echo $begin_date
hive -f kpi_report.sql –hivevar date=$begin_date
echo >&1000
} &
begin_date=`date -d “+1 day $begin_date” +”%Y-%m-%d”`
done
wait
echo “done!!!!!!!!!!”
第6~22行:比如:sh loop_kpi_report.sh 2015-01-01 2015-12-01:
$1表示脚本入参的第一个参数,等于2015-01-01
$2表示脚本入参的第二个参数,等于2015-12-01
$#表示脚本入参的个数,等于2
第13行用于比较传入的两个日期的大小,>是转义
第26行:表示在脚本运行过程中,如果接收到Ctrl+C中断命令,则关闭文件描述符1000的读写,并正常退出
exec 1000>&-;表示关闭文件描述符1000的写
exec 1000
trap是捕获中断命令
第27~29行:
第27行,创建一个管道文件
第28行,将文件描述符1000与FIFO进行绑定,写的绑定,则标识对文件描述符1000的所有操作等同于对管道文件$tempfifo的操作
第29行,可能会有这样的疑问:为什么不直接使用管道文件呢?事实上这并非多此一举,管道的一个重要特性,就是读写必须同时存在,缺失某一个操作,另一个操作就是滞留,而第28行的绑定文件描述符(读、写绑定)正好解决了这个问题
第31~34行:对文件描述符1000进行写入操作。通过循环写入8个空行,这个8就是我们要定义的后台并发的线程数。为什么是写空行而不是写其它字符?因为管道文件的读取,是以行为单位的
第37~42行:
第37行,read -u1000的作用就是读取管道中的一行,在这里就是读取一个空行;每次读取管道就会减少一个空行
第39~41行,注意到第42行结尾的&吗?它表示进程放到linux后台中执行
第41行,执行完后台任务之后,往文件描述符1000中写入一个空行。这是关键所在了,由于read -u1000每次操作,都会导致管道减少一个空行,当linux后台放入了8个任务之后,由于文件描述符1000没有可读取的空行,将导致read -u1000一直处于等待。
linux多线程 如何恢复挂起的某个线程?
linux多线程通过发送信号来恢复挂起的某个线程。