python系统编程
系统编程
系统工具
概述
python系统模块:
| 模块名 | 作用 |
|---|---|
| *sys | 负责导出与怕以后呢解释器本身相关的组件 |
| *os | 包含与python所在底层操作系统相应的变量和函数 |
| *os.path | 为文件和目录处理工具提供了可移植的接口 |
| glob | 用于文件名扩展 |
| socket | 用于网络连接和进程间通信 |
| threading,_thread,queue | 用于运行和同步化并发线程 |
| subprocess,multiprocessing | 用于启动和控制并行进程 |
| signal,select,shutil,tempfile | 用于多种系统相关任务 |
| 第三方扩展 | 以下 |
| pySerial | 串行端口接口 |
| Pexpect | 用于控制程序间对话 |
| Twisted | 网络框架 |
获取模块文档:
-
获取属性:dir()
-
获取用法:
__doc__或help()
sys模块
| 工具 | 作用 |
|---|---|
| *sys.platform | 底层操作系统名称 |
| sys.maxsize | 当前计算机可容纳的最大整型 |
| sys.version | python解释器版本号 |
| *sys.path | 正在运行的python解释器真正的模块搜索路径 |
| 包含代表脚本主目录的指示器(首项),交互模式下是空字符串 | |
| 可以更改,并不是永久性的 | |
| *sys.modules | 字典,python进程所导入的每一个模块 |
| sys.getrefcount | 查看对象的引用次数 |
| sys.builtin_module_names | python可执行程序的内置模块名称 |
| sys.exc_info() | 元祖,最近异常的类型,值,追踪对象 |
| 追踪对象可用模块traceback处理 | |
| 将追踪对象传入traceback.print_tb() | |
| sys.argv | 命令行参数 |
| stdin,stdout,stdrrr | 标准流 |
| sys.exit | 强制退出 |
os模块
提供了POSIX(可移植操作系统接口)工具,不依赖平台的目录处理,os.path
常用的os工具:
| 任务 | 工具 |
|---|---|
| shell变量 | os.environ:设置和获取shell环境变量 |
| 运行程序 | os.execv |
| os.execlp:启动新程序 | |
| os.spawnv:启动带有底层控制的新程序 | |
| os.system():在pythin脚本中运行shell命令,会暂停它的调用者,可在命令后加& | |
| os.popen():运行shell命令并与其输入流(传入’w’参数,write()方法)或输出流(默认,read()方法)相连接. | |
| os.startfile():用相应的软件打开文件,无论文件是什么 | |
| 派生程序 | os.waitpid,os.kill |
| os.fork:在类Unix系统下派生新的子进程 | |
| os.pipe:负责进程间通信 | |
| 文件描述符,文件锁 | os.resd,os.write |
| os.open:打开基于底层描述符的文件 | |
| os.stat:获取文件底层信息 | |
| 文件处理 | os.rename,os.rmdir |
| os.walk:将函数和循环运用与整个目录树的各部分 | |
| os.remove:根据路径名删除文件 | |
| os.mkdir:创建新目录 | |
| os.mkfifo:创建新的命名管道 | |
| 管理工具:提供信息,帮助管理 | os.chmod,os.listdir,os.access |
| os.getpid():给出掉用函数的进程的id | |
| os.getcwd():返回当前目录 | |
| os.chdir():改变目录 | |
| 移植工具 | os.path.split(‘path’):将路径分割为目录和文件 |
| os.path.splitext(‘path’):分割了文件的扩展名 | |
| os.path.normpath(‘path’:将路径分隔符统一为平台的目录分隔符) | |
| os.path.abspath(‘path’):返回文件的完整目录路径名.如添加前缀和处理…语法 | |
| os.path.join:将目录和文件合成路径 | |
| os.path.dirname(‘path’)/basename(‘path’):返回目录/文件 | |
| os.sep:目录分割符号 | |
| os.pathsep:目录列表中分隔目录的符号 | |
| os.pardir:父目录 | |
| os.curdir:当前目录 | |
| os.linesep:换行符 | |
| 路径名工具 | os.path.getsize(‘path’):通过文件名获取文件大小 |
| os.path.isdir(‘path’)/isfile(‘path’):检测文件类型,是目录/文件 | |
| os.path.exists(‘path’):测试文件是否存在 |
脚本运行上下文
当前工作路径
当前工作路径(CWD)与脚本所在路径区别:
- 当前工作路径(CWD):
- 当前工作路径是启动脚本的路径,即输入命令行的地方.
- 脚本中没有路径的文件名将会映射到此.
- 通过os.getcwd()获得,os.chdir()改变.
- 当通过图标执行一个脚本时,cwd会被设置为脚本所在路径.
- 脚本所在路径:
- 脚本所在路径是脚本文件物理存储位置.
- import导入时,最先搜索的目录.
- 可以通过sys.path列表中的首项看到.
命令行参数
sys.argv:得到命令行参数列表.sys.argv[0]为执行脚本的名称,在命令行出现的顺序决定列表中的索引
python中的命令行处理工具解析更复杂的命令行:
- getopt模块
- optparse模块,功能更强大
note:
unix上的可执行脚本:
脚本第一行#!/usr/bin/env指定解释器
chmod u+x scripname:增加可执行权限
shell环境变量
python通过一个类似python字典的对象os.environ访问环境变量
获取环境变量:
- os.environ[‘环境变量名’],例如获取PYTHONPATH:os.environ[‘PYTHONPATH’]
修改环境变量:
-
通过对os.environ[‘环境变量名’]赋值,在内部调用os.putenv改变环境变量(修改是临时的,只对程序本身和子程序有效)
-
子程序:由Unix下的os.spawnv,os.fork/exec,以及所有平台的os.popen,os.system,subprocess启动的程序
-
修改是临时的原因:一个子程序始终从父程序继承环境变量,而子程序的环境变量不会传递给父进程.
-
标准流
标准流是预先打开的文件对象,python启动时被绑定到控制台窗口,sys模块提供了标准输入(sys.stdin),标准输出(sys.stdout)和错误流(sys.stderr)
重定向流到文件或程序(依赖shell命令行):
-
标准输入流重定向到文件输入:
< fielname -
标准输出流重定向到文件:
>filename -
结合使用:
< inputfile > outputfile -
管道,一个程序的标准输出发送到另一个程序的标准输入,python脚本可以在任意一端:
|
重定向流与用户交互:
-
当输入流被重定向后,linux中可以通过/dev/tty文件(当前虚拟终端)读取键盘输入
-
文件的isatty()方法探测文件是否连接到控制台
重定向流到python对象:
-
任何提供了类似文件read方法的对象可以指定给sys.stdin,以从该对象的read方法读取输入
-
任何定义了类似文件write方法的对象可以指定给sys.stdout,所有标准输出将发送到该对象方法上
-
需要保存和重置原来的流
io标准库:
```python
from io import StringIO, BytesIO
# StringIO提供对象,将文件对象接口和内存字符串相映射(文本)
buff = StringIO() # 在字符串中保存写入的文本
buff.write('string\n')
buff.getvalue() # 取出值
buff = StringIO('string\nstream\n') # 从字符串中读取输入值
buff.readline()
# ByteIO提供对象,将文件操作映射到内存字节缓冲区(二进制)
stream = BytesIO() # 在字节缓冲区中保存写入的文本
stream.write(b'stream')
stream.getvalue()
stream = BytesIO(b'stream') # # 从字节缓冲区中读取输入值
stream.read()
```
print调用中的重定向语法:
- print(string, file=filename) #filename为文件名,需要打开的,有写入权限的
subprocess模块:
-
运行命令的替代方案,对流的控制更完善,控制的是子程序的流.
-
subprocess.call(‘cmd’,shell=True),shell与平台相关,类Unix上为真时,由shell执行程序,否则由os.execvp运行
-
将stdout流与管道连接,然后用communicate来运行命令,并接收它的标准输出流和错误流文件
from subprocess import Popen, PIPE pipe = Popen('python hello.py', stdout=PIPE, stdin=PIPE) # 获取派生程序的输出流和输入流 pipe2 = Popen('python reader.py', stdin=pipe.stdout) # 将pipe的输出流给pipe2的输入流 pipe.stdin.write('string') #写入输入流 pipe.stdin.close() # 关闭输入流文件 pipe.stdout.read() # 读取输出流 # pipe.communicate() # # pipe.returncode # 查看退出状态,成功一般是0 pipe.wait() # 退出状态
os.popen:
```python
import os
pipe = os.popen('python hello_out.py') # 默认对stdout读
pipe.read()
print(pipe.close()) # None代表没有错误
pipe = os.popen('python hello_in.py', 'w') # 对stdin写
pipe.write('Gumby')
pipe.close()
```
文件和目录工具
文件工具
内建文件对象
-
支持多种方法:将缓冲区写入磁盘(‘flush’),释放系统资源( ‘close’),获取底层文件句柄(‘fileno’),读取数据(‘read’, ‘readline’, ‘readlines’),移动到文件的任意位置(‘seek’),返回当前位置(‘tell’),写入数据(‘writable’, ‘write’, ‘writelines’)
-
open(file, mode='r', buffering=-1, encoding=None, errors=None, newline=None, closefd=True, opener=None)-
file:文件名,也可以是文件描述符
-
mode:r可读(默认);w可写,并擦除以前任何内容;a追加;+可读可写;b以二进制方式打开
-
buffering:0无缓存,二进制模式;1逐行缓冲;其他全缓冲(默认)
-
encoding:编码设置
-
-
seek(N, whence=0)
-
0:绝对的开始位置,偏移量非负
-
1:相对前位置,偏移量可正可负
-
2:绝对的末尾位置,偏移量一般为负
-
用struct模块解析打包的二进制数据:
import struct # 导入包
data = struct.pack('>i4shf', 2, 'spam', 3, 1.234) # 按照特定格式打包,>表示高位优先,i是四字节整数,4s代表四字节字符串,h是二字节整数,f是浮点数
value = struct.unpack('>i4shf', data) # 按照同样的格式解包
os模块中的底层文件工具
-
os.open(path, flags, mode):打开文件并返回其描述符.描述符是整数代码或句柄,用来标识文件,mode是模式标识符,提供更多的底层控制.
-
O_EXCL:唯一访问权
-
O_NONBLOCK:非阻塞模式
-
(os.O_RDWR|os.O_BINARY):相当与rb+
-
-
os.read(descriptor, N):最多读取N个字节并返回一个字节字符串,descriptor是描述符.
-
os.write(descriptor, string):把字节字符串string中的字节写入文件.
-
os.lseek(descriptor, position, how):在文件中移至position,how相当与seek中的模式.
-
os.fdopen(descriptor, ‘rb’):将文件描述符封装成文件对象,第二个参数是文件对象模式
-
其他os模块文件工具
-
os.chmod(filepath, Ooxxx):更改文件权限.文件路径和三位八进制(与Unix下文件设置相同)
-
os.renaem(oldname, newname):更改名称
-
os.remove(filename):删除文件
-
os.stat:(fielname):文件的底层信息
目录工具
遍历目录
-
os.popen():运行shell列表命令,例如unix中ls,windows中dir.与命令耦合,不跨平台
-
glob.glob()模块:接受路径文件名(每一级路径都可以)模式扩展(?单个字符,*任意个字符,[]字符选集),返回一个匹配文件名(带前缀路径)组成的列表.
-
os.listdir():接受路径目录名,返回该目录下所有文件名(不带路径前缀)列表.
-
golb和walk都都通过调用listdir实现.
-
如果文件名有特殊字符,可以通过传入字节字符串(b’…').
-
文件名编码:os.getfilesystemencoding()
-
遍历目录树
- os.walk():接受一个路径目录名,返回一个生成器,为该目录及其每一个递归子目录下产生一个包括(当前目录名称,子目录列表,文件列表)的三元组.用topdown=False参数可以自底向上遍历.删除返回的元祖里子目录列表中的名称,可以对目录树的枝干进行修剪.
并行系统工具
进程分支
os.fork():
-
启动新的并行子进程(内存中原来进程的一个副本),在子进程中返回0,在父进程中返回pid
-
os.getpid()获得当前进程的pid
-
全局对象在子进程开始是有相同的值,全局内存是被复制而不是共享,只改变自己的副本.
-
子进程可以通过显是的调用os._exit(0)退出
fork和exec组合:
-
os.execlp():用一个全新的程序覆盖执行原来的程序,通过fork启动子进程再exec覆盖,开启一个与原程序并行运行的新程序,但pid不变
-
exec系列:
-
execv(program, commandlinesequence):参数为可执行程序的名称(完整路径),命令行参数字符串组成的列表或元组(在shell中输入的命令)
-
execl(program, argv0, argv1, …, argvN):参数形式传入命令行参数
-
excelp,excevp:用系统搜索路径定位可执行程序(不需要完整路径)
-
execve,execle:在最后添加一个字典参数,包含发送给程序的shell环境变量
-
execvpe,execlpe:使用搜索路径并且接受shell环境变量字典参数
-
例子:
os.execlp('python', 'python', 'child.py', str(parm))
-
线程
在同一个进程中,和程序的其他部分并行的调用函数(或其他可调用对象),常用于非阻塞的输入调用和GUI中长时间的任务.
特点:
-
相对与分支进程开销小,进程适合计算密集型操作,线程适合IO密集型操作
-
共享全局内存(对象和命名空间4),要仔细控制共享项目的访问权
-
全局解释器锁(GIL):同一时间只有一个线程运行python代码,不能利用多核
_thread模块:
-
_thread.start_new_thread():
-
开始一个新线程,接受一个函数(或其他可调用对象,如lambda函数,对象方法)和一个参数元组,返回一个无用值.
-
线程在其运行的函数返回后退出,或主线程退出后随之退出.
-
线程出现异常不影响程序其他部分的运行.
-
-
同步访问共享对象和名称:
-
锁:要修改一个共享对象,线程 需要获得一把锁,然后修改,之后释放锁给其他线程获取.确保任何时间只有一个线程持有锁.
-
_thread.allocate_lock():创建全局锁对象,_thread.exit():线程退出
-
全局锁对象的acquire()方法获取锁,release()方法释放锁,之间是需要互斥的操作
-
locked()方法检测锁是否被获取,被获取返回true
-
-
等待派生线程退出(线程通信)
-
锁列表:创建一个锁列表,通过为每一个子线程结尾获取一把锁,判断每一把锁是否都被获取,则说明子线程都已经结束,就可以退出主线程.
-
整数列表:创建一个列表,每一个子线程结尾都改变其值,通过判断是否每一个值都改变了,得知子线程是否都结束.可在主线程中用time.sleep()暂停等待子线程结束
-
-
上下文管理
- with mutex(全局锁对象):自动上锁和解锁
threading模块:
-
基于对象和类的较高层面的接口,内部使用_thread实现
-
可以通过继承threading.Thread对象定制带有状态(初始化方法)和run()行为(提供线程逻辑业务)的线程类.
-
threading.Lock():创建全局锁对象.全局锁对象的acquire()方法获取锁,release()方法释放锁,之间是需要互斥的操作
-
线程类对象的start()方法:在线程中运行run方法.join():等待直到线程退出.如果任何一个派生线程(守护线程除外)还在运行中,程序不会退出.线程类对象的daemon属性=True可设为守护线程
-
threading.Thread对象接受传给target参数的调用对象和任意传给args参数(默认(),代表无)
-
threading模块还有Semaphore, Condition和Event等
queue模块:
-
线程程序由一系列消费者程序和一系列生产者程序组成,通过将数据存入一个共享的队列或从中取出来进行通信,保证线程安全.队列同步化的是数据传递,某些操作仍然需要为其他目的而使用锁.
-
queue.Queue(maxsize = 0)创建一个队列对象.maxsize可限制队列大小,默认无限制.
-
queue.LifoQueue(maxsize = 0)创建一个栈队列对象
-
queue.PriorityQueue(maxsize = 0)创建一个优先级队列.典型加入的元素是一个元祖(优先级, 数据),优先级数越小,级别越高
-
queue.deque(maxsize = 0)创建一个双线队列
-
queue.empty异常,queue.Full异常:队列空取,队列满存产生的异常
-
队列对象(例如Queue)的put(item, block=True, timeout=None)方法向队列中存入数据.如果满,blocking = False 直接报 Full异常。如果blocking = True，就是等一会，timeout必须为 0 或正数。None为一直等下去，0为不等，正数n为等待n秒还不能存入，报Full异常
-
Queue.get()方法从队列中取出数据,参数类似put
-
Queue.empty(),Queue.full():判断队列是否为空,为满
-
Queue.task_done():表示队列中某个元素被消费进程使用，消费结束发送的信息
-
Queue.join():一直阻塞直到队列中的所有元素都被取出和执行
GUI与线程:
- GUI程序一般采用主GUI线程加一到多个长时间运行的生产者线程,主线程更新界面,每个生产者线程执行一个长时间任务.所有线程共享一个队列,非GUI线程显示结果,GUI线程消耗它们.