模块导入与加载

模块导入与加载

模块导入

常规导入

常规导入应该是最常使用的导入方式,你只需要使用import一词,然后指定你希望导入的模块或包即可。通过这种方式导入的好处是可以一次性导入多个包或模块:

import sys
import os, sys,time
import urllib.error

# 重命名
import sys as system

使用 from 语句导入

很多时候你只想要导入一个模块或库中的某个部分,在复杂的代码库中,能够看出某个函数是从哪里导入的这点很有用的。不过,如果你的代码维护的很好,模块化程度高,那么只从某个模块中导入一部分内容也是非常方便和简洁的。

import functools
functools.lru_cache(*args)

from functools import lru_cache
# 导入模块的全部内容
from os import *

这种做法在少数情况下是挺方便的,但是这样也会打乱你的命名空间。问题在于,你可能定义了一个与导入模块中名称相同的变量或函数,这时如果你试图使用 os 模块中的同名变量或函数,实际使用的将是你自己定义的内容。因此,你最后可能会碰到一个相当让人困惑的逻辑错误。

如果你正好要写自己的模块或包,有人会建议你在 __init__.py 文件中导入所有内容,让模块或者包使用起来更方便。我个人更喜欢显示地导入,而非隐式地导入。

from os import path, walk, unlink
from os import uname, remove

在上述代码中,我们从 os 模块中导入了 5 个函数。你可能注意到了,我们是通过多次从同一个模块中导入实现的。当然,如果你愿意的话,你也可以使用圆括号一次性导入多个项:

from os import (path, walk, unlink, uname,
  remove, rename)

相对导入

PEP 328 介绍了引入相对导入的原因,以及选择了哪种语法。具体来说,是使用句点来决定如何相对导入其他包或模块;这么做的原因是为了避免偶然情况下导入标准库中的模块产生冲突。

# python -m 运行该文件
from .some_module import some_class
from ..some_package import some_function
from . import some_class

import foo.baz # absolute import, always OK
from . import .baz # explicit relative import, Python >= 2.5, Py3
import baz # implicit relative import, OK in Python < 2.5, deprecated in Python >= 2.5, error in Python 3

相对导入适用于你最终要放入包中的代码。如果你编写了很多相关性强的代码,那么应该采用这种导入方式。你会发现 PyPI 上有很多流行的包也是采用了相对导入;还要注意一点,如果你想要跨越多个文件层级进行导入,只需要使用多个句点即可。不过,PEP 328 建议相对导入的层级不要超过两层。

在脚本模式下,如果你想在自己的代码中使用这个模块,那么你必须将其添加至 Python 的导入检索路径(import search path)。最简单的做法如下:

import sys
sys.path.append('/path/to/folder/containing/my_package')
import my_package

注意,你需要添加的是 my_package 的上一层文件夹路径,而不是my_package本身。原因是 my_package 就是我们想要使用的包,所以如果你添加它的路径,那么将无法使用这个包。

Optional imports| 可选导入

如果你希望优先使用某个模块或包,但是同时也想在没有这个模块或包的情况下有备选,你就可以使用可选导入这种方式。这样做可以导入支持某个软件的多种版本或者实现性能提升。以 Github2 包中的代码为例:

try:
  # For Python 3
  from http.client import responses
except ImportError:# For Python 2.5-2.7
  try:
  from httplib import responses# NOQA
  except ImportError:# For Python 2.4
  from BaseHTTPServer import BaseHTTPRequestHandler as _BHRH
  responses = dict([(k, v[0]) for k, v in _BHRH.responses.items()])

lxml 包也有使用可选导入方式:

try:
  from urlparse import urljoin
  from urllib2 import urlopen
except ImportError:
  # Python 3
  from urllib.parse import urljoin
  from urllib.request import urlopen

正如以上示例所示,可选导入的使用很常见,是一个值得掌握的技巧。

局部导入

当你在局部作用域中导入模块时,你执行的就是局部导入。如果你在 Python 脚本文件的顶部导入一个模块,那么你就是在将该模块导入至全局作用域,这意味着之后的任何函数或方法都可能访问该模块。例如:

import sys# global scope

def square_root(a):
  # This import is into the square_root functions local scope
  import math
  return math.sqrt(a)

def my_pow(base_num, power):
  return math.pow(base_num, power)

if __name__ == '__main__':
  print(square_root(49))
  print(my_pow(2, 3))

这里,我们将 sys 模块导入至全局作用域,但我们并没有使用这个模块。然后,在 square_root 函数中,我们将 math 模块导入至该函数的局部作用域,这意味着 math 模块只能在 square_root 函数内部使用。如果我们试图在 my_pow 函数中使用 math,会引发 NameError。试着执行这个脚本,看看会发生什么。

使用局部作用域的好处之一,是你使用的模块可能需要很长时间才能导入,如果是这样的话,将其放在某个不经常调用的函数中或许更加合理,而不是直接在全局作用域中导入。老实说,我几乎从没有使用过局部导入,主要是因为如果模块内部到处都有导入语句,会很难分辨出这样做的原因和用途;根据约定,所有的导入语句都应该位于模块的顶部。

导入注意事项

在导入模块方面,有几个程序员常犯的错误。这里我们介绍两个。

  • 循环导入(circular imports)
  • 覆盖导入(Shadowed imports,暂时翻译为覆盖导入)

先来看看循环导入。

循环导入

如果你创建两个模块,二者相互导入对方,那么就会出现循环导入。例如:

# a.py
import b

def a_test():
  print("in a_test")
  b.b_test()

a_test()

然后在同个文件夹中创建另一个模块,将其命名为 b.py

import a

def b_test():
  print('In test_b"')
  a.a_test()

b_test()

如果你运行任意一个模块,都会引发 AttributeError。这是因为这两个模块都在试图导入对方。简单来说,模块 a 想要导入模块 b,但是因为模块 b 也在试图导入模块 a (这时正在执行),模块 a 将无法完成模块 b 的导入。我看过一些解决这个问题的破解方法(hack),但是一般来说,你应该做的是重构代码,避免发生这种情况

覆盖导入

当你创建的模块与标准库中的模块同名时,如果你导入这个模块,就会出现覆盖导入。举个例子,创建一个名叫 math.py 的文件,在其中写入如下代码:

import math

def square_root(number):
  return math.sqrt(number)

square_root(72)

现在打开终端,试着运行这个文件,你会得到以下回溯信息(traceback):

Traceback (most recent call last):
  File "math.py", line 1, in <module>
  import math
  File "/Users/michael/Desktop/math.py", line 6, in <module>
  square_root(72)
  File "/Users/michael/Desktop/math.py", line 4, in square_root
  return math.sqrt(number)
AttributeError: module 'math' has no attribute 'sqrt'

这到底是怎么回事?其实,你运行这个文件的时候,Python 解释器首先在当前运行脚本所处的的文件夹中查找名叫 math 的模块。在这个例子中,解释器找到了我们正在执行的模块,试图导入它。但是我们的模块中并没有叫 sqrt 的函数或属性,所以就抛出了 AttributeError

动态加载

Python 支持动态地加载模块文件,即从某个文件中手动初始化对象:

def get_factory_from_template(maintype):
    path = os.path.join(BASE_DIR, 'templates', maintype, FACTORY_FILENAME)
    if (python_version_gte(3, 5)):
        # Python 3.5 code in this block
        import importlib.util
        spec = importlib.util.spec_from_file_location(
            "{}.factory".format(maintype), path)
        foo = importlib.util.module_from_spec(spec)
        spec.loader.exec_module(foo)
        return foo
    elif (python_version_gte(3, 0)):
        from importlib.machinery import SourceFileLoader
        foo = SourceFileLoader(
            "{}.factory".format(maintype), path).load_module()
        return foo
    else:
        # Python 2 code in this block
        import imp
        foo = imp.load_source("{}.factory".format(maintype), path)
        return foo

自定义模块

我们可以通过定义 setup.py 来创建自定义模块:

# pipenv install -e . 来安装本地目录的依赖
from setuptools import setup, find_packages

setup(
    name = "test",
    version = "1.0",
    keywords = ("test", "xxx"),
    description = "eds sdk",
    long_description = "eds sdk for python",
    license = "MIT Licence",

    url = "http://test.com",
    author = "test",
    author_email = "test@gmail.com",

    packages = find_packages(),
    include_package_data = True,
    platforms = "any",
    install_requires = [],

    scripts = [],
    entry_points = {
        'console_scripts': [
            'test = test.help:main'
        ]
    }
)

我们也可以在 Pipfile 中声明本地开发时文件,以便于多项目联调:

[dev-packages]
cscanpoc = {path = "."}
下一页