Python函数参数的自省

 

函数参数的自省

函数自省简介

检索有关参数的信息

肥皂盒：关于Bobo

 

函数自省简介

Python 函数是成熟的对象。因此，它们具有诸如 __doc__ 之类的属性：

>>> def factorial(n):

...     """returns n!"""

...     return 1 if n < 2 else n * factorial(n - 1)

...

>>> factorial.__doc__

'returns n!'

在 Python 控制台上调用 help(factorial) 将显示函数签名和 __doc__ 文本。

 

函数除了 __doc__ 之外还有许多属性。以下是 dir 函数揭示factorial函数的属性： 

>>> dir(factorial)
['__annotations__', '__builtins__', '__call__', '__class__',
'__closure__', '__code__', '__defaults__', '__delattr__',
'__dict__', '__dir__', '__doc__', '__eq__', '__format__',
'__ge__', '__get__', '__getattribute__', '__globals__',
'__gt__', '__hash__', '__init__', '__init_subclass__',
'__kwdefaults__', '__le__', '__lt__', '__module__',
'__name__', '__ne__' , '__new__', '__qualname__',
'__reduce__', '__reduce_ex__', '__repr__', '__setattr__',
'__sizeof__', '__str__', '__subclasshook__']

这些属性中的大多数是 Python 对象的通用属性。在本节中，我们将从 __dict__ 开始，介绍将函数视为对象的特别相关的属性。

 

与普通用户定义类的实例一样，函数使用 __dict__ 属性来存储分配给它的用户定义的属性。作为注解（annotion）的一种原始形式，这一点非常有用。一般来说，为函数指定任意属性的做法并不常见，但 Django 是使用这种做法的框架之一。例如，请参阅 Django 管理站点文档中描述的 short_description、boolean 和 admin_order_field 属性。本例改编自 Django 文档，展示了将 short_description 附加到Module子类的方法中，以确定使用该方法时在 Django 管理用户界面的记录列表中显示该描述： 

    def is_published(self, obj):
        return obj.publish_date is not None
    is_published.short_description = 'Is Published?'

 

现在，让我们来关注函数特有的属性，这些属性在通用的 Python 用户定义对象中是找不到的。通过计算两个集合的差值，我们很快就能得到函数特有属性的列表（见示例 1）。

 

示例 1. 列出普通实例中不存在的但是属于函数的属性 

>>> class C: pass  # (1)
>>> obj = C()  # (2)
>>> def func(): pass  # (3)
>>> sorted(set(dir(func)) - set(dir(obj))) # (4)
['__annotations__', '__call__', '__closure__', '__code__', '__defaults__',
'__get__', '__globals__', '__kwdefaults__', '__name__', '__qualname__']
>>> 

（1）创建用户自定义的裸类。

（2）创建一个实例。

（3）创建一个裸函数。

（4）使用集差法生成一个排序列表，列出存在于函数中但不存在于裸类实例中的属性

 

表 1 显示了示例 1 列出的属性的摘要。

表1：用户自定义函数拥有的属性

Table 1. Attributes of user-defined functions

Name

Type

Description

__annotations__

dict

参数和返回值类型提示

__call__

method

() 运算符的实现；又名可调用对象协议

__closure__

tuple

函数闭包，即绑定了自由变量（通常是 None）

__code__

code

函数元数据和函数体编译成字节码

__defaults__

tuple

形参的默认值

__get__

method

只读描述符协议的实现 (参考 [attribute_descriptors])

__globals__

dict

引用定义函数的模块的全局变量

__kwdefaults__

dict

仅关键字形式参数的默认值

__name__

str

函数名称

__qualname__

str

限定函数名称，例如 Random.choice（请参阅 PEP-3155）

 

检索有关参数的信息

Bobo HTTP 微框架是函数自省的一个有趣应用。要了解函数内省的实际应用，请参考例 2 中 Bobo 教程 "Hello world "应用程序的变体。

 

注意：

我提到 Bobo 是因为它自 1997 年以来就率先使用参数自省来减少 Python Web 框架中的样板代码！这种做法现在很常见。 FastAPI 是使用相同想法的现代框架的一个示例。

 

示例 2. Bobo 知道 hello 需要 person 参数，并从 HTTP 请求中检索它 

import bobo
 
@bobo.query('/')
def hello(person):
    return f'Hello {person}!'

bobo.query 装饰器将简单的函数（例如 hello）与框架的请求处理机制集成在一起。我们将在 [closures_and_decorators] 中介绍装饰器——这不是本示例的重点。重点是，Bobo 内省了 hello 函数，发现它需要一个名为 person 的参数才能工作，并且它会从请求中检索具有该名称的参数并将其传递给 hello，因此程序员不需要直接地处理请求对象。这也使得单元测试变得更加容易：不需要模拟请求对象来测试 hello 函数。

 

如果您安装 Bobo 并将其开发服务器指向示例 2 中的脚本（例如 bobo -f hello.py），则点击 URL http://localhost:8080/ 将生成“缺少表单变量 person” 的403 HTTP 代码页。发生这种情况是因为 Bobo 知道调用 hello 需要 person 参数，但在请求中找不到这样的名称。示例 3 是使用curl 的 shell 会话来展示此行为。

 

示例 3. 如果请求中缺少函数参数，Bobo 会发出 403 禁止响应； curl -i 将HTTP响应标头转储到标准输出 

$ curl -i http://localhost:8080/
HTTP/1.0 403 Forbidden
Date: Mon, 31 May 2021 16:34:19 GMT
Server: WSGIServer/0.2 CPython/3.9.5
Content-Type: text/html; charset=UTF-8
Content-Length: 103
 
<html>
<head><title>Missing parameter</title></head>
<body>Missing form variable person</body>
</html>

但是，如果您使用 http://localhost:8080/?person=Jim，则响应将是字符串“Hello Jim！”。参见示例 4。

示例 4. 传递 person 参数则是OK响应

$ curl -i http://localhost:8080/?person=Jim
HTTP/1.0 200 OK
Date: Mon, 31 May 2021 16:35:40 GMT
Server: WSGIServer/0.2 CPython/3.9.5
Content-Type: text/html; charset=UTF-8
Content-Length: 10
 
Hello Jim!

Bobo框架如何知道函数需要哪些参数名称，以及它们是否有默认值？

 

在函数对象中， __defaults__ 属性保存一个包含位置参数和关键字参数的默认值的元组。仅关键字参数的默认值出现在 __kwdefaults__ 中。然而，参数的名称可以在 __code__ 属性中找到，该属性是对具有许多自身属性的code对象的引用。

 

为了演示这些属性的使用，我们将检查例 5 中列出的 clip 函数。clip 函数尝试在空格处中断文本字符串，并尽可能使 len(result) ⇐ max_len。示例代码库中 clip.py 的 doctests 演示了该函数的工作原理。在这里，我们更关注函数的签名而非主体。

 

例 5. 在接近所需长度的位置剪切，缩短字符串。 

def clip(text, max_len=80):
    """Return max_len characters clipped at space if possible"""
    text = text.rstrip()
    if len(text) <= max_len or ' ' not in text:
        return text
    end = len(text)
    space_at = text.rfind(' ', 0, max_len + 1)
    if space_at >= 0:
        end = space_at
    else:
        space_at = text.find(' ', max_len)
        if space_at >= 0:
            end = space_at
    return text[:end].rstrip()

示例 6 显示了示例 5 中列出的clip函数的 __defaults__、__code__.co_varnames 和 __code__.co_argcount 的值。

 

例 6. 提取函数参数信息 

>>> from clip import clip
>>> clip.__defaults__
(80,)
>>> clip.__code__  # doctest: +ELLIPSIS
<code object clip at 0x...>
>>> clip.__code__.co_varnames
('text', 'max_len', 'end', 'space_at')
>>> clip.__code__.co_argcount
2

正如你所看到的，这并不是最方便的信息排列方式。参数名出现在__code__.co_varnames 中，但其中也包括在函数体中创建的局部变量的名称。因此，参数名是前 N 个字符串，其中 N 由 __code__.co_argcount 给出，顺便说一下，它不包括任何前缀为 或 * 的变量参数。缺省值只通过它们在 __defaults__ 元组中的位置来标识，因此要将每个缺省值与相应的参数连接起来，必须从最后一个到第一个进行扫描。在这个示例中，我们有两个参数 text 和 max_len，以及一个默认值 80，因此80必须属于最后一个参数 max_len。这就很尴尬了。

 

幸运的是，有一个更好的方法：inspect 模块。

 

看一下示例 7。

示例 7. 提取函数签名 

>>> from clip import clip
>>> from inspect import signature
>>> sig = signature(clip)
>>> sig
<Signature (text, max_len=80)>
>>> str(sig)
'(text, max_len=80)'
>>> for name, param in sig.parameters.items():
...     print(param.kind, ':', name, '=', param.default)
...
POSITIONAL_OR_KEYWORD : text = <class 'inspect._empty'>
POSITIONAL_OR_KEYWORD : max_len = 80

inspect.signature 返回一个 inspect.Signature 对象，该对象有一个 parameters 属性，通过这个属性可以读取到一个有序映射，即inspect.Parameter 对象。每个Parameter实例都有 name、default 和 kind 等属性。特殊值 inspect._empty 表示没有默认值的参数，考虑到 None 是一个有效且常作为函数参数的默认值，这一点很有意义。

 

kind 属性包含 _ParameterKind 类中五个可能值之一：

POSITIONAL_OR_KEYWORD

可以作为位置参数或关键字参数传递的参数（大多数 Python 函数参数都是这种类型）。

 

VAR_POSITIONAL

位置参数的元组。（可变位置参数）

 

VAR_KEYWORD

关键字参数的字典。

 

KEYWORD_ONLY

仅关键字参数（Python 3 中的新增功能）。

POSITIONAL_ONLY

仅位置参数； Python 3.8 之前的函数声明语法不支持此语法，但以 C 语言实现的现有函数（如 divmod）为例，这些函数不接受通过关键字传递参数。

 

除了 name、default 和 kind 之外，inspect.Parameter 对象还有一个annotation属性，该属性通常为 inspect._empty，但可能包含通过 Python 3 中的新注释语法提供的函数签名元数据 - 在 [type_hints_in_def_ch] 中介绍。

 

Inspect.Signature 对象具有一个bind方法，该方法接受任意数量的参数并将它们绑定到签名中的参数，应用将实际参数与形式参数匹配的常用规则。框架可以使用它在实际函数调用之前验证参数。示例 8 展示了如何实现。

 

示例 8. 将 [tagger_ex] 中标签函数的函数签名绑定到参数字典 

>>> import inspect
>>> sig = inspect.signature(tag)  (1)
>>> my_tag = {'name': 'img', 'title': 'Sunset Boulevard',
...           'src': 'sunset.jpg', 'class_': 'framed'}
>>> bound_args = sig.bind(**my_tag)  (2)
>>> bound_args
<BoundArguments (name='img', class_='framed',
  attrs={'title': 'Sunset Boulevard', 'src': 'sunset.jpg'})>  (3)
>>> for name, value in bound_args.arguments.items():  (4)
...     print(name, '=', value)
...
name = img
class_ = framed
attrs = {'title': 'Sunset Boulevard', 'src': 'sunset.jpg'}
>>> del my_tag['name']  (5)
>>> bound_args = sig.bind(**my_tag)  (6)
Traceback (most recent call last):
  ...
TypeError: missing a required argument: 'name'

（1）从[tagger_ex]中的tag函数获取签名。

（2）将参数组成的字典传递给.bind函数

（3）生成一个inspect.BoundArguments对象（添加换行符以适合电子书）。

（4）迭代bound_args.arguments（一个字典）中的项目，以显示参数的名称和值。

（5）从 my_tag 中删除强制参数name。

（6）调用 sig.bind(**my_tag) 会引发 TypeError，抱怨缺少name参数。

 

这个示例展示了 Python 数据模型如何在 inspection 的帮助下，揭露了解释器用来在函数调用中将参数绑定到形式参数的机制。框架和 IDE 等工具可以使用这些信息来验证代码。

 

警告：

inspection 模块早于 PEP 484-类型提示。在 Python 3.9 中，对类型提示进行正确的运行时检查更为复杂，支持也不完善。

 

 

肥皂盒：关于Bobo

我的 Python 职业生涯开始于Bobo。在尝试 Perl 和 Java 替代方案之后，我在寻找一种面向对象的 Web 应用程序编码方法时发现了它。 1998 年，我在第一个 Python Web 项目中使用了 Bobo，该项目是一个名为 IDG Now 的 IT 新闻门户网站，它是美国媒体公司 International Data Group 的巴西子公司。

 

1997年，Bobo首创了对象发布概念（object publishing concept）：从URL直接映射到对象层次结构，无需配置路由。当我看到它的美丽时，我被迷住了。 Bobo 还能根据对用于处理请求的方法或函数签名的分析，自动处理 HTTP 查询。

Bobo 由吉姆-富尔顿（Jim Fulton）创建，他在开发 Zope 框架（Zope是Plone CMS、SchoolTool、ERP5 和其他大型 Python 项目的基础）方面发挥了主导作用，因此后来被称为 "Zope 教皇"。吉姆还是 ZODB（Zope 对象数据库）的创建者，ZODB 是一种事务对象数据库，提供 ACID（原子性、一致性、隔离性和持久性），旨在方便使用 Python。

 

Bobo是Zope的内核。当 Zope 在 1998 年底发布时，我感到非常高兴，因为我想在我的软件开发工作中使用 Bobo，但是使用一种以喜剧团命名的晦涩语言（Python语言）和一个其名称在葡萄牙语是“傻瓜”的意思的未知的框架在巴西销售项目并不容易（Bobo在葡萄牙语是”傻”的意思）。Zope也不为人所知，但至少这个名字是中性的。它还包括ZODB，这让人印象深刻。

 

此后，Jim 从头开始​​重写了 Bobo，以支持 WSGI 和现代 Python（包括 Python 3）。

 

评论

发表评论

此博客中的热门博文

OAuth 2教程

图片
原文： http://tutorials.jenkov.com/oauth2/index.html OAuth 2.0是一种开放式 授权 协议，该协议使得应用程序可以访问彼此的数据。例如：一个游戏应用可以访问Facebook中的用户数据，或者基于位置的应用程序可以访问Foursquare应用程序的用户数据（ user data ）等。 OAuth 2.0被用于通过应用程序共享数据的示例如上图。 首先用户进入游戏的web应用，该应用要求用户通过Facebook账户登录，并定向到Facebook的登录界面，用户登录Facebook后，会重定向到之前的游戏应用。此时该应用就访问到了用户在Facebook的用户数据以及授权信息，并代表用户在Facebook中调用功能（例如发布状态更新）。 OAuth 2.0 用例 OAuth 2.0既可以用于在某个应用内访问其它应用的用户信息（比如上例中的游戏应用），又可以提供用户授权服务供其它应用调用（比如上例中的Facebook）。 OAuth 2.0是OAuth 1.0的替代，因为OAuth 1.0太复杂了，比如OAuth 1.0要求使用证书等。OAuth 2.0更加简单，不要求使用证书，仅使用SSL/TLS。 OAuth 2.0 规范 这个教程的目的是提供一个OAuth 2.0协议的概览以帮助理解，而不是涵盖此协议的所有细节。 如果你计划实现一个OAuth 2.0协议，最好是去阅读规范的详细内容，规范的地址：http://tools.ietf.org/html/draft-ietf-oauth-v2-23 OAuth 2.0 概述 在之前的介绍中我们提到，OAuth 2.0是一个开放标准，其允许某个应用程序访问其它应用程序的用户授权的数据。现在我们来介绍这个协议是如何工作的，以及规范中提到的各种概念。 OAuth 2.0 提供了不同的方式使得客户端应用获得权限去访问存储在资源服务器中的资源。现在介绍其中最安全和最常用的使用方式： 一个web应用请求访问另一个web应用 的资源。 下面的示例图描述了整个认证过程： 首先，用户访问客户端Web应用程序，在这个应用程序里有“通过Facebook登录”（或谷歌或Twitter等其他系统）的按钮。 第二步，当用户点击这个按...
阅读全文

网格策略

图片
波段策略网格之一：写在前面，体系以及策略 壹：写在前面 踏踏实实的踏踏实实 在这个有些寒意又充满希望的春天，我决定将我使用了7年的一个波段策略——网格策略，与大家分享与交流。这次分享，会把目前已经升级到3.0的网格策略事无巨细说的非常清楚。这应该是你能见到最详细最有价值的网格策略文章，因为这几篇文章凝结了整整7年的思考和实践。 在此之前，我不是不想与大家分享。有三个原因导致我迟迟没有做这件事。 第一个原因很简单，对于这样一个凝聚心血的东西，我是有些私心的。这个各位也应该能够理解。 第二个原因，在于这件事是一件需要耗费极大精力，又有很大风险的事情。对于做事的信条，我的理念是要么不做，要做就做到极致。所以我如果讨论这个策略，就一定要把方方面面的东西全部说到。这个工作量非常大。 同时，风险很大。风险点在于无论我如何强调需要注意的问题，看这篇文章的几万十几万读者，也一定有人学习能力强，有人接受能力差一些。只要有一个关键点你没有融会贯通，就可能出现不好的结果。 第三个原因，我自己也需要对这个策略进行不断的实践，不断将细节升级。我不可能将一个自己没有做过3轮以上的策略与大家分享，这是对你负责。我必须深刻理解它的优点缺点，才能跟你交流。我会用我自己的钱去做实证，而不是用你的。 基于以上原因，我一直没有公开讨论过这个策略。但现在，我认为时机差不多成熟了。再加上一些外部因素刺激，我决定与你分享。 这一个系列的文章会分为3-4篇。第一篇很重要，会讨论投资体系的构建，各种投资策略互相搭配的重要性以及应该注意的问题。这一篇虽然还未涉及网格策略，但真的很重要，希望你能认真看一看。 第二篇会介绍网格策略的基本操作方式。即1.0版本。 第三篇会介绍网格策略2.0。这次升级意义非常重大，将网格1.0的一些固有缺陷在一定程度上弥补掉。到时候看情况，也有可能将3.0也放在第三篇里，有可能将3.0单独开一篇。 这就是全部这次的交流计划。也许这个策略不适合你，也许你不喜欢这种波段策略，但无论如何，希望你能感受到我的责任感与诚意。 贰：投资体系 踏踏实实的踏踏实实 每个人做投资，都应该有一套完整的投资体系。整套体系包括大致两个方面： 第一个方面，是观察金融世界的体系。 ...
阅读全文

apt-get详细使用

NAME apt-get - APT包处理程序--基于命令行 SYNOPSIS apt-get [-asqdyfmubV] [-o=config_string] [-c=config_file] [-t=target_release] [-a=architecture] {update | upgrade | dselect-upgrade | dist-upgrade | install pkg [{=pkg_version_number | /target_release}]...  | remove pkg...  | purge pkg...  | source pkg [{=pkg_version_number | /target_release}]...  | build-dep pkg [{=pkg_version_number | /target_release}]...  | download pkg [{=pkg_version_number | /target_release}]...  | check | clean | autoclean | autoremove | {-v | --version} | {-h | --help}} DESCRIPTION apt-get是一种基于命令行的包处理工具，被认为是相对于其它apt库的“后端”（指在命令行下）工具，同样也有一些“前端”（基于图形模式）下工具，如aptitude(8),synaptic(8)和wajig(1). 除了-h,或是--help这两个参数，下面的子命令之一必须使用。 update update是被用来与它们的源中的包索引文件进行同步的。 可用的软件包的索引是从/etc/apt/sources.list文件中指定的路径获取的。举个例子，当我们使用Debian时，这个命令就取出并扫描Packages.gz的文件，因为这样就能得到升级了的包和新的包的信息了。更新(update)应该在使用upgrade或是dist-upgrade这2个子命令之前使用。请注意：因爲无法预知包文件的大小，所以整體更新進度表將不正確。 （译者注：所以請注意，update並不真正升級安裝在系統上的軟件包，只是查...
阅读全文