文章和代码等曾经归档至【Github仓库:https://github.com/timerring/dive-into-AI 】或者公众号【AIShareLab】回复 python数据分析 也可获取。
函数
函数应用def
关键字申明,用return
关键字返回值:
def my_function(x, y, z=1.5): if z > 1: return z * (x + y) else: return z / (x + y)
函数能够有一些地位参数(positional)和一些关键字参数(keyword)。关键字参数通常用于指定默认值或可选参数。在下面的函数中,x和y是地位参数,而z则是关键字参数。
# 调用办法my_function(5, 6, z=0.7)my_function(3.14, 7, 3.5)my_function(10, 20)
函数参数的次要限度在于:关键字参数必须位于地位参数(如果有的话)之后。你能够任何程序指定关键字参数。
能够用关键字传递地位参数。
my_function(x=5, y=6, z=7)my_function(y=6, x=5, z=7)
命名空间、作用域,和部分函数
函数能够拜访两种不同作用域中的变量:全局(global)和部分(local)。Python有一种更迷信的用于形容变量作用域的名称,即命名空间(namespace)。任何在函数中赋值的变量默认都是被调配到部分命名空间(local namespace)中的。部分命名空间是在函数被调用时创立的,函数参数会立刻填入该命名空间。在函数执行结束之后,部分命名空间就会被销毁(会有一些例外的状况,具体请参见前面介绍闭包的那一节)。看看上面这个函数:
def func(): a = [] for i in range(5): a.append(i)
调用func()之后,首先会创立出空列表a,而后增加5个元素,最初a会在该函数退出的时候被销毁。如果咱们像上面这样定义a:
a = []def func(): for i in range(5): a.append(i)
尽管能够在函数中对全局变量进行赋值操作,然而那些变量必须用global关键字申明成全局的才行:
In [168]: a = NoneIn [169]: def bind_a_variable(): .....: global a .....: a = [] .....: bind_a_variable() .....:In [170]: print(a)[]
留神:我经常倡议人们不要频繁应用global关键字。因为全局变量个别是用于寄存零碎的某些状态的。如果你发现自己用了很多,那可能就阐明得要来点儿面向对象编程了(即应用类)。
返回多个值
Python的一个性能是:函数能够返回多个值。
def f(): a = 5 b = 6 c = 7 return a, b, c# 这操作相似于拆元组a, b, c = f()
在数据分析和其余科学计算利用中,你会发现自己经常这么干。该函数其实只返回了一个对象,也就是一个元组,最初该元组会被拆包到各个后果变量中。在下面的例子中,咱们还能够这样写:
return_value = f()
这里的return_value将会是一个含有3个返回值的三元元组。此外,还有一种十分具备吸引力的多值返回形式——返回字典:
def f(): a = 5 b = 6 c = 7 return {'a' : a, 'b' : b, 'c' : c}
函数也是对象
因为Python函数都是对象,因而,在其余语言中较难表白的一些设计思维在Python中就要简略很多了。假如咱们有上面这样一个字符串数组,心愿对其进行一些数据清理工作并执行一堆转换:
In [171]: states = [' Alabama ', 'Georgia!', 'Georgia', 'georgia', 'FlOrIda', .....: 'south carolina##', 'West virginia?']
不管是谁,只有解决过由用户提交的考察数据,就能明确这种乌七八糟的数据是怎么一回事。为了失去一组能用于剖析工作的格局对立的字符串,须要做很多事件:去除空白符、删除各种标点符号、正确的大写格局等。做法之一是应用内建的字符串办法和正则表达式re
模块:
import redef clean_strings(strings): result = [] for value in strings: value = value.strip() value = re.sub('[!#?]', '', value) value = value.title() # 首字母大写 result.append(value) return result
后果如下所示:
In [173]: clean_strings(states)Out[173]: ['Alabama', 'Georgia', 'Georgia', 'Georgia', 'Florida', 'South Carolina', 'West Virginia']
其实还有另外一种不错的方法:将须要在一组给定字符串上执行的所有运算做成一个列表:
def remove_punctuation(value): return re.sub('[!#?]', '', value)clean_ops = [str.strip, remove_punctuation, str.title]def clean_strings(strings, ops): result = [] for value in strings: for function in ops: # 两头通过clean_ops的三层解决 value = function(value) result.append(value) return result
而后咱们就有了:
In [175]: clean_strings(states, clean_ops)Out[175]: ['Alabama', 'Georgia', 'Georgia', 'Georgia', 'Florida', 'South Carolina', 'West Virginia']
这种多函数模式使你能在很高的档次上轻松批改字符串的转换形式。此时的clean_strings也更具可复用性!
还能够将函数用作其余函数的参数,比方内置的map函数,它用于在一组数据上利用一个函数:
In [176]: for x in map(remove_punctuation, states): .....: print(x)Alabama GeorgiaGeorgiageorgiaFlOrIdasouth carolinaWest virginia
匿名(lambda)函数
Python反对一种被称为匿名的、或lambda函数。它仅由单条语句组成,该语句的后果就是返回值。它是通过lambda关键字定义的,这个关键字没有别的含意,仅仅是说“咱们正在申明的是一个匿名函数”。
def short_function(x): return x * 2# lambda后的x就是指自变量equiv_anon = lambda x: x * 2
本书其余部分个别将其称为lambda函数。它们在数据分析工作中十分不便,因为你会发现很多数据转换函数都以函数作为参数的。间接传入lambda函数比编写残缺函数申明要少输出很多字(也更清晰),甚至比将lambda函数赋值给一个变量还要少输出很多字。看看上面这个简略得有些傻的例子:
def apply_to_list(some_list, f): return [f(x) for x in some_list]ints = [4, 0, 1, 5, 6]apply_to_list(ints, lambda x: x * 2)
尽管你能够间接编写[x *2for x in ints],然而这里咱们能够十分轻松地传入一个自定义运算给apply_to_list函数。
再来看另外一个例子。假如有一组字符串,你想要依据各字符串不同字母的数量对其进行排序:
In [177]: strings = ['foo', 'card', 'bar', 'aaaa', 'abab']
这里,咱们能够传入一个lambda函数到列表的sort办法:
In [178]: strings.sort(key=lambda x: len(set(list(x))))In [179]: stringsOut[179]: ['aaaa', 'foo', 'abab', 'bar', 'card']
笔记:lambda函数之所以会被称为匿名函数,与def申明的函数不同,起因之一就是这种函数对象自身是没有提供名称__name__属性。
柯里化:局部参数利用
柯里化(currying)是一个乏味的计算机科学术语,它指的是通过“局部参数利用”(partial argument application)从现有函数派生出新函数的技术。例如,假如咱们有一个执行两数相加的简略函数:
def add_numbers(x, y): return x + y
通过这个函数,咱们能够派生出一个新的只有一个参数的函数——add_five,它用于对其参数加5:
add_five = lambda y: add_numbers(5, y)
add_numbers的第二个参数称为“柯里化的”(curried)。这里没什么特地花哨的货色,因为咱们其实就只是定义了一个能够调用现有函数的新函数而已。内置的functools模块能够用partial函数将此过程简化:
from functools import partialadd_five = partial(add_numbers, 5)
生成器
能以一种统一的形式对序列进行迭代(比方列表中的对象或文件中的行)是Python的一个重要特点。这是通过一种叫做迭代器协定(iterator protocol,它是一种使对象可迭代的通用形式)的形式实现的,一个原生的使对象可迭代的办法。比如说,对字典进行迭代能够失去其所有的键:
In [180]: some_dict = {'a': 1, 'b': 2, 'c': 3}In [181]: for key in some_dict: .....: print(key)abc
当你编写for key in some_dict时,Python解释器首先会尝试从some_dict创立一个迭代器:
In [182]: dict_iterator = iter(some_dict)In [183]: dict_iteratorOut[183]: <dict_keyiterator at 0x7fbbd5a9f908>
迭代器是一种非凡对象,它能够在诸如for循环之类的上下文中向Python解释器输送对象。大部分能承受列表之类的对象的办法也都能够承受任何可迭代对象。比方min、max、sum等内置办法以及list、tuple等类型结构器:
In [184]: list(dict_iterator)Out[184]: ['a', 'b', 'c']
生成器(generator)是结构新的可迭代对象的一种简略形式。个别的函数执行之后只会返回单个值,而生成器则是以提早的形式返回一个值序列,即每返回一个值之后暂停,直到下一个值被申请时再持续。要创立一个生成器,只需将函数中的return替换为yeild即可:
def squares(n=10): print('Generating squares from 1 to {0}'.format(n ** 2)) for i in range(1, n + 1): yield i ** 2
调用该生成器时,没有任何代码会被立刻执行:
In [186]: gen = squares()In [187]: genOut[187]: <generator object squares at 0x7fbbd5ab4570>
直到你从该生成器中申请元素时,它才会开始执行其代码:
In [188]: for x in gen: .....: print(x, end=' ')Generating squares from 1 to 1001 4 9 16 25 36 49 64 81 100
生成器表达式
另一种更简洁的结构生成器的办法是应用生成器表达式(generator expression)。这是一种相似于列表、字典、汇合推导式的生成器。其创立形式为,把列表推导式两端的方括号改成圆括号:
In [189]: gen = (x ** 2 for x in range(100))In [190]: genOut[190]: <generator object <genexpr> at 0x7fbbd5ab29e8>
它跟上面这个简短得多的生成器是齐全等价的:
def _make_gen(): for x in range(100): yield x ** 2gen = _make_gen()
生成器表达式也能够取代列表推导式,作为函数参数:
In [191]: sum(x ** 2 for x in range(100))Out[191]: 328350In [192]: dict((i, i **2) for i in range(5))Out[192]: {0: 0, 1: 1, 2: 4, 3: 9, 4: 16}
itertools模块
规范库itertools模块中有一组用于许多常见数据算法的生成器。例如,groupby能够承受任何序列和一个函数。它依据函数的返回值对序列中的间断元素进行分组。上面是一个例子:
In [193]: import itertoolsIn [194]: first_letter = lambda x: x[0]In [195]: names = ['Alan', 'Adam', 'Wes', 'Will', 'Albert', 'Steven']In [196]: for letter, names in itertools.groupby(names, first_letter): .....: print(letter, list(names)) # names is a generatorA ['Alan', 'Adam']W ['Wes', 'Will']A ['Albert']S ['Steven']
表3-2中列出了一些我常常用到的itertools函数。倡议参阅Python官网文档,进一步学习。
谬误和异样解决
优雅地解决Python的谬误和异样是构建强壮程序的重要局部。在数据分析中,许多函数只用于局部输出。例如,Python的float函数能够将字符串转换成浮点数,但输出有误时,有ValueError
谬误:
In [197]: float('1.2345')Out[197]: 1.2345In [198]: float('something')---------------------------------------------------------------------------ValueError Traceback (most recent call last)<ipython-input-198-439904410854> in <module>()----> 1 float('something')ValueError: could not convert string to float: 'something'
如果想优雅地解决float的谬误,让它返回输出值。咱们能够写一个函数,在try/except中调用float:
def attempt_float(x): try: return float(x) except: return x
当float(x)抛出异样时,才会执行except的局部:
In [200]: attempt_float('1.2345')Out[200]: 1.2345In [201]: attempt_float('something')Out[201]: 'something'
你可能留神到float抛出的异样不仅是ValueError:
In [202]: float((1, 2))---------------------------------------------------------------------------TypeError Traceback (most recent call last)<ipython-input-202-842079ebb635> in <module>()----> 1 float((1, 2))TypeError: float() argument must be a string or a number, not 'tuple'
你可能只想解决ValueError,TypeError谬误(输出不是字符串或数值)可能是正当的bug。能够写一个异样类型:
def attempt_float(x): try: return float(x) except ValueError: return x
而后有:
In [204]: attempt_float((1, 2))---------------------------------------------------------------------------TypeError Traceback (most recent call last)<ipython-input-204-9bdfd730cead> in <module>()----> 1 attempt_float((1, 2))<ipython-input-203-3e06b8379b6b> in attempt_float(x) 1 def attempt_float(x): 2 try:----> 3 return float(x) 4 except ValueError: 5 return xTypeError: float() argument must be a string or a number, not 'tuple'
能够用元组蕴含多个异样:
def attempt_float(x): try: return float(x) except (TypeError, ValueError): return x
某些状况下,你可能不想克制异样,你想无论try局部的代码是否胜利,都执行一段代码。能够应用finally:
f = open(path, 'w')try: write_to_file(f)finally: f.close()
这里,文件解决f总会被敞开。类似的,你能够用else让只在try局部胜利的状况下,才执行代码:
f = open(path, 'w')try: write_to_file(f)except: print('Failed')else: print('Succeeded')finally: f.close()
IPython的异样
如果是在%run一个脚本或一条语句时抛出异样,IPython默认会打印残缺的调用栈(traceback),在栈的每个点都会有几行上下文:
In [10]: %run examples/ipython_bug.py---------------------------------------------------------------------------AssertionError Traceback (most recent call last)/home/wesm/code/pydata-book/examples/ipython_bug.py in <module>() 13 throws_an_exception() 14---> 15 calling_things()/home/wesm/code/pydata-book/examples/ipython_bug.py in calling_things() 11 def calling_things(): 12 works_fine()---> 13 throws_an_exception() 14 15 calling_things()/home/wesm/code/pydata-book/examples/ipython_bug.py in throws_an_exception() 7 a = 5 8 b = 6----> 9 assert(a + b == 10) 10 11 def calling_things():AssertionError:
本身就带有文本是绝对于Python规范解释器的极大长处。你能够用魔术命令%xmode
,从Plain(与Python规范解释器雷同)到Verbose(带有函数的参数值)管制文本显示的数量。前面能够看到,产生谬误之后,(用%debug或%pdb magics)能够进入stack进行预先调试。