python中的tokenize有什么作用

Question

Python 编程中的tokenize模块，希望简明回答下有什么作用
这个代码的作用：
import tokenize
reader=open('Yield.py').next
print "reader\t",reader
tokens=tokenize.generate_tokens(reader)
print "tokens\t",tokens
print tokens.next()
print tokens.next()
print tokens.next()

Answer 1

生成一个迭代器
迭代器是拥有next方法的一种对象，它可以遍历数据。

参考：http://www.cnblogs.com/finallyliuyu/archive/2010/04/09/1708584.html