Edit File: tokenize.cpython-37.opt-2.pyc
B ����0��c�i���������������/���@���s���d�Z�dZddlmZ�ddlmZmZ�ddlZddl m Z �ddlmZ�ddlZ ddlZddlZddlT�e�d ej�Ze�d ej�ZddlZejddd dg�Z[eeeeeeeeeee e!e"e#e$e%e&e'e(e)e*e+e,e-e.e/e0e1e2e3e4e5e6e7e8e9e:e;e<e=e>e?e@eAeBeCd�.ZDG�dd��de�Edd��ZFdd��ZGdd��ZHdd��ZIdZJdZKeJeHdeJ���eIeK��ZLdZMdZNdZOdZPdZQeGeNeOePeQ�ZRd ZSeGd!d"�eIeS��ZTd#eS�ZUeGeTeU�ZVeGd$eVd%��ZWeGeWeVeR�ZXd&d'��ZYd(d)��ZZeGeY����Z[d*Z\d+Z]d,Z^d-Z_eGe[d.�e[d/��Z`eGe[d0�e[d1��ZaeGd2d3d4d5d6d7d8d9�Zbd:ZceGd;d<d=�ZdeGebeced�ZeeGeXeeeaeM�ZfeLef�ZgeGe[d>�eGd?d��e[d@�eGdAd���ZheGdBeKe`�ZieJeGeieXeeeheM��Zji�Zkx@eY��D�]6Zle\ekeld?�<�e]ekeldA�<�e^ekeld.�<�e_ekeld/�<��q�W�em��Znem��Zox\eY��D�]RZpx$epdA�epd?�fD�]Zqen�req���q�W�x$epd/�epd.�fD�]Zqeo�req���q$W��q�W�dCZsG�dDdE��dEet�ZuG�dFdG��dGet�ZvG�dHdI��dI�ZwdJd ��ZxdKdL��ZydMd��ZzdNdO��ZdPd��Z{dQdR��Z|dSdT��Z}dUdV��Z~edWk�r�e~���dS�)XzKa-Ping Yee <ping@lfw.org>zpGvR, ESR, Tim Peters, Thomas Wouters, Fred Drake, Skip Montanaro, Raymond Hettinger, Trent Nelson, Michael Foord�����)�open)�lookup�BOM_UTF8N)� TextIOWrapper)�chain)�*z&^[ \t\f]*#.*?coding[:=][ \t]*([-\w.]+)s���^[ \t\f]*(?:[#\r\n]|$)�tokenize�detect_encoding� untokenize� TokenInfo).�(�)�[�]�:�,�;�+�-r����/�|�&�<�>�=�.�%�{�}z==z!=z<=z>=�~�^z<<z>>z**z+=z-=z*=z/=z%=z&=z|=z^=z<<=z>>=z**=z//z//=z...z->�@z@=c���������������@���s ���e�Zd�Zdd��Zedd���ZdS�)r���c�������������C���s$���d|�j�t|�j��f�}d|�j|d��S�)Nz%d (%s)z8TokenInfo(type=%s, string=%r, start=%r, end=%r, line=%r))�type)r"����tok_name�_replace)�self�annotated_type��r'����-/opt/alt/python37/lib64/python3.7/tokenize.py�__repr___���s����zTokenInfo.__repr__c�������������C���s(���|�j�tkr|�jtkrt|�j�S�|�j�S�d�S�)N)r"����OP�string�EXACT_TOKEN_TYPES)r%���r'���r'���r(���� exact_typed���s���� zTokenInfo.exact_typeN)�__name__� __module__�__qualname__r)����propertyr-���r'���r'���r'���r(���r���^���s���ztype string start end linec��������������G���s���dd��|���d�S�)Nr���r���r ���)�join)�choicesr'���r'���r(����groupk��������r4���c��������������G���s���t�|���d�S�)Nr���)r4���)r3���r'���r'���r(����anyl���r5���r6���c��������������G���s���t�|���d�S�)N�?)r4���)r3���r'���r'���r(����maybem���r5���r8���z[ \f\t]*z #[^\r\n]*z\\\r?\nz\w+z0[xX](?:_?[0-9a-fA-F])+z0[bB](?:_?[01])+z0[oO](?:_?[0-7])+z(?:0(?:_?0)*|[1-9](?:_?[0-9])*)z[eE][-+]?[0-9](?:_?[0-9])*z)[0-9](?:_?[0-9])*\.(?:[0-9](?:_?[0-9])*)?z\.[0-9](?:_?[0-9])*z[0-9](?:_?[0-9])*z[0-9](?:_?[0-9])*[jJ]z[jJ]c��������������C���sj���ddddddg}�dh}xN|�D�]F}x@t��|�D�]2}x,t�jdd ��|D����D�]}|�d�|���qFW�q,W�qW�|S�) N�b�r�u�f�br�fr��c�������������S���s���g�|�]}||����f�qS�r'���)�upper)�.0�cr'���r'���r(���� <listcomp>����s����z(_all_string_prefixes.<locals>.<listcomp>)� _itertools�permutations�product�addr2���)�_valid_string_prefixes�result�prefix�tr;���r'���r'���r(����_all_string_prefixes����s���� rL���c�������������C���s���t��|�t�j�S�)N)�re�compile�UNICODE)�exprr'���r'���r(����_compile����s����rQ���z[^'\\]*(?:\\.[^'\\]*)*'z[^"\\]*(?:\\.[^"\\]*)*"z%[^'\\]*(?:(?:\\.|'(?!''))[^'\\]*)*'''z%[^"\\]*(?:(?:\\.|"(?!""))[^"\\]*)*"""z'''z"""z'[^\n'\\]*(?:\\.[^\n'\\]*)*'z"[^\n"\\]*(?:\\.[^\n"\\]*)*"z\*\*=?z>>=?z<<=?z!=z//=?z->z[+\-*/%&@|^=<>]=?r���z[][(){}]z\r?\nz\.\.\.z[:;.,@]z'[^\n'\\]*(?:\\.[^\n'\\]*)*�'z"[^\n"\\]*(?:\\.[^\n"\\]*)*�"z \\\r?\n|\Z����c���������������@���s���e�Zd�ZdS�)� TokenErrorN)r.���r/���r0���r'���r'���r'���r(���rU�������s����rU���c���������������@���s���e�Zd�ZdS�)�StopTokenizingN)r.���r/���r0���r'���r'���r'���r(���rV�������s����rV���c���������������@���s,���e�Zd�Zdd��Zdd��Zdd��Zdd��Zd S�) �Untokenizerc�������������C���s���g�|�_�d|�_d|�_d�|�_d�S�)N����r���)�tokens�prev_row�prev_col�encoding)r%���r'���r'���r(����__init__����s����zUntokenizer.__init__c�������������C���s����|\}}||�j�k�s&||�j�kr>||�jk�r>td�|||�j�|�j���||�j��}|rb|�j�d|���d|�_||�j�}|r�|�j�d|���d�S�)Nz+start ({},{}) precedes previous end ({},{})z\ r���� )rZ���r[���� ValueError�formatrY����append)r%����start�row�col� row_offset� col_offsetr'���r'���r(����add_whitespace����s���� zUntokenizer.add_whitespacec�������������C���s4��t�|�}g�}d}�x|D��] }t|�dkr8|��||��P�|\}}}} } |tkrV||�_q|tkr`P�|tkrv|�|��qnl|tkr�|� ���| \|�_ |�_qnL|tt fkr�d}n:|r�|r�|d�}|d�t|�kr�|�j�|��t|�|�_d}|��|��|�j�|��| \|�_ |�_|tt fkr|��j d7��_ d|�_qW�d�|�j�S�)NF����T���rX���r���r?���)�iter�len�compat�ENCODINGr\���� ENDMARKER�INDENTra����DEDENT�poprZ���r[����NEWLINE�NLrY���rg���r2���)r%����iterable�it�indents� startlinerK����tok_type�tokenrb����end�line�indentr'���r'���r(���r �������sF���� zUntokenizer.untokenizec������� ������C���s����g�}|�j�j}|d�ttfk}d}x�t|g|�D�]�}|d�d��\}} |tkrR| |�_q.|ttfkrf| d7�} |t kr�|rzd| �} d}nd}|t kr�|�| ��q.n>|tkr�|����q.n*|ttfkr�d}n|r�|r�||d���d}|| ��q.W�d�S�)Nr���Frh���r^���Tri���) rY���ra���rr���rs���r���rm���r\����NAME�NUMBER�STRINGro���rp���rq���) r%���ry���rt���rv����toks_appendrw���� prevstring�tok�toknum�tokvalr'���r'���r(���rl�����s8���� zUntokenizer.compatN)r.���r/���r0���r]���rg���r ���rl���r'���r'���r'���r(���rW�������s��� %rW���c�������������C���s*���t���}|�|��}|jd�k r&|�|j�}|S�)N)rW���r ���r\����encode)rt����ut�outr'���r'���r(���r ���8��s ���� c�������������C���sH���|�d�d�������dd�}|dks*|�d�r.dS�|dks@|�d�rDdS�|�S�) N�����_r���zutf-8zutf-8-)zlatin-1z iso-8859-1ziso-latin-1)zlatin-1-ziso-8859-1-ziso-latin-1-z iso-8859-1)�lower�replace� startswith)�orig_enc�encr'���r'���r(����_get_normal_nameS��s���� r����c����������������s����y�j�j�W�n�tk r$���d��Y�nX�d��d�}d}�fdd�}���fdd�}|��}|�t�rpd��|dd���}d }|s||g�fS�||�}|r�||gfS�t�|�s�||gfS�|��}|s�||gfS�||�}|r�|||gfS�|||gfS�) NFzutf-8c������������������s ���y����S��t�k r���dS�X�d�S�)Nr5���)� StopIterationr'���)�readliner'���r(����read_or_stopv��s����z%detect_encoding.<locals>.read_or_stopc����������������s����y|���d�}W�n4�tk rB���d}�d�k r6d�|��}t|��Y�nX�t�|�}|sVd�S�t|�d��}yt|�}W�n:�t k r�����d�kr�d|�}nd��|�}t|��Y�nX���r�|dkr؈d�kr�d}n d���}t|��|d 7�}|S�) Nzutf-8z'invalid or missing encoding declarationz{} for {!r}rX���zunknown encoding: zunknown encoding for {!r}: {}zencoding problem: utf-8z encoding problem for {!r}: utf-8z-sig) �decode�UnicodeDecodeErrorr`����SyntaxError� cookie_re�matchr����r4���r����LookupError)r{����line_string�msgr����r\����codec)� bom_found�filenamer'���r(����find_cookie|��s6���� z$detect_encoding.<locals>.find_cookieT����z utf-8-sig)�__self__�name�AttributeErrorr����r����blank_rer����)r����r\����defaultr����r�����first�secondr'���)r����r����r����r(���r ���^��s8���� & c�������������C���sV���t�|�d�}y0t|j�\}}|�d��t||dd�}d|_|S����|������Y�nX�d�S�)N�rbr���T)�line_bufferingr:���)� _builtin_openr ���r�����seekr����mode�close)r�����bufferr\����lines�textr'���r'���r(���r������s���� r���c�������������C���sB���ddl�m}m}�t|��\}}t|�d�}|d�}t||||�j|�S�)Nr���)r����repeatr5���)� itertoolsr���r����r ���rj���� _tokenize�__next__)r����r���r����r\����consumed�rl_gen�emptyr'���r'���r(���r������s ���� c�������������c���s���d�}�}}d}d\}}d�}dg} |d�k rH|dkr6d}t�t|ddd�V��d} d}�x�y|} |���}W�n�tk rz���d}Y�nX�|d�k r�|�|�}|d 7�}dt|��}} |�rt|s�td |��|�|�}|�r |�d��}}t�t||d�|���|||f||��V��d\}}d�}nf|�r^|dd���dk�r^|d d���dk�r^t�t ||�||t|�f|�V��d}d�}qTn||�}||�}qT�n�|dk�r|�s|�s�P�d}xf|| k��r�||�dk�r�|d 7�}n6||�dk�r�|t �d �t �}n||�dk�r�d}nP�|d 7�}�q�W�|| k�rP�||�dk�r�||�dk�r`||d����d�}t�t|||f||t|��f|�V��|t|�7�}t�t ||d���||f|t|�f|�V��qT|| d�k�r�| �|��t�t|d�|��|df||f|�V��xp|| d�k��r|| k�r�tdd|||f��| d�d��} t�td||f||f|�V���q�W�n|�s0td|df��d}�x�|| k��r�tt��||�}|�r�|�d �\}}||f||f|��}}}||k�r��q8|||��||��}}||k�s�|dk�r�|dk�r�|dk�r�t�t||||�V���q�|dk�r|dk�rt�t ||||�V��nt�t||||�V���q�|dk�r>t�t||||�V���q�|tk�r�tt|��}|�||�}|�r�|�d�}|||��}t�t||||f|�V��n||f}||d���}|}P��q�|tk�s�|d�d��tk�s�|d�d��tk�rR|d�dk�r>||f}tt�|��p t�|d ���p t�|d���}||d���d �}}|}P�nt�t||||�V��nf|����rpt�t||||�V��nH|dk�r�d }n8|dk�r�|d 7�}n|d k�r�|d 8�}t�t||||�V��n*t�t ||�||f||d �f|�V��|d 7�}�q8W�qTW�| �r0| d�dk�r0t�td|d �t| �f|d �t| �d �fd�V��x0| d d���D�] }t�td|df|dfd�V���q>W�t�td|df|dfd�V��d�S�)!Nr���� 0123456789)r?���r���z utf-8-sigzutf-8)r���r���r?���r5���rX���zEOF in multi-line string���z\ ���z\ r^���� �z# �#z ri���z3unindent does not match any outer indentation levelz <tokenize>zEOF in multi-line statementr���z...rh���r����� �\z([{z)]})r���rm���r����r����rk���rU���r����rz���r���� ERRORTOKEN�tabsize�rstrip�COMMENTrs���ra���ro����IndentationErrorrp���rQ����PseudoToken�spanr~���rr���� triple_quoted�endpats� single_quoted�get�isidentifierr}���r*���rn���)r����r\����lnum�parenlev� continued�numchars�contstr�needcont�contlinerv���� last_liner{����pos�max�strstart�endprog�endmatchrz����column� comment_token�pseudomatchrb����spos�eposry����initialr|���r'���r'���r(���r�������s��� * � " " . r����c�������������C���s ���t�|�d��S�)N)r����)r����r'���r'���r(����generate_tokens���s����r����c�������� ��� ������s(��dd�l�}�dd����d��fdd� }|�jdd�}|jdd d dd��|jd ddddd��|���}y�|jr�|j}t|d��}tt|j��}W�d�Q�R�X�nd}t t jjd��}xF|D�]>}|j}|j r�|j}d|j|j��} td| t|�|jf���q�W�W��n8�tk �r:�} �z0| jd�dd��\}}|| jd�|||f��W�d�d�} ~ X�Y�n��tk �r��} �z(| jd�\}}|| jd�|||f��W�d�d�} ~ X�Y�n��tk �r��} �z|| |��W�d�d�} ~ X�Y�nx�tk �r��} �z|| ��W�d�d�} ~ X�Y�nN�tk �r����td��Y�n2�tk �r"�} �z��d| �����W�d�d�} ~ X�Y�nX�d�S�)Nr���c�������������S���s���t�|�tjd��d�S�)N)�file)�print�sys�stderr)�messager'���r'���r(����perror���s����zmain.<locals>.perrorc����������������sR���|r"|f|�|�f�}��d|���n"|r8��d||�f���n��d|����t��d��d�S�)Nz%s:%d:%d: error: %sz %s: error: %sz error: %srX���)r�����exit)r����r�����location�args)r����r'���r(����error���s����zmain.<locals>.errorzpython -m tokenize)�progr����r7���zfilename.pyz'the file to tokenize; defaults to stdin)�dest�nargs�metavar�helpz-ez--exact�exact� store_truez(display token names using the exact type)r�����actionr����r����z<stdin>z%d,%d-%d,%d:z%-20s%-15s%-15rrX���r����zinterrupted zunexpected error: %s)NN)�argparse�ArgumentParser�add_argument� parse_argsr����r�����listr���r����r����r�����stdinr"���r����r-���rb���rz���r����r#���r+���r����r����rU���r�����OSError�KeyboardInterrupt� Exception) r����r�����parserr����r����r<���rY���ry���� token_type�token_range�errr{���r����r'���)r����r(����main���sN���� &&r�����__main__)�� __author__�__credits__�builtinsr���r�����codecsr���r����collections�ior���r����r���rD���rM���r����ry���rN����ASCIIr����r�����__all__�LPAR�RPAR�LSQB�RSQB�COLON�COMMA�SEMI�PLUS�MINUS�STAR�SLASH�VBAR�AMPER�LESS�GREATER�EQUAL�DOT�PERCENT�LBRACE�RBRACE�EQEQUAL�NOTEQUAL� LESSEQUAL�GREATEREQUAL�TILDE� CIRCUMFLEX� LEFTSHIFT� RIGHTSHIFT� DOUBLESTAR� PLUSEQUAL�MINEQUAL� STAREQUAL� SLASHEQUAL�PERCENTEQUAL� AMPEREQUAL� VBAREQUAL�CIRCUMFLEXEQUAL�LEFTSHIFTEQUAL�RIGHTSHIFTEQUAL�DOUBLESTAREQUAL�DOUBLESLASH�DOUBLESLASHEQUAL�ELLIPSIS�RARROW�AT�ATEQUALr,���� namedtupler���r4���r6���r8���� Whitespace�Comment�Ignore�Name� Hexnumber� Binnumber� Octnumber� Decnumber� Intnumber�Exponent� Pointfloat�Expfloat�Floatnumber� Imagnumber�NumberrL���rQ����StringPrefix�Single�Double�Single3�Double3�Triple�String�Operator�Bracket�Special�Funny� PlainToken�Token�ContStr�PseudoExtrasr����r�����_prefix�setr����r����rK���r;���rG���r����r����rU���rV���rW���r ���r����r ���r���r����r����r����r.���r'���r'���r'���r(����<module>���s�� _]�:<