Edit File: tokenize.cpython-38.opt-2.pyc
U ����@��d�d����������������������@���sD��d�Z�dZddlmZ�ddlmZmZ�ddlZddl m Z �ddlZddl Z ddlZddlT�ddlmZ�e �d e j�Ze �d e j�ZddlZejddd ddg�Z[G�dd��de�dd��Zdd��Zdd��Zdd��ZdZdZeede���ee��ZdZdZdZ dZ!dZ"eee e!e"�Z#d Z$ed!d"�ee$��Z%d#e$�Z&ee%e&�Z'ed$e'd%��Z(ee(e'e#�Z)d&d'��Z*d(d)��Z+ee*����Z,d*Z-d+Z.d,Z/d-Z0ee,d.�e,d/��Z1ee,d0�e,d1��Z2ee3e j4e5ed2d3����Z6ed4e6�Z7ee)e7e2e�Z8ee8�Z9ee,d5�ed6d��e,d7�ed8d���Z:ed9ee1�Z;eee;e)e7e:e��Z<i�Z=e*��D�]6Z>e-e=e>d6�<�e.e=e>d8�<�e/e=e>d.�<�e0e=e>d/�<��q(e?��Z@e?��ZAe*��D�]JZBeBd8�eBd6�fD�]ZCe@�DeC���q�eBd/�eBd.�fD�]ZCeA�DeC���q��qrd:ZEG�d;d<��d<eF�ZGG�d=d>��d>eF�ZHG�d?d@��d@�ZIdAd��ZJdBdC��ZKdDd ��ZLdEdF��ZdGd��ZMdHdI��ZNdJd��ZOdKdL��ZPeQdMk�r@eP���dS�)NzKa-Ping Yee <ping@lfw.org>zpGvR, ESR, Tim Peters, Thomas Wouters, Fred Drake, Skip Montanaro, Raymond Hettinger, Trent Nelson, Michael Foord�����)�open)�lookup�BOM_UTF8N)� TextIOWrapper)�*)�EXACT_TOKEN_TYPESz&^[ \t\f]*#.*?coding[:=][ \t]*([-\w.]+)s���^[ \t\f]*(?:[#\r\n]|$)�tokenize�generate_tokens�detect_encoding� untokenize� TokenInfoc�������������������@���s ���e�Zd�Zdd��Zedd���ZdS�)r���c�����������������C���s$���d|�j�t|�j��f�}d|�j|d��S�)Nz%d (%s)z8TokenInfo(type=%s, string=%r, start=%r, end=%r, line=%r))�type)r ����tok_name�_replace)�self�annotated_type��r����-/opt/alt/python38/lib64/python3.8/tokenize.py�__repr__.���s���� �zTokenInfo.__repr__c�����������������C���s(���|�j�tkr|�jtkrt|�j�S�|�j�S�d�S��N)r ����OP�stringr����r���r���r���r���� exact_type3���s���� zTokenInfo.exact_typeN)�__name__� __module__�__qualname__r����propertyr���r���r���r���r���r���-���s���ztype string start end linec������������������G���s���dd��|���d�S�)N�(�|�))�join��choicesr���r���r����group:��������r$���c������������������G���s���t�|���d�S�)Nr����r$���r"���r���r���r����any;���r%���r'���c������������������G���s���t�|���d�S�)N�?r&���r"���r���r���r����maybe<���r%���r)���z[ \f\t]*z #[^\r\n]*z\\\r?\nz\w+z0[xX](?:_?[0-9a-fA-F])+z0[bB](?:_?[01])+z0[oO](?:_?[0-7])+z(?:0(?:_?0)*|[1-9](?:_?[0-9])*)z[eE][-+]?[0-9](?:_?[0-9])*z)[0-9](?:_?[0-9])*\.(?:[0-9](?:_?[0-9])*)?z\.[0-9](?:_?[0-9])*z[0-9](?:_?[0-9])*z[0-9](?:_?[0-9])*[jJ]z[jJ]c������������������C���s^���ddddddg}�dh}|�D�]>}t��|�D�].}t�jdd ��|D����D�]}|�d�|���q@q(q|S�) N�b�r�u�f�br�fr��c�����������������S���s���g�|�]}||����f�qS�r���)�upper)�.0�cr���r���r���� <listcomp>^���s�����z(_all_string_prefixes.<locals>.<listcomp>)� _itertools�permutations�product�addr!���)�_valid_string_prefixes�result�prefix�tr,���r���r���r����_all_string_prefixesS���s����r=���c�����������������C���s���t��|�t�j�S�r���)�re�compile�UNICODE)�exprr���r���r����_compileb���s����rB���z[^'\\]*(?:\\.[^'\\]*)*'z[^"\\]*(?:\\.[^"\\]*)*"z%[^'\\]*(?:(?:\\.|'(?!''))[^'\\]*)*'''z%[^"\\]*(?:(?:\\.|"(?!""))[^"\\]*)*"""z'''z"""z'[^\n'\\]*(?:\\.[^\n'\\]*)*'z"[^\n"\\]*(?:\\.[^\n"\\]*)*"T)�reversez\r?\nz'[^\n'\\]*(?:\\.[^\n'\\]*)*�'z"[^\n"\\]*(?:\\.[^\n"\\]*)*�"z \\\r?\n|\Z����c�������������������@���s���e�Zd�ZdS�)� TokenErrorN�r���r���r���r���r���r���r���rG�������s����rG���c�������������������@���s���e�Zd�ZdS�)�StopTokenizingNrH���r���r���r���r���rI�������s����rI���c�������������������@���s,���e�Zd�Zdd��Zdd��Zdd��Zdd��Zd S�) �Untokenizerc�����������������C���s���g�|�_�d|�_d|�_d�|�_d�S�)N����r���)�tokens�prev_row�prev_col�encodingr���r���r���r����__init__����s����zUntokenizer.__init__c�����������������C���s����|\}}||�j�k�s&||�j�kr>||�jk�r>td�|||�j�|�j���||�j��}|rb|�j�d|���d|�_||�j�}|r�|�j�d|���d�S�)Nz+start ({},{}) precedes previous end ({},{})�\ r���� )rM���rN���� ValueError�formatrL����append)r����start�row�col� row_offset� col_offsetr���r���r����add_whitespace����s�������� zUntokenizer.add_whitespacec�����������������C���s6��t�|�}g�}d}|D��]}t|�dkr8|��||����q*|\}}}} } |tkrV||�_q|tkrd��q*|tkrz|�|��qnl|tkr�|� ���| \|�_ |�_qnL|tt fkr�d}n:|r�|r�|d�}|d�t|�kr�|�j�|��t|�|�_d}|��|��|�j�|��| \|�_ |�_|tt fkr|��j d7��_ d|�_qd�|�j�S�)NF����T���rK���r���r0���)�iter�len�compat�ENCODINGrO���� ENDMARKER�INDENTrU����DEDENT�poprM���rN����NEWLINE�NLrL���r[���r!���)r����iterable�it�indents� startliner<����tok_type�tokenrV����end�line�indentr���r���r���r�������sF���� zUntokenizer.untokenizec����������� ������C���s����g�}|�j�j}|d�ttfk}d}t�|g|�D�]�}|d�d��\}} |tkrR| |�_q.|tt fkrf| d7�} |t kr�|rzd| �} d}nd}|tkr�|�| ��q.n>|tkr�|� ���q.n*|ttfkr�d}n|r�|r�||d���d}|| ��q.d�S�)Nr���Fr\���rR���Tr]���)rL���rU���rf���rg���r5����chainra���rO����NAME�NUMBER�STRINGrc���rd���re���) r���rm���rh���rj����toks_appendrk���� prevstring�tok�toknum�tokvalr���r���r���r`�������s8���� zUntokenizer.compatN)r���r���r���rP���r[���r���r`���r���r���r���r���rJ�������s��� %rJ���c�����������������C���s*���t���}|�|��}|jd�k r&|�|j�}|S�r���)rJ���r���rO����encode)rh����ut�outr���r���r���r�����s ���� c�����������������C���sH���|�d�d�������dd�}|dks*|�d�r.dS�|dks@|�d�rDdS�|�S�) N�����_�-�utf-8zutf-8-)zlatin-1� iso-8859-1ziso-latin-1)zlatin-1-ziso-8859-1-ziso-latin-1-r����)�lower�replace� startswith)�orig_enc�encr���r���r����_get_normal_name��s�����r����c��������������������s����z�j�j�W�n�tk r$���d��Y�nX�d��d�}d}�fdd�}���fdd�}|��}|�t�rpd��|dd���}d }|s||g�fS�||�}|r�||gfS�t�|�s�||gfS�|��}|s�||gfS�||�}|r�|||gfS�|||gfS�) NFr����c����������������������s$���z����W�S��t�k r���Y�dS�X�d�S��Nr%���)� StopIterationr�����readliner���r����read_or_stop?��s����z%detect_encoding.<locals>.read_or_stopc��������������������s����z|���d�}W�n4�tk rB���d}�d�k r6d�|��}t|��Y�nX�t�|�}|sVd�S�t|�d��}zt|�}W�n:�t k r�����d�kr�d|�}nd��|�}t|��Y�nX���r�|dkr؈d�kr�d}n d���}t|��|d 7�}|S�) Nr����z'invalid or missing encoding declarationz{} for {!r}rK���zunknown encoding: zunknown encoding for {!r}: {}zencoding problem: utf-8z encoding problem for {!r}: utf-8z-sig) �decode�UnicodeDecodeErrorrT����SyntaxError� cookie_re�matchr����r$���r����LookupError)ro����line_string�msgr����rO����codec)� bom_found�filenamer���r����find_cookieE��s8���� � z$detect_encoding.<locals>.find_cookieT����� utf-8-sig)�__self__�name�AttributeErrorr����r����blank_rer����)r����rO����defaultr����r�����first�secondr���)r����r����r����r���r ���'��s8���� & c�����������������C���sX���t�|�d�}z2t|j�\}}|�d��t||dd�}d|_|W�S����|������Y�nX�d�S�)N�rbr���T)�line_bufferingr+���)� _builtin_openr ���r�����seekr����mode�close)r�����bufferrO����lines�textr���r���r���r������s���� r���c�����������������C���s6���t�|��\}}t�d�}t�|t|�d�|�}t|j|�S�r����)r ���r5����repeatrq���r^���� _tokenize�__next__)r����rO����consumed�empty�rl_genr���r���r���r������s���� c�����������������c���sl��d�}�}}d}d\}}d�}dg} |d�k rH|dkr6d}t�t|ddd�V��d} d}z|} |���}W�n�tk rv���d}Y�nX�|d�k r�|�|�}|d 7�}dt|��}} |�rp|s�td |��|�|�}|�r|�d��}}t�t||d�|���|||f||��V��d\}}d�}nf|�rZ|dd���dk�rZ|d d���dk�rZt�t ||�||t|�f|�V��d}d�}qPn||�}||�}qP�n�|dk�r|�s|�s��q�d}|| k��r�||�dk�r�|d 7�}n8||�dk�r�|t �d �t �}n||�dk�r�d}n�q�|d 7�}�q�|| k�r�q�||�dk�r�||�dk�r^||d����d�}t�t|||f||t|��f|�V��|t|�7�}t�t ||d���||f|t|�f|�V��qP|| d�k�r�| �|��t�t|d�|��|df||f|�V��|| d�k��r.|| k�r�tdd|||f��| d�d��} t�td||f||f|�V���q�n|�s*td|df��d}|| k�rPtt��||�}|�r�|�d �\}}||f||f|��}}}||k�r��q.|||��||��}}||k�s�|dk�r�|dk�r�|dk�r�t�t||||�V���q�|dk�r|dk�r�t�t ||||�V��nt�t||||�V���q�|dk�r2t�t||||�V���q�|tk�r�tt|��}|�||�}|�r�|�d�}|||��}t�t||||f|�V��n||f}||d���}|}qP�q�|tk�s�|d�d��tk�s�|d�d��tk�rF|d�dk�r2||f}tt�|��pt�|d ���pt�|d���}||d���d �}}|}qPnt�t||||�V��nf|����rdt�t||||�V��nH|dk�rtd }n8|dk�r�|d 7�}n|d k�r�|d 8�}t�t||||�V��n*t�t ||�||f||d �f|�V��|d 7�}�q.qP| �r | d�dk�r t�td|d �t| �f|d �t| �d �fd�V��| d d���D�] }t�td|df|dfd�V���q,t�td|df|dfd�V��d�S�)!Nr���� 0123456789)r0���r���r����r����)r���r���r0���r%���rK���zEOF in multi-line string���rQ������z\ rR���� �z# �#z r]���z3unindent does not match any outer indentation levelz <tokenize>zEOF in multi-line statement�.z...r\���r����� �\z([{z)]})r���ra���r����r����r_���rG���r����rn���rt���� ERRORTOKEN�tabsize�rstrip�COMMENTrg���rU���rc����IndentationErrorrd���rB����PseudoToken�spanrs���rf���� triple_quoted�endpats� single_quoted�get�isidentifierrr���r���rb���)r����rO����lnum�parenlev� continued�numchars�contstr�needcont�contlinerj���� last_linero����pos�max�strstart�endprog�endmatchrn����column� comment_token�pseudomatchrV����spos�eposrm����initialrp���r���r���r���r�������s<��� ���* � ��� ���� �� " � ��� ���� � ��.r����c�����������������C���s ���t�|�d��S�r���)r����r����r���r���r���r ���d��s����c������������ ��� ������s$��dd�l�}�dd����d��fdd� }|�jdd�}|jdd d dd��|jd ddddd��|���}z�|jr�|j}t|d��}tt|j��}W�5�Q�R�X�nd}t t jjd��}|D�]>}|j}|j r�|j}d|j|j��} td| t|�|jf���q�W��n8�tk �r6�} �z0| jd�dd��\}}|| jd�|||f��W�5�d�} ~ X�Y�n��tk �r|�} �z(| jd�\}}|| jd�|||f��W�5�d�} ~ X�Y�n��tk �r��} �z|| |��W�5�d�} ~ X�Y�nx�tk �r��} �z|| ��W�5�d�} ~ X�Y�nN�tk �r����td��Y�n2�tk �r�} �z��d| �����W�5�d�} ~ X�Y�nX�d�S�)Nr���c�����������������S���s���t�j�|���t�j�d��d�S�)Nr����)�sys�stderr�write)�messager���r���r����perrorp��s����zmain.<locals>.perrorc��������������������sR���|r"|f|�|�f�}��d|���n"|r8��d||�f���n��d|����t��d��d�S�)Nz%s:%d:%d: error: %sz %s: error: %sz error: %srK���)r�����exit)r����r�����location�args�r����r���r����errort��s����zmain.<locals>.errorzpython -m tokenize)�progr����r(���zfilename.pyz'the file to tokenize; defaults to stdin)�dest�nargs�metavar�helpz-ez--exact�exact� store_truez(display token names using the exact type)r�����actionr����r����z<stdin>z%d,%d-%d,%d:z%-20s%-15s%-15rrK���r����zinterrupted zunexpected error: %s)NN)�argparse�ArgumentParser�add_argument� parse_argsr����r�����listr���r����r����r�����stdinr ���r����r���rV���rn����printr���r���r����r����rG���r�����OSError�KeyboardInterrupt� Exception) r����r�����parserr����r����r-���rL���rm���� token_type�token_range�errro���r����r���r����r����mainl��sT�������&&r�����__main__)R� __author__�__credits__�builtinsr���r�����codecsr���r����collections�ior���� itertoolsr5���r>���r����rm���r���r?����ASCIIr����r�����__all__� namedtupler���r$���r'���r)���� Whitespace�Comment�Ignore�Name� Hexnumber� Binnumber� Octnumber� Decnumber� Intnumber�Exponent� Pointfloat�Expfloat�Floatnumber� Imagnumber�Numberr=���rB����StringPrefix�Single�Double�Single3�Double3�Triple�String�map�escape�sorted�Special�Funny� PlainToken�Token�ContStr�PseudoExtrasr����r�����_prefix�setr����r����r<���r,���r8���r����r����rG���rI���rJ���r���r����r ���r���r����r ���r����r���r���r���r���r����<module>���s���� �� �� � ��� _]�8=