UnicodeDecodeError ao ler o arquivo CSV em Pandas com Python

| | | | | | | | | | | | | |

Estou executando um programa que está processando 30.000 arquivos semelhantes. Um número aleatório deles está parando e produzindo este erro...

Arquivo "C:Importersrcdfmanimporter.py", linha 26, em import_chr data = pd.read_csv(filepath, names=fields) Arquivo "C:Python33libsite-packagespandasioparsers.py", linha 400, em parser_f return _read(filepath_or_buffer, kwds) Arquivo "C:Python33libsite-packagespandasioparsers. py", linha 205, em _read return parser.read() Arquivo "C:Python33libsite-packagespandasioparsers.py", linha 608, em read ret = self._engine.read(nrows) File "C:Python33libsite-packagespandasioparsers. py", linha 1028, em dados lidos = self._reader.read(nrows) Arquivo "parser.pyx", linha 706, em pandas.parser.TextReader.read (pandasparser.c:6745) Arquivo "parser.pyx" ;, linha 728, em pandas.parser.TextReader._read_low_memory (pandasparser.c:6964) Arquivo "parser.pyx", linha 804, em pandas.parser.TextReader._read_rows (pandasp arser.c:7780) Arquivo "parser.pyx", linha 890, em pandas.parser.TextReader._convert_column_data (pandasparser.c:8793) Arquivo "parser.pyx", linha 950, em pandas.parser.TextReader. _convert_tokens (pandasparser.c:9484) Arquivo "parser.pyx", linha 1026, em pandas.parser.TextReader._convert_with_dtype (pandasparser.c:10642) Arquivo "parser.pyx", linha 1046, em pandas.parser. TextReader._string_convert (pandasparser.c:10853) Arquivo "parser.pyx", linha 1278, em pandas.parser._string_box_utf8 (pandasparser.c:15657) UnicodeDecodeError: codec "utf-8" não pode decodificar byte 0xda na posição 6: byte de continuação inválido 

A fonte/criação desses arquivos vem todos do mesmo lugar. Qual é a melhor maneira de corrigir isso para prosseguir com a importação?