実行環境
- MacBook Air (11-inch, Early 2015)
- macOS バージョン 11.6（20G165）
- Python 3.8.8（64-bit）
エラー発生の経緯
Pythonのpandasライブラリを使ってCSVファイルを読み込み、
条件抽出を行おうとした際に、以下のエラーが発生しました。
ParserError: Error tokenizing data. C error: Expected 1 fields in line 8, saw 2
このエラーが出たため、正しくデータを読み込めずに処理が止まってしまいました。
実際に実行したコマンド
diff = pd.read_csv(diff_files[0], encoding='shift-jis', header=None, dtype=object)
ここで、エラーが発生しました。
エラーの原因
調べたところ、このエラーは、
- CSVファイル内のカラム数（列数）が、各行で揃っていない
ことが原因で発生するものでした。
具体的には、ファイルの冒頭行では1列しか存在していないと認識されているのに、
8行目で突然2列のデータが出現したため、整合性が取れずエラーが発生したという状況です。
対処方法
CSVファイルの列数が一定でない場合、pandasのread_csv()関数で
あらかじめカラム名（列名）を定義することで対応できると分かりました。
そこで、以下のようにカラム名を自動生成しました。
col_names = ['c{0:02d}'.format(i) for i in range(18)] # ※18は列数です
これで、c00, c01, …, c17 という18個のカラム名が自動生成されます。
次に、read_csv()を次のように修正しました。
diff = pd.read_csv(diff_files[0], names=col_names, encoding='shift-jis', header=None, dtype=object)ここで、
names=col_namesを指定することで、ファイルの列構成に合わせるheader=Noneを指定することで、ファイル冒頭行をデータ行として読み込む
設定にしています。
これで、エラーが発生せず無事にデータを読み込むことができました。
結果
無事、エラーが消えました！
本当に嬉しかったです。
まとめ｜ParserError対策は「カラム数の整合性を保つ」こと
今回の経験から分かったことは、
- CSVファイル内の列数は、常に整合性を保つことが大事
- カラム数が不揃いな場合は、
namesオプションでカラム名を指定する
という基本的な注意点です。
特に、データの整形前や外部データを取り込む際は、
事前に列数の確認やファイル内容のチェックを怠らないことが大切だと実感しました。
今後もpandasを使う際には、ファイル構造に注意しながら処理を進めたいと思います。
スクールの紹介
ここまで読んでいただきありがとうございました。
最後に宣伝をさせてください。
技術で未来を切り拓く―あなたの夢を現実にするプログラミングスクール
Webデザインやプログラミングで成功を目指している方々にとって、このオンラインスクールは夢を叶えるための最適な場所です。皆さんのキャリアを次の段階へと引き上げるためにデザインされたこのスクールは、一人ひとりの成功を心から願い、それを実現するための全てを提供しています。ここでは、このスクールの魅力について詳しくご紹介します。
◆圧倒的な費用対効果
このオンラインプログラミングスクールは、Web系教育において最高の費用対効果を提供しています。多くの高額スクールが存在する中で、ここではリーズナブルな価格で、質の高い教材、無限のサポート、そして実際に市場で求められるスキルの習得機会を提供しています。
◆現役フリーランスの講師陣
講師たちは全員、現役のフリーランスプロフェッショナルです。市場で活躍している講師から直接、最新のトレンドや実践的なスキルを学べるのは、このスクールの大きな特徴です。
◆柔軟な学習コース
固定のコースがなく、学習者の興味やニーズに応じて自由に学習できます。進路変更も自由で、最低契約期間は1ヶ月という柔軟性を持っています。自分のペースで、自分に合った学習が可能です。
◆無制限の添削とサポート
理解できるまで、そして満足するまで、無制限に添削と質問への回答を提供しています。進路相談や技術面以外の相談にも対応しており、全面的にサポートします。
◆社長から学べる貴重な機会
デザイナー、プログラマー、ディレクター、マーケターとして豊富な経験を持つ社長から直接学べるのも、このスクールの特別な点です。他のスクールでは得られない、貴重な機会です。
◆実績作りへの徹底的なサポート
就職、転職、フリーランスとして成功するためには、高品質な実績が必要です。生徒の作品レベルを最大限に高め、市場で求められる実績を作り上げることに力を入れています。案件を取得できない生徒には、直接案件を提供することもあります。
◆メッセージからの約束
高額な授業料を支払わせて結果を出せないスクールとは違い、物理的なサポートは提供できないかもしれませんが、継続的な努力を通じて最高の結果を出せるようにサポートします。一緒に不正なスクールを撲滅し、あなたの夢を実現しましょう。
このプログラミングスクールは、Webデザインやプログラミングでの成功を目指す方々に必要な全てを備えています。今こそ、このコミュニティに参加し、あなたのキャリアを加速させる時です。
詳しくはこちら↓
