PythonでCSVファイルなどの外部データを読み込む際、次のようなエラーが表示されることがあります。
UnicodeDecodeError: 'utf-8' codec can't decode byte 0x91 in position 1: invalid start byte
このエラーは、日本語を含むファイルを扱う場面でよく発生します。
本記事ではこのエラーの意味と、その解決方法について解説いたします。
エラーの意味:「utf-8」で読めないバイト列が含まれている
このエラーは、utf-8 という文字コード(エンコーディング)でファイルを開こうとした際に、その文字コードでは解釈できないバイト(文字のかけら)が含まれていた場合に発生します。
byte 0x91 in position 1
→ ファイルの2文字目あたりにある「0x91」というバイト値が、UTF-8では無効だと判断された、という意味です。
原因:ファイルが UTF-8 ではなく Shift_JIS や CP932 で保存されていた
特に日本語が含まれるCSVファイルは、Windows環境では標準でShift_JIS(またはCP932)で保存されていることが多いです。
このファイルをUTF-8として読み込もうとすると、先述のようなUnicodeDecodeErrorが発生します。
解決方法:encoding=’shift_jis’ を指定する
pandasなどでCSVファイルを読み込む場合、read_csv() の引数に encoding='shift_jis' を追加することで、正しく読み込めるようになります。
【修正済みのコード例】
import pandas as pd
csv_file_path = 'sample.csv'
df = pd.read_csv(csv_file_path, encoding='shift_jis')
print(df)
これで、UTF-8で読めなかった文字列も正常に読み込むことができます。
その他のエンコーディング指定候補
場合によっては、shift_jis 以外のエンコーディングが使われていることもあります。以下を試してみてください。
| エンコーディング | 用途例 |
|---|---|
cp932 | Shift_JISのWindows拡張版(日本のPCで一般的) |
utf-8-sig | Excel出力のUTF-8ファイルなどで使用されることがある |
euc_jp | 古いUNIX系システムで利用されていた日本語エンコーディング |
エンコーディングの自動判別ツールも便利
エンコーディングが分からない場合は、以下のようなライブラリを使って自動判別させる方法もあります。
chardet(例)
import chardet
with open('sample.csv', 'rb') as f:
result = chardet.detect(f.read())
print(result['encoding'])
自動判定された文字コードを元に read_csv() の encoding= に指定すれば、より柔軟に対応できます。
まとめ
「UnicodeDecodeError: 'utf-8' codec can't decode byte」は、ファイルのエンコーディングと読み込み側のエンコーディングが一致しないことで起こります。
対処のポイント
必要に応じて chardet ライブラリで自動判別も可能
WindowsのCSVファイルは多くの場合 Shift_JIS(cp932)で保存されている
副業から独立まで「稼げる」Webスキルを習得する(PR)
ここまで読んでいただきありがとうございます。 最後に宣伝をさせてください。
「副業を始めたいが、何から手をつければいいかわからない」「独学でスキルはついたが、収益化できていない」という悩みを持つ方には、マンツーマン指導のWebスクール**「メイカラ」**が適しています。
このスクールは、単に技術を教えるだけでなく、**「副業として具体的にどう稼ぐか」**という実務直結のノウハウ提供に特化している点が特徴です。
講師陣は、実際に「副業Webライターから1年で独立して月収100万円」を達成したプロや、現役で利益を出し続けているブロガーなど、確かな実績を持つプレイヤーのみで構成されています。そのため、机上の空論ではない、現場で通用する戦術を学ぶことができます。
副業に特化した強み
- 最短ルートの提示: 未経験からでも実績を出せるよう、マンツーマンで指導。
- AI活用の習得: 副業の時間対効果を最大化するための、正しいAI活用スキルも網羅。
- 案件獲得のチャンス: 運営がWebマーケティング会社であるため、実力次第で社内案件の紹介など、仕事に直結する可能性があります。
受講者の多くは、「在宅でできる仕事を探している」「副業を頑張りたい」という20代・30代・40代が中心です。
受講前には、講師による無料説明が行われます。無理な勧誘はなく、自分に合った副業スタイルやプランを相談できるため、まずは話を聞いてみることから始めてみてはいかがでしょうか。
