txt如何去除bom以用作libsvm的数据集

Question

1、目的是：python使用libsvm处理数据
2、问题是：txt不能更改为无bom的utf-8，如果使用python的open打开也必须指定encoding=utf-8或者rb，而且第一个数据前面都有\ufeff。
但是libsvm不能指定第二个参数，永远报错_UnicodeDecodeError: 'gbk' codec can't decode byte 0xbf in position 2: illegal multibyte sequence。
3、尝试过的方法有：直接另存为、使用notepad++，eclipse等插件都没用；尝试运行代码判断bom删除文本前3个字符也无用。。。
希望找到一个不复杂又可行的方法_感谢！！！

Answer 1

libsvm处理数据的步骤
这里进行处理的训练集是train.1.txt 测试集是 test.1.txt
1. 利用svm-scale 进行数据缩放的处理（对训练集和测试集进行缩放的处理）
svm-scale -l -1 -u 1 train.1.txt > train1.txt
svm-scale -l -1 -u 0 test.1.txt > test1.txt
这里是将train.1.txt和test.1.txt中的数据压缩到了-1到1的范围，然后将压缩后的文件存储为train1.txt,test1.txt
2. 利用grid.py 训练得到最佳的c和g
python grid.py train1.txt 在进行了训练之后再控制台会给出三个值，分别为c，g，精确度
3.生成训练的模板
svm-train -c xxx -g xxx train1.txt train1.model
将通过训练train1.txt得到的模板存储为train1.model
4. 获得正确率
svm-predict test1.txt train1.model test1.out
通过传入测试集和训练集的模板生成一个out文件同时获得了预测的正确率。