使用PHP fputcsv 或者 fwrite 方法導(dǎo)出大概1萬(wàn)7千條數(shù)據(jù),出現(xiàn)大概6條到10條左右的數(shù)據(jù)錯(cuò)位情況。
代碼:
public static function createCsv($data, $header = [], $filename = '')
{
// 參數(shù)判斷
$data = is_object($data) ? $data->toArray() : $data;
$header = is_array($header) ? $header : [];
$filename = (1 > strlen(trim($filename))) ? 'csv-' : trim($filename);
if (empty($data)) {
return false;
}
// 文件名/目錄
$filename = $filename . date("YmdHis", time()) . rand(1000, 9999) . ".csv";
$dir = \Env::get('runtime_path') . '/export/';
if (!is_dir($dir) && !mkdir($dir)) {
return false;
}
// 打開(kāi)文件指針資源
$handle = fopen($dir . $filename, 'w+');
if (!$handle) {
return false;
}
// 寫入文件header頭
if (!empty($header)) {
$res = fputcsv($handle, $header);
if (!$res) {
return false;
}
}
// 判斷header是索引數(shù)組還是關(guān)聯(lián)數(shù)組
$is_assoc = array_keys($header) !== range(0, count($header) - 1);
// 寫入文件內(nèi)容
$frequency = 0; // 頻率
$limit = 100000;
foreach ($data as $datum) {
$frequency++;
if ($limit == $frequency) {
// 刷新輸出buffer
ob_flush();
flush();
$frequency = 0;
}
// 如果是關(guān)聯(lián)數(shù)組,則獲取內(nèi)容中和頭部key相對(duì)應(yīng)的值
if ($is_assoc) {
$csv = "";
foreach(array_keys($header) as $item) {
$val = str_replace('"', '""', "\t" . $datum[$item]);
$csv .= '"' . $val . '",';
}
$csv = substr($csv, 0, -1);
$csv .= "\n";
$res = @fwrite($handle, $csv);
} else {
$res = fputcsv($handle, $datum);
}
if (!$res) {
return false;
}
}
// 關(guān)閉指針資源
fclose($handle);
return \Url::build('erp/Common/export', 'file=' . $filename);
}
出現(xiàn)的情況:
同樣的數(shù)據(jù)篩選之后發(fā)現(xiàn)也只有這一條出現(xiàn)問(wèn)題
源碼:
發(fā)現(xiàn)該行的逗號(hào)分隔符去到雙引號(hào)里了,請(qǐng)問(wèn)出現(xiàn)這種問(wèn)題的原因是什么。
經(jīng)過(guò)一個(gè)下午的折騰,上周五還是發(fā)現(xiàn)出現(xiàn)該異常情況的原因。概括來(lái)說(shuō)還是中文轉(zhuǎn)編碼的問(wèn)題,即utf-8轉(zhuǎn)gbk出現(xiàn)的小部分行缺少空格或者雙引號(hào)的問(wèn)題。
出現(xiàn)問(wèn)題的原因:
在進(jìn)行導(dǎo)出的過(guò)程中,接收其他程序傳過(guò)來(lái)的數(shù)組參數(shù),均為utf-8編碼,我這邊在調(diào)用fwrite或者fputcvs寫入文件的過(guò)程中并沒(méi)有進(jìn)行 iconv("UTF-8", "GB2312//IGNORE", $header),而是將文件保存在了 export目錄下,然后由vuejs做的后臺(tái)調(diào)用位于同application下的一個(gè)共用類的 export方法,該方法是這樣的:
public function export()
{
$file = \Request::get('file');
header('Content-Type: application/vnd.ms-excel');
header('Content-Disposition: attachment;filename=export.csv');
header('Cache-Control: max-age=0');
$contents = file_get_contents(\Env::get('runtime_path') . '/export/' . $file);
echo iconv("UTF-8", "GB2312//IGNORE", $contents);
@unlink(RUNTIME_PATH . '/export/' . $filename);
exit;
}
問(wèn)題就出在 echo iconv("UTF-8", "GB2312//IGNORE", $contents); 這句代碼上面,這里看到是對(duì)傳入的整個(gè)文件進(jìn)行轉(zhuǎn)編碼的,這里未進(jìn)行測(cè)試到底多少行的數(shù)據(jù)會(huì)出現(xiàn)缺少逗號(hào)引號(hào)的問(wèn)題。
最終的解決思路是,把共用類中對(duì)整個(gè)文件的轉(zhuǎn)編碼放到寫入方法中,逐條轉(zhuǎn)編碼就解決了該問(wèn)題。
更改后的代碼:
public static function createCsv($data, $header = [], $filename = '')
{
// 參數(shù)判斷
$data = is_object($data) ? $data->toArray() : $data;
$header = is_array($header) ? $header : [];
$filename = (1 > strlen(trim($filename))) ? 'csv-' : trim($filename);
if (empty($data)) {
return false;
}
// 文件名/目錄
$filename = $filename . date("YmdHis", time()) . rand(1000, 9999) . ".csv";
$dir = Env::get('runtime_path') . '/export/';
if (!is_dir($dir) && !mkdir($dir)) {
return false;
}
// 打開(kāi)文件指針資源
$handle = fopen($dir . $filename, 'w+');
if (!$handle) {
return false;
}
// 寫入文件header頭
if (!empty($header)) {
foreach ($header as $key => $item) {
$header[$key] = iconv("UTF-8", "GB2312//IGNORE", $item);
}
$res = fputcsv($handle, $header);
if (!$res) {
return false;
}
}
// 判斷header是索引數(shù)組還是關(guān)聯(lián)數(shù)組
$is_assoc = array_keys($header) !== range(0, count($header) - 1);
// 寫入文件內(nèi)容
$frequency = 0; // 頻率
$limit = 100000;
foreach ($data as $datum) {
$frequency++;
if ($limit == $frequency) {
// 刷新輸出buffer
ob_flush();
flush();
$frequency = 0;
}
// 如果是關(guān)聯(lián)數(shù)組,則獲取內(nèi)容中和頭部key相對(duì)應(yīng)的值
if ($is_assoc) {
$csv = "";
foreach(array_keys($header) as $item) {
$datum[$item] = iconv("UTF-8", "GB2312//IGNORE", $item);
$val = str_replace('"', '""', $datum[$item]); // 將單個(gè)雙引號(hào)替換為兩個(gè)雙引號(hào)
$csv .= '"' . $val . '",'; // 為每個(gè)字符增加雙引號(hào),并添加逗號(hào)分割符
}
$csv = substr($csv, 0, -1); // 去掉每行最后一個(gè)逗號(hào)
$csv .= "\n"; // 添加換行符
$res = @fwrite($handle, $csv);
} else {
$res = fputcsv($handle, $datum);
}
if (!$res) {
return false;
}
}
// 關(guān)閉指針資源
fclose($handle);
return Url::build('erp/Common/export', 'file=' . $filename);
}
public function export()
{
$file = \Request::get('file');
header('Content-Type: application/vnd.ms-excel');
header('Content-Disposition: attachment;filename=export.csv');
header('Cache-Control: max-age=0');
$contents = file_get_contents(\Env::get('runtime_path') . '/export/' . $file);
echo $contents;
exit;
}
調(diào)用步驟:
先調(diào)用createCsv生成文件,再調(diào)用export下載。
———————————————————————分割線——————————————————————
另外一種解決思路:
csv文件直接存儲(chǔ) UTF-8 編碼:
即不需要進(jìn)行 iconv 轉(zhuǎn)編碼,這樣會(huì)有個(gè)小問(wèn)題就是MacOS中的Excel無(wú)法自動(dòng)識(shí)utf-8編碼,中文會(huì)出現(xiàn)亂碼的情況。
原因:
Excel在讀取csv的時(shí)候是通過(guò)讀取文件頭上的bom來(lái)識(shí)別編碼的,如果文件頭無(wú)bom信息,則默認(rèn)按照unicode編碼讀取。(這個(gè)bom是微軟自己定義的一種文件頭部協(xié)定,顧名思義存儲(chǔ)在文件頭部,存儲(chǔ)內(nèi)容就是標(biāo)識(shí)文件編碼的信息。)而我們生成csv的平臺(tái)不一定遵循微軟的bom協(xié)議,導(dǎo)致如果輸出非unicode編碼的csv文件(例如utf-8),并且沒(méi)有生成bom信息的話,Excel自動(dòng)按照unicode編碼讀取,就會(huì)出現(xiàn)亂碼問(wèn)題了。作者:李蛟 鏈接:https://www.zhihu.com/questio...
來(lái)源:知乎 著作權(quán)歸作者所有。商業(yè)轉(zhuǎn)載請(qǐng)聯(lián)系作者獲得授權(quán),非商業(yè)轉(zhuǎn)載請(qǐng)注明出處。
根據(jù)知乎查到的答案,原來(lái)是這里未遵循微軟的bom協(xié)議。原因找到了,解決方案就能出了。
解決方法:
fopen 方法下寫入bom頭,這里簡(jiǎn)單寫一下步驟
function createCsv($filename, $header, $data) {
$handle = fopen($filename, 'w+');
// 添加BOM,標(biāo)識(shí)為UTF-8格式
fwrite($handle, chr(0xEF).chr(0xBB).chr(0xBF));
// 寫入頭部
fputcsv($handle, $header);
// 逐行寫入內(nèi)容
foreach ($data as $datum) {
fputcsv($handle, $datum);
}
// 關(guān)閉指針資源
fclose($handle);
}
另外再補(bǔ)充一下 Bom 簡(jiǎn)介
- 在UCS 編碼中有一個(gè)叫做”ZERO WIDTH NO-BREAKSPACE”的字符,它的編碼是FEFF。
- FFFE在UCS中是不存在的字符,所以不應(yīng)該出現(xiàn)在實(shí)際傳輸中。
- UCS規(guī)范建議我們?cè)趥鬏斪止?jié)流前,先傳輸字符”ZERO WIDTH NO-BREAK SPACE”。
- 這樣如果接收者收到FEFF,就表明這個(gè)字節(jié)流是Big-Endian的;
- 如果收到FFFE,就表明這個(gè)字節(jié)流是Little-Endian的。
- 因此字符”ZERO WIDTH NO-BREAK SPACE”又被稱作BOM。
- UTF-8不需要BOM來(lái)表明字節(jié)順序,但可以用BOM來(lái)表明編碼方式。
- 字符”ZERO WIDTH NO-BREAK SPACE”的UTF-8編碼是EF BB BF。
- 所以如果接收者收到以EF BB BF開(kāi)頭的字節(jié)流,就知道這是UTF-8編碼了。
- Windows就是使用BOM來(lái)標(biāo)記文本文件的編碼方式的。
該內(nèi)容來(lái)自 http://blog.csdn.net/chaozhi_... 這篇博客
北大青鳥(niǎo)APTECH成立于1999年。依托北京大學(xué)優(yōu)質(zhì)雄厚的教育資源和背景,秉承“教育改變生活”的發(fā)展理念,致力于培養(yǎng)中國(guó)IT技能型緊缺人才,是大數(shù)據(jù)專業(yè)的國(guó)家
達(dá)內(nèi)教育集團(tuán)成立于2002年,是一家由留學(xué)海歸創(chuàng)辦的高端職業(yè)教育培訓(xùn)機(jī)構(gòu),是中國(guó)一站式人才培養(yǎng)平臺(tái)、一站式人才輸送平臺(tái)。2014年4月3日在美國(guó)成功上市,融資1
北大課工場(chǎng)是北京大學(xué)校辦產(chǎn)業(yè)為響應(yīng)國(guó)家深化產(chǎn)教融合/校企合作的政策,積極推進(jìn)“中國(guó)制造2025”,實(shí)現(xiàn)中華民族偉大復(fù)興的升級(jí)產(chǎn)業(yè)鏈。利用北京大學(xué)優(yōu)質(zhì)教育資源及背
博為峰,中國(guó)職業(yè)人才培訓(xùn)領(lǐng)域的先行者
曾工作于聯(lián)想擔(dān)任系統(tǒng)開(kāi)發(fā)工程師,曾在博彥科技股份有限公司擔(dān)任項(xiàng)目經(jīng)理從事移動(dòng)互聯(lián)網(wǎng)管理及研發(fā)工作,曾創(chuàng)辦藍(lán)懿科技有限責(zé)任公司從事總經(jīng)理職務(wù)負(fù)責(zé)iOS教學(xué)及管理工作。
浪潮集團(tuán)項(xiàng)目經(jīng)理。精通Java與.NET 技術(shù), 熟練的跨平臺(tái)面向?qū)ο箝_(kāi)發(fā)經(jīng)驗(yàn),技術(shù)功底深厚。 授課風(fēng)格 授課風(fēng)格清新自然、條理清晰、主次分明、重點(diǎn)難點(diǎn)突出、引人入勝。
精通HTML5和CSS3;Javascript及主流js庫(kù),具有快速界面開(kāi)發(fā)的能力,對(duì)瀏覽器兼容性、前端性能優(yōu)化等有深入理解。精通網(wǎng)頁(yè)制作和網(wǎng)頁(yè)游戲開(kāi)發(fā)。
具有10 年的Java 企業(yè)應(yīng)用開(kāi)發(fā)經(jīng)驗(yàn)。曾經(jīng)歷任德國(guó)Software AG 技術(shù)顧問(wèn),美國(guó)Dachieve 系統(tǒng)架構(gòu)師,美國(guó)AngelEngineers Inc. 系統(tǒng)架構(gòu)師。