Browsing all articles tagged with 大文件
22
5

使用PHP将大文件导入到数据库中..

Author Jessica     Category PHP     Tags , , ,

朋友需要将一个有170w行的txt文件.按行把数据导入到数据库中..

所以我帮他写了一下 马克在这里 万一也有人用的着:)

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
header ( "Content-type: text/html;charset=utf-8" );
set_time_limit(0);
include('Database.class.php');
$db = new Database('127.0.0.1', 'root', 'root', 'test'); //数据库
 
$fp = fopen('171w.txt', 'r'); //文件
$i=1; //开始行数
 
$array = array();  //用来存放从XXX-XXX行的数据的数组
 
//回调函数
function callback($now) {
	global $db, $array, $i, $fp;
    if(empty($array)) {             //为了节省资源..我们只生成一次数组
        while (!feof($fp)) {
           if($i == $now) {         //循环到需要读取的行数时
               for($j=$i;$j< =$i+999;$j++) {         //读取下面的1000行并存储到数组中
                   $array[$j] = stream_get_line($fp, 1000000, "\n");
               }
               break;
           }
           stream_get_line($fp, 1000000, "\n");    //实践证明 stream_get_line 比 fgets 快很多..
           $i++;
        }
    }
 
    $db->insert("INSERT INTO test(name) VALUES('{$array[$now]}')");  //插入到数据库中
}
 
 
include('SkiyoProcess.class.php');
 
$sp = new SkiyoProcess(2, 1000, 171000);  //间隔为2秒  每次插入1000条数据 一共171000行数据
$sp->process('callback');

需要的库 一起打包下载 没有提供那个文件 太大鸟..

read more

分类目录

最近文章

近期评论

文章归档

标签

.net AJAX button Comet CSS Discuz! DIV+CSS Flash Form Google HTML编辑器 IE8 Java JavaScript jQuery JSP md5 MySQLReback OAuth Oracle PHP php-fpm PNG Punny SkiyoTabs tab TagCloud Vista Web2.0 Windows7 上传 加密 图标 本站原创 模板 模板引擎 源码 登录 短网址 石家庄 算法 编译 面向对象 魔术方法

链接表