本人最近接到一个任务,要求利用perl脚本实现数据的转移。因为之前是利用Spring定时任务做的,虽然也能实现,但是所占内存难以释放,现在要求改进。刚接到这个要求的时候,确实感觉困难重重——从大致了解perl语言,到跟mysql进行jdbc交互,一路走来真是不易啊!好了,废话不多说,现在把过程大致展现出来。
1.新建一个以.pl结尾的perl脚本文件。
2.前期引入:
use Benchmark;
use threads;
use DBI;
use LWP::UserAgent;
use Cwd;
use POSIX qw( strftime );
use Encode;
use utf8;
3.涉及到两个服务器数据库的连接参数:
my $driver="DBI:mysql";
my $database_203="xxxx"; my $database_198="xxxx";
my $user_203="xxxx"; my $user_199="xxxx";
my $passwd_203="xxxx#"; my $passwd_198="xxxx#";
my $host_203="xxxx"; my $host_198="xxxx";
my $port_203="xxxx"; my $port_198="xxxx";
my $dbh_203; my $dbh_198;
my $sth_203; my $sth_198;
4.动态表名
my $curMonth=strftime("%Y%m", localtime);my $tableName="mm_mo_sms_".$curMonth;
5.添加主线程和工作函数
sub main{
my $workThread = threads->create('work');
if(defined($workThread)) {
print("The app stops, id:".$workThread->tid()."\n");
$workThread->join;
}else{
print("The app start fail");
}
}
sub work{
#DB connection
#连接203数据库
[color=red]$dbh_203=DBI->connect("$driver:database=$database_203;host=$host_203;port=$port_203;user=$user_203;password=$passwd_203")
or die "Connect failed……".DBI->errstr;[/color]
#这三行必须添加,否则在跨服务器的数据转移中,中文会出现乱码哦!
$dbh_203->do("SET character_set_client = 'utf8'");
$dbh_203->do("SET character_set_connection = 'utf8'");
$dbh_203->do("SET character_set_results= 'utf8'");
[color=red]$dbh_198=DBI->connect("$driver:database=$database_198;host=$host_198;port=$port_198;user=$user_198;password=$passwd_199")[/color]
or die "Connect failed……".DBI->errstr;
$dbh_198->do("SET character_set_client = 'utf8'");
$dbh_198->do("SET character_set_connection = 'utf8'");
$dbh_198->do("SET character_set_results= 'utf8'");
doMo($dbh_198,$dbh_199,$dbh_203);
$dbh_198->disconnect();
$dbh_203->disconnect();
}
6.实现数据的转移(即把198服务器上面的数据select出来之后插入到203服务器的数据库上面):
my $sql_198;
sub doMo{
#198->203
[color=red]my $select_198=$dbh_198->prepare[/color]("SELECT
msg_id msgId,tran_id tranId,mo_from moFrom,mo_to moTo,access_mode accessMode,sp_id spId,msg_fmt msgFmt,msg_content msgContent,link_id linkedId,
ip_address ipAddress,service_id serviceId,prov ,city,cp_id cpId,cat_id catId,fee_id feeId,fee_cp feeCp,pd_id pdId,sub_id subId,
task_status taskStatus,mo_type moType,sync_status syncStatus,status,sync_time syncTime,sync_times syncTimes,sync_result syncResult,create_time createTime
FROM
mm.mm_mo_sms
WHERE create_time like '%2014-10-06%' ORDER BY create_time ASC");
[color=blue]$select_198->execute();[/color]
while(my $row=$select_198->fetchrow_hashref()) {
$sql_198="insert into ".$tableName."
(msg_id,tran_id,mo_from,mo_to,access_mode,sp_id,msg_fmt,msg_content,link_id,ip_address,service_id,prov,city,cp_id,cat_id,
fee_id,fee_cp,pd_id,sub_id,task_status,mo_type,sync_status,status,sync_time,sync_times,sync_result,create_time)
values(?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?)";
[color=blue]$sth_203=$dbh_203->prepare_cached($sql_198);[/color]
[color=brown]$sth_203->bind_param(1,$row->{'msgId'});[/color]
$sth_203->bind_param(2,$row->{'tranId'});
$sth_203->bind_param(3,$row->{'moFrom'});
$sth_203->bind_param(4,$row->{'moTo'});
$sth_203->bind_param(5,$row->{'accessMode'});
$sth_203->bind_param(6,$row->{'spId'});
$sth_203->bind_param(7,$row->{'msgFmt'});
$sth_203->bind_param(8,$row->{'msgContent'});
$sth_203->bind_param(9,$row->{'linkedId'});
$sth_203->bind_param(10,$row->{'ipAddress'});
$sth_203->bind_param(11,$row->{'serviceId'});
$sth_203->bind_param(12,$row->{'prov'});
$sth_203->bind_param(13,$row->{'city'});
$sth_203->bind_param(14,$row->{'cpId'});
$sth_203->bind_param(15,$row->{'catId'});
$sth_203->bind_param(16,$row->{'feeId'});
$sth_203->bind_param(17,$row->{'feeCp'});
$sth_203->bind_param(18,$row->{'pdId'});
$sth_203->bind_param(19,$row->{'subId'});
$sth_203->bind_param(20,$row->{'taskStatus'});
$sth_203->bind_param(21,$row->{'moType'});
$sth_203->bind_param(22,$row->{'syncStatus'});
$sth_203->bind_param(23,$row->{'status'});
$sth_203->bind_param(24,$row->{'syncTime'});
$sth_203->bind_param(25,$row->{'syncTimes'});
$sth_203->bind_param(26,$row->{'syncResult'});
$sth_203->bind_param(27,$row->{'createTime'});
[color=blue]$sth_203->execute();
$sth_203->finish();[/color]
}
}
注:这种写法有点类似于jdbc,不过它又具有自己的优势。比之jdbc更为灵活和简洁。
其中的要点有:
(1)DBI连接数据库;
(2)DBI的sql参数设置;
(3)遍历查询结果的语法
至此,执行该脚本,就可以实现数据的跨服务器转移了.可以进一步把它放在Linux定时任务中定时执行.
分享到:
相关推荐
Perl的实际应用,如何自动化下载服务器端数据到本地。
perl脚本perl脚本perl脚本perl脚本
oracle数据库同步perl脚本示例 其中有2个文件,一个是 perl同步脚本,另一个是存储过程;...大致思路是:perl脚本从数据库A同步数据至库B的临时表中,再通过存储过程将库B中的临时数据过滤导入正式数据当中。
推荐一篇好文章:关于利用perl 脚本产生状态机的verilog代码和DC 脚本的
perl脚本自动生成UVM验证框架
perl脚本了解及学习,学会简单的perl脚本
perl脚本学习范例
自己编写程序,对TCGA的临床信息进行整理和提取,便于做生存分析
适合Linux学习,Perl脚本开发基础学习,相信对你有帮助
在Java中运行Perl脚本 JERL
linux加密perl 脚本工具
讲述的是linux下的perl脚本的详细情况。
ActivePerl一个perl脚本解释器。其包含了包括有 Perl for Win32、Perl for ISAPI、PerlScript、Perl Package Manager四套开发工具程序,可以让用户编写出适用于unix,windows,linux系统的CGI程序来。
perl替换脚本,在配置文件中填入原单词,和要替换后的单词,执行脚本即可。
perl脚本大全
与脚本语言一样,Perl不需要编译器和链接器来运行代码,你要做的只是写出程序并告诉Perl来运行而已。这意味着Perl对于小的编程问题的快速解决方案和为大型事件创建原型来测试潜在的解决方案是十分理想的。 .Perl...
用Perl/Tkx写的genesis2000板边脚本
编写的shell 脚本、perl 脚本、python 脚本 等如果不想被别人看到原文件,可以使用该工具shc ,对脚本文件加密,
好用就完了
载入目录路径并且搜索所有目录下任意文件类型,linux下过滤掉以"."和".."的文件,即UNIX下的隐藏文件