Thanks for your favor..:-)

it works well.

So, It turns out that PV guest's configuration is somehow problematic.

I have not found faults about my domU's configuration.

Anyway, But soem problem yet remains.

'xm save [domain] [file]' and 'xm restore [file]' command works well.

'xm save -c [domain] [file]' command doesn't work well.
As you know, '-c' option means "leaving domain running after creating snapshot"

but after snapshot, domU state is bad

xm console [domain] after snapshot,

WARNING: g.e. still in use!
WARNING: g.e. still in use!
WARNING: g.e. still in use!
WARNING: g.e. still in use!

this message appeared and any response cannot be found.
after destroy domU, I try to restore by snapshoted file and it seems to work well.

what is the problem??

and, I think that the snapshoted file contains memory contents. where is the snapshoted virtual disk file?? xen use COW disk for checkpoint??, If so, where is it?

2010/3/23 Pasi Kärkkäinen <pasik@iki.fi>
On Tue, Mar 23, 2010 at 08:32:37PM +0900, ?????? wrote:
>    32bit.
>
>    CPU is Genuine Intel(R) CPU T2300  @ 1.66GHz.
>
>    any problem here??
>

Try using this config:
http://pasik.reaktio.net/fedora/config-2.6.32.9-70.fc12.i686.PAE

That's the default fedora 32bit kernel .config.
copy it as .config and then do "make oldconfig".

that worked for me with 2.6.32.9.

-- Pasi

>    2010/3/23 Pasi Kärkkäinen <[1]pasik@iki.fi>
>
>      On Tue, Mar 23, 2010 at 08:27:46PM +0900, ?????? wrote:
>      >    this is my domU config file
>      >    there is nothing special....
>      >
>      >    ==============================================================
>      >    kernel = "/boot/vmlinuz-2.6.32.10-domU"
>      >    ramdisk = "/boot/initrd.img-2.6.32.10-domU"
>      >    memory = 1024
>      >    name = "ubuntu1"
>      >    vcpus = 1
>      >    vif = [ 'mac=00:16:3e:48:ef:5c, bridge=eth0' ]
>      >    disk = [
>      >
>       'file:/root/xen/domainU/ubuntu1/ubuntu1.img,xvda1,w','file:/root/xen/domainU/ubuntu1/ubuntu1_swap.img,xvda2,w'
>      >    ]
>      >    hostname= "ubuntu1"
>      >    root = "/dev/xvda1 ro"
>      >    extra = "console=hvc0 earlyprintk=xen"
>      >    ==============================================================
>      >
>      >    and I also used Ubuntu distribution .config file which was created
>      at
>      >    Ubuntu install time for domU build
>      >
>
>      Ok. Is it 32bit or 64bit?
>      -- Pasi
>
>      >    2010/3/23 Pasi Kärkkäinen <[1][2]pasik@iki.fi>
>      >
>      >      On Tue, Mar 23, 2010 at 08:01:42PM +0900, ?????? wrote:
>      >      >    2.6.32.10 domU also failed with same error log..
>      >      >    Is it exactly domU problem??
>      >      >
>      >
>      >      For PV guests it is _usually_ a domU kernel problem.
>      >      >    Is there specific kernel configuration related to
>      save/restore??
>      >      >    any other comments??
>      >      >
>      >
>      >      I tested using 2.6.32.9 in the domU 1 month ago (or so),
>      >      and I could save/restore just fine.
>      >
>      >      I tried both 32bit and 64bit guests, and both single-vcpu and
>      >      multi-vcpu.
>      >      my .config was based on Fedora kernel .config.
>      >
>      >      Please paste your /etc/xen/<guest> cfgfile?
>      >
>      >      -- Pasi
>      >
>      >      >    2010/3/23 Pasi Kärkkäinen <[1][2][3]pasik@iki.fi>
>      >      >
>      >      >      On Tue, Mar 23, 2010 at 05:04:59PM +0900, ?????? wrote:
>      >      >      >    when I command 'xm save [domainU] [filename]', save
>      process
>      >      does
>      >      >      not
>      >      >      >    complete with this error message
>      >      >      >
>      >      >      >    Error: /usr/lib/xen/bin/xc_save 34 2 0 0 0 failed
>      >      >      >    Usage: xm save [-c] <Domain> <CheckpointFile>
>      >      >      >
>      >      >      >    Save a domain state to restore later.
>      >      >      >      -c, --checkpoint               Leave domain running
>      after
>      >      >      >    creating
>      >      >      >                                     snapshot
>      >      >      >
>      >      >      >    and /var/log/xen/xend.log produced below error
>      message.
>      >      >      >
>      >      >      >    [2010-03-23 16:58:07 1023] DEBUG (DevController:643)
>      >      >      hotplugStatusCallback
>      >      >      >    1.
>      >      >      >    [2010-03-23 16:58:07 1023] DEBUG (DevController:139)
>      Waiting
>      >      for
>      >      >      devices
>      >      >      >    irq.
>      >      >      >    [2010-03-23 16:58:07 1023] DEBUG (DevController:139)
>      Waiting
>      >      for
>      >      >      devices
>      >      >      >    vfb.
>      >      >      >    [2010-03-23 16:58:07 1023] DEBUG (DevController:139)
>      Waiting
>      >      for
>      >      >      devices
>      >      >      >    pci.
>      >      >      >    [2010-03-23 16:58:07 1023] DEBUG (DevController:139)
>      Waiting
>      >      for
>      >      >      devices
>      >      >      >    vtpm.
>      >      >      >    [2010-03-23 16:58:07 1023] INFO (XendDomain:1182)
>      Domain
>      >      ubuntu1
>      >      >      (3)
>      >      >      >    unpaused.
>      >      >      >    [2010-03-23 16:58:42 1023] DEBUG (XendCheckpoint:110)
>      >      [xc_save]:
>      >      >      >    /usr/lib/xen/bin/xc_save 34 3 0 0 0
>      >      >      >    [2010-03-23 16:58:42 1023] INFO (XendCheckpoint:417)
>      >      xc_save:
>      >      >      failed to
>      >      >      >    get the suspend evtchn port
>      >      >      >    [2010-03-23 16:58:42 1023] DEBUG (XendCheckpoint:388)
>      >      suspend
>      >      >      >    [2010-03-23 16:58:42 1023] INFO (XendCheckpoint:417)
>      >      >      >    [2010-03-23 16:58:42 1023] DEBUG (XendCheckpoint:113)
>      In
>      >      >      saveInputHandler
>      >      >      >    suspend
>      >      >      >    [2010-03-23 16:58:42 1023] DEBUG (XendCheckpoint:115)
>      >      Suspending 3
>      >      >      ...
>      >      >      >    [2010-03-23 16:58:42 1023] DEBUG (XendDomainInfo:511)
>      >      >      >    XendDomainInfo.shutdown(suspend)
>      >      >      >    [2010-03-23 16:58:42 1023] DEBUG
>      (XendDomainInfo:1709)
>      >      >      >    XendDomainInfo.handleShutdownWatch
>      >      >      >    [2010-03-23 16:58:42 1023] DEBUG
>      (XendDomainInfo:1709)
>      >      >      >    XendDomainInfo.handleShutdownWatch
>      >      >      >    [2010-03-23 16:58:42 1023] INFO (XendDomainInfo:1903)
>      Domain
>      >      has
>      >      >      shutdown:
>      >      >      >    name=migrating-ubuntu1 id=3 reason=suspend.
>      >      >      >    [2010-03-23 16:58:42 1023] INFO (XendCheckpoint:121)
>      Domain
>      >      3
>      >      >      suspended.
>      >      >      >    [2010-03-23 16:58:42 1023] DEBUG (XendCheckpoint:130)
>      >      Written done
>      >      >      >    [2010-03-23 16:58:42 1023] ERROR (XendCheckpoint:164)
>      Save
>      >      failed
>      >      >      on
>      >      >      >    domain ubuntu1 (3) - resuming.
>      >      >      >    Traceback (most recent call last):
>      >      >      >      File
>      >      >
>       "/usr/lib/python2.6/dist-packages/xen/xend/XendCheckpoint.py",
>      >      line
>      >      >      >    132, in save
>      >      >      >        forkHelper(cmd, fd, saveInputHandler, False)
>      >      >      >      File
>      >      >
>       "/usr/lib/python2.6/dist-packages/xen/xend/XendCheckpoint.py",
>      >      line
>      >      >      >    405, in forkHelper
>      >      >      >        raise XendError("%s failed" % string.join(cmd))
>      >      >      >    XendError: /usr/lib/xen/bin/xc_save 34 3 0 0 0 failed
>      >      >      >    [2010-03-23 16:58:42 1023] DEBUG
>      (XendDomainInfo:2788)
>      >      >      >    XendDomainInfo.resumeDomain(3)
>      >      >      >    [2010-03-23 16:58:42 1023] DEBUG
>      (XendDomainInfo:2829)
>      >      >      >    XendDomainInfo.resumeDomain: completed
>      >      >      >    [2010-03-23 17:01:10 1023] DEBUG
>      (XendDomainInfo:2732)
>      >      >      >    XendDomainInfo.destroy: domid=3
>      >      >      >    [2010-03-23 17:01:11 1023] DEBUG
>      (XendDomainInfo:2207)
>      >      Destroying
>      >      >      device
>      >      >      >    model
>      >      >      >    [2010-03-23 17:01:11 1023] DEBUG
>      (XendDomainInfo:2214)
>      >      Releasing
>      >      >      devices
>      >      >      >    [2010-03-23 17:01:11 1023] DEBUG
>      (XendDomainInfo:2227)
>      >      Removing
>      >      >      vif/0
>      >      >      >    [2010-03-23 17:01:11 1023] DEBUG
>      (XendDomainInfo:1134)
>      >      >      >    XendDomainInfo.destroyDevice: deviceClass = vif,
>      device =
>      >      vif/0
>      >      >      >    [2010-03-23 17:01:11 1023] DEBUG
>      (XendDomainInfo:2227)
>      >      Removing
>      >      >      console/0
>      >      >      >    [2010-03-23 17:01:11 1023] DEBUG
>      (XendDomainInfo:1134)
>      >      >      >    XendDomainInfo.destroyDevice: deviceClass = console,
>      device
>      >      =
>      >      >      console/0
>      >      >      >    [2010-03-23 17:01:11 1023] DEBUG
>      (XendDomainInfo:2227)
>      >      Removing
>      >      >      vbd/51713
>      >      >      >    [2010-03-23 17:01:11 1023] DEBUG
>      (XendDomainInfo:1134)
>      >      >      >    XendDomainInfo.destroyDevice: deviceClass = vbd,
>      device =
>      >      vbd/51713
>      >      >      >    [2010-03-23 17:01:11 1023] DEBUG
>      (XendDomainInfo:2227)
>      >      Removing
>      >      >      vbd/51714
>      >      >      >    [2010-03-23 17:01:11 1023] DEBUG
>      (XendDomainInfo:1134)
>      >      >      >    XendDomainInfo.destroyDevice: deviceClass = vbd,
>      device =
>      >      vbd/51714
>      >      >      >    [2010-03-23 17:01:11 1023] DEBUG
>      (XendDomainInfo:2212) No
>      >      device
>      >      >      model
>      >      >      >    [2010-03-23 17:01:11 1023] DEBUG
>      (XendDomainInfo:2214)
>      >      Releasing
>      >      >      devices
>      >      >      >
>      >      >      >    my system configuration ( 32bit machine )
>      >      >      >    xen 3.4.2, dom0( jeremy's pvops kernel 2.6.31.6),
>      domU(
>      >      vanilla
>      >      >      kernel
>      >      >      >    2.6.32 with paravirt enabled), distribution( ubuntu
>      9.10 )
>      >      >      >    It does not work well
>      >      >      >
>      >      >      >    what is the problem??
>      >      >      >    I think current system is quite stable, newtork,
>      disk, and
>      >      so on.
>      >      >      >    Is there anyone who know this or has experience??
>      >      >      >
>      >      >
>      >      >      You need to update your domU kernel to the latest stable
>      update
>      >      >      (2.6.32.10),
>      >      >      and that'll fix the problem. 2.6.32(.0) doesn't yet have
>      the
>      >      necessary
>      >      >      save/restore fixes.
>      >      >
>      >      >      -- Pasi
>      >      >
>      >      >    --
>      >      >    Eunbyung Park
>      >      >
>      >      > References
>      >      >
>      >      >    Visible links
>      >      >    1. mailto:[3][4]pasik@iki.fi
>      >
>      >    --
>      >    Eunbyung Park
>      >
>      > References
>      >
>      >    Visible links
>      >    1. mailto:[5]pasik@iki.fi
>      >    2. mailto:[6]pasik@iki.fi
>      >    3. mailto:[7]pasik@iki.fi
>
>    --
>    Eunbyung Park
>
> References
>
>    Visible links
>    1. mailto:pasik@iki.fi
>    2. mailto:pasik@iki.fi
>    3. mailto:pasik@iki.fi
>    4. mailto:pasik@iki.fi
>    5. mailto:pasik@iki.fi
>    6. mailto:pasik@iki.fi
>    7. mailto:pasik@iki.fi



--
Eunbyung Park