Timeout Error

GAE で今まで動作していたアプリが動作しなくなった。

TemplateSyntaxError: Caught an exception while rendering:

テンプレートが重いのが問題かと 表示内容をけづっていったところ
動作したり、しなかったり。

  File "/base/python_lib/versions/1/google/appengine/api/datastore.py", line 1627, in _ToDatastoreError
 raise errors[err.application_error](err.error_detail)
Timeout

同様の現象の報告もあり、様子をみることに。

http://groups.google.com/group/google-appengine/browse_thread/thread/53e7e0a34f3bec89/37b2a5a033ee0ac0?hl=en&lnk=gst&q=timeout+error#37b2a5a033ee0ac0

つい先日も 　login: admin 　の設定の URL ではログインできなかったが、翌日は復活していた。

Property XXX must be a str or unicode instance, not a tuple

val = "test",

aa = Img( p1 = val )
aa.put()

不要なカンマがある場合などでもこのエラーとなる
BadValueError:　Property p1 must be a str or unicode instance, not a tuple

トランザクション エラー Nested transactions are not supported.

１.　get_or_insert 　自体がトランザクションなのでこれを含めたトランザクションを
　　作成しようとするとエラーとなる。

File "C:\Program Files\Google\google_appengine\google\appengine\api\datastore.py",
　　 line 1386, in RunInTransaction'Nested transactions are not supported.')
BadRequestError: Nested transactions are not supported.

http://code.google.com/appengine/docs/datastore/transactions.html

２．動作確認

http://googleappengine.blogspot.com/2008/08/couple-datastore-updates.html

First up is batch writes. You can now include entities in different entity groups in a single db.put() or db.delete() call. Entity modifications are only atomic within each entity group, but a single call that spans entity groups will be more efficient than a call for each group, which was required before.

以下は　SDK だと　Cannot operate on different entity groups in a transaction:
となるが Cloud では動作した。

    class Dummy2(db.Model):
      d1 = db.StringProperty()
 
    class Dummy(db.Model):
      d1 = db.StringProperty()
 
    def tran():
      d2  = Dummy2(d1 = "aaab")
      d1  = Dummy(d1 = "aaab")
 
      d1.put()
      d2.put()

    tran()

３．　その他

　　　トランザクションの中で検索は実行できない。

　　Can't query inside a transaction

YouTube API

http://code.google.com/apis/youtube/articles/youtube_api_appengine.html
に従い進めた。

Developer Key の取得の際は自分でどのように利用するか簡単に記述。
(どこかから値を持ってきて登録するのではない）

けれども、検索するだけであれば

self.developer_key = 'ADD YOUR DEVELOPER KEY HERE'

この部分は不要だった。

チュートリアルのSourceは以下にあるが、これらを特にダウンロードするまでの必要はなかった。
http://code.google.com/p/hello-youtube/source/browse/#svn/trunk/03_hello_youtube_search_query
http://code.google.com/p/hello-youtube/source/browse/#svn/trunk/04_hello_user_input

gdata 関連の設定は既に spredsheet などにアクセスするために導入してあったので
素直に検索を行なうことができた。

Youtube は検索言語の設定により、検索結果がかなり異なるので
http://code.google.com/apis/youtube/reference.html#Query_parameter_definitions
を参考に lr は追加しておいた。

query.vq = search_term
query.max_results = '5'
query.lr = 'ja'

*　ja 以外の設定にして "japanese" で検索するとひどい結果になるとの指摘を最近みかけたので。

また、以下の値は検索キーによっては値が得られないことがあるため分岐が必要となる。

rating.average　

 if entry.rating:

NormalizeAndTypeCheck エラー

reference などの key は .key() が必要

○　login.session.key()
× login.session

忘れた場合のエラー

keys, multiple = datastore.NormalizeAndTypeCheckKeys(keys)
File "C:\Program Files\Google\google_appengine\google\appengine\api\datastore.py", line 117, in NormalizeAndTypeCheckK
ys
keys, multiple = NormalizeAndTypeCheck(keys, (basestring, Entity, Key))
File "C:\Program Files\Google\google_appengine\google\appengine\api\datastore.py", line 96, in NormalizeAndTypeCheck
(types, arg, typename(arg)))
adArgumentError: Expected an instance or sequence of (, , ); received (a Session).

mixi openid

Google App Engine上でmixi OpenIDを使ってユーザ認証をするサンプルコード - yanbe.diff - subtech　　
を参考にテストしたところ
local:8080 だと動作するが Cloud (GAE に upload すると）だと以下のエラーとなる。
---
Traceback (most recent call last):
File "/base/python_lib/versions/1/google/appengine/ext/webapp/__init__.py", line 499, in __call__
handler.get(*groups)
File "/base/data/home/apps/blog-editor/1.937/mixi_login.py", line 28, in get
request = consumer.begin('https://mixi.jp')
File "/base/data/home/apps/blog-editor/1.937/openid/consumer/consumer.py", line 354, in begin
'No usable OpenID services found for %s' % (user_url,), None)
DiscoveryFailure: No usable OpenID services found for https://mixi.jp
----

以下、参考

http://d.hatena.ne.jp/mitsugi-bb/20080823/1219592219#c

http://www.socialpreneur.info/ja/blog/784

http://ms76.jp/2008/08/22/mixi_openid_for_wordpress/

http://insilico.jognote.com/blog/2008/08/13/curl-%E3%81%AB-https-%E3%81%A7%E3%82%A2%E3%82%AF%E3%82%BB%E3%82%B9%E3%81%A7%E3%81%8D%E3%82%8B%E3%82%88%E3%81%86%E3%81%AB%E8%A8%BC%E6%98%8E%E6%9B%B8%E3%82%92%E8%BF%BD%E5%8A%A0%E3%81%99%E3%82%8B/

---
おそらくこれが原因
Issue 407 http://code.google.com/p/googleappengine/issues/detail?id=407 :
webapp.RequestHandler.redirect　missing location header for long urls

spreadsheet からの GAE への upload

GAE SDK付属のdemo/guestbook.py をベースに spreadsheet.google.com のデータを
GAE Cloud の datastore に upload する script を作成

参考ファイルはこちら guestbook.py

今回程度のレコードサイズのデータの場合、read は 150 レコード、 put (write)は　20～30レコード程度毎の処理としました。

利用方法

1. まず、spreadsheet のデータを読み込みます。
   
   
   
   • 今回は対象は DOW の株価データで 960 レコード程度です。
     
   • SDK 環境では一度にすべての spreadsheet のデータを読み込むことができましたが、
     cloud では 100 行程度 ( 200行はエラー ) ごとに複数のシートにデータを分割
     
   • "read" とし、シートの key と　シート番号を指定
     
   • 　1 sheet 分のデータを Memcache に読み込みます。
   
   


2. 読み込んだデータを GAE Cloud の datastore に書き込みます。
   
   
   
   • "put" を指定
     
   • 100 行一度に書き込もうとするとエラーになりますので、今回の場合、20行程度ごとに
     区切り、 offset をかけながら、何度かに分けて書き込み処理を行ないました。
   
   
   
3. offset は自動的に加算するようにしましたので、[Sign Guest]を繰り返しクリック
   
   
4. １ sheet 分のデータの upload が完了したら Memcache をクリア
   
5. 次のシート番号を指定し、同様の作業を繰り返します。