技術メモ

2008年6月4日水曜日

GAE でSpreadsheets Data API　にトライ

C:\Python25\Lib\site-packages\gdata\atom
C:\Python25\Lib\site-packages\gdata\gdata
をプロジェクトフォルダに　copy　して import はできて当然だが、
やはり　gd_client.ProgrammaticLogin() あたりで
http のエラーとなる。

Traceback (most recent call last):
 File "C:\Program Files\Google\google_appengine\google\appengine\ext\webapp\__init__.py", line 499, in __call__
   handler.get(*groups)
 File "C:\google\helloworld\helloworld0.py", line 18, in get
   gd_client.ProgrammaticLogin()
 File "C:\google\helloworld\gdata\service.py", line 301, in ProgrammaticLogin
   content_type='application/x-www-form-urlencoded')
 File "C:\google\helloworld\atom\service.py", line 316, in HttpRequest
   connection.endheaders()
 File "C:\Python25\lib\httplib.py", line 860, in endheaders
   self._send_output()
 File "C:\Python25\lib\httplib.py", line 732, in _send_output
   self.send(msg)
 File "C:\Python25\lib\httplib.py", line 699, in send
   self.connect()
 File "C:\Python25\lib\httplib.py", line 1133, in connect
   sock = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
AttributeError: 'module' object has no attribute 'socket'

2008年6月3日火曜日

2008年5月29日木曜日

警告がでるようになったようだが、今のところ特に問題なし。

http://code.google.com/p/googleappengine/wiki/SdkReleaseNotes
http://code.google.com/appengine/downloads.html

WARNING 2008-05-29 05:45:27,265 dev_appserver.py]
Could not initialize images API;
you are likely missing the Python "PIL" module. ImportError: No module named PIL

2008年5月28日水曜日

SearchableModel が__searchable_text_indexを生成

http://groups.google.com/group/google-appengine/browse_thread/thread/f64eacbd31629668
We've included a short-term full text search library in the
google.appengine.ext.search module. It's limited, so we don't discuss
it much in the documentation. We expect to provide a more robust, full
featured solution eventually.

http://groups.google.com/group/google-appengine/browse_thread/thread/4b912691a00eea59
Having created a SearchableModel entity, updating it doesn't seem to
update the full text index - Is that expected behaviour?

A little unit test to explain what I mean:

import sys, os, time
sys.path.append('/usr/local/google_appengine')
sys.path.append('/usr/local/google_appengine/lib/yaml/lib')

import unittest
from google.appengine.api import apiproxy_stub_map
from google.appengine.api import datastore_file_stub
from google.appengine.api import mail_stub
from google.appengine.api import urlfetch_stub
from google.appengine.api import user_service_stub
from google.appengine.ext import db, search

APP_ID = u'test'
AUTH_DOMAIN = 'gmail.com'
LOGGED_IN_USER = 't...@example.com'

class Searchable(search.SearchableModel):
searchtext = db.TextProperty()
.
.
.

Bulk Loader

http://code.google.com/appengine/articles/bulkload.html

1. c:\google\bulkload　フォルダを作成し、ここに以下のファイルを作成。
　myloader.py
　people.csv

2. c:/Program Files/Google/google_appengine/google/appengine/tools/bulkload_client.py
を c:\google\buloload に copy

3. c:\google> dev_appserver.py books/ 作成済みのプログラムを起動

起動まえに以下のファイルに /load を追加

--- c:\google\books\app.yaml
- url: /
script: books.py

- url: /load
script: myloader.py
login: admin

実行
C:\google\bulkload>bulkload_client.py --filename people.csv
　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　--kind Person
　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　--url http://localhost:8080/load

3. ImportError: No module named google.appengine.ext.bulkload がでるので
3.1 C:\Program Files\Google\google_appengine\google\appengine\ext\bulkload\constants.py
を c:\google\buloload に copyし

3.2 -- c:\google\buloload\bulkload_client.py を一部改訂 --
try:
from google.appengine.ext.bulkload import constants
except:
import constants

3.3 再度実行したが login error となるので books/app.yaml を修正*1
C:\google\bulkload>bulkload_client.py --filename people.csv
　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　--kind Person
　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　--url http://localhost:8080/load
INFO 2008-05-28 21:37:29,276 bulkload_client.py]
　　　　　　　　　　　　Starting import; maximum 10　entities per post
INFO 2008-05-28 21:37:29,276 bulkload_client.py]
　　　　　　　　　　　　Importing 3 entities in 75 bytes
ERROR 2008-05-28 21:37:29,292 bulkload_client.py]
　　　　　　　　　　　　　An error occurred while importing: Received code 302:
　　　　　　　　　　　　　Requires login　ERROR
　　　　　2008-05-28 21:37:29,292 bulkload_client.py]
　　　　　　　　　　　　　Import failed

Success
C:\google\bulkload>
　　bulkload_client.py --filename people.csv --kind Person --url http://localhost:8080/load
INFO 2008-05-28 21:37:48,947 bulkload_client.py] Starting import;
　　　　　　　　　　 maximum 10 entities per post
INFO 2008-05-28 21:37:48,947 bulkload_client.py] Importing 3 entities in 75 bytes
INFO 2008-05-28 21:37:54,119 bulkload_client.py] Import succcessful

---
*1 bulkload.py は http で post しているので安易に app.yaml の
　　　admin 部分のコメントアウトは危険。
　　　元のアプリケーションに　
　　　 'login_url': users.CreateLoginURL(self.request.uri),
　　　を追加して、ログインしておく。

2008年5月27日火曜日

注意メモ

db.StringProperty(multiline=True) のデータを
\n で split して処理するようなケースは注意
\n に限らず split する際は注意

for u in url.split('\n'):

この Propety のデータが表示されなくなる？　落とし穴がある様子。
どこかがわるいのか、なんらかの不具合のからみか？

回避策：
dev_appserver.py により再起動することで表示されるようになる。

Google にはサーバーの運用の実績はあるけれども、ユーザーの開発をサポートした実績は
まだあまりなく、したがって、こうした環境下でのデータの信頼性についても、実績はまだない。
また Gql の where 句の条件に <,> <=. >= などは one property per query

BadFilterError: BadFilterError:
invalid filter: Only one property per query may have inequality filters
 (<=, >=, <, >)..

しか使えないというのも気がつかなかった。
( 同じ Property には複数回つかえる 
　○   date >:1 and date  < :2
 ×   date >:1 and date2 < :2

工夫すればなんとかなることだけれども。　あと　select max(XX) 　などというのも、まだ(?)
ないので、最小値、最大値なども求めるのも、自分で処理しなければならない。
このあたりはやはり　RDBMS の歴史と実績を感じる。

2008年5月24日土曜日

elementtree.ElementTree


from google.appengine.api import urlfetch
from elementtree.ElementTree import *

url="http://api.flickr.com/services/rest/"
url += "?method=flickr.photos.search&text=test"
url += "&api_key=XXX"
url += "&per_page=3"
result = urlfetch.fetch(url)
#print result.content

tree = ElementTree(fromstring(result.content))

for item in tree.findall('.//photos'):
 print item[0].get('id')
 print item[0].get('title')
for d in item:
 print d.get('title')

http://python.matrix.jp/modules/ElementTree.html

There's no need to install anything, ElementTree is included in
Python 2.5

http://docs.python.org/lib/module-xml.etree.ElementTree.html

登録: 投稿 (Atom)

SQL and GQL　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　TOP

is null	from google.appengine.ext import db r = db.GqlQuery ("SELECT * FROM model WHERE property=:1",None) # None is the python Null. / see
count(*)	r.count()
like	r = db.GqlQuery("SELECT * FROM model WHERE property >= :1 and property < :2 ", search_key, urllib.unquote(search_key).decode("utf8") + u"\uFFFD" )
update	see
!=	!= # see
date	yymm = '2008-05-10 22:22:22' # see ydate = datetime.datetime.strptime(yymm, '%Y-%m-%d %H:%M:%S')
日付検索	from datetime import * import datetime d1 = datetime.datetime.strptime('2008-06-01', '%Y-%m-%d') d2 = d1 + timedelta(days=10) r = db.GqlQuery("select * from model where date >=:1 and date <:2 ",d1,d2) 　for rr in r: print datetime.datetime.strftime(rr,'%Y-%m-%d %H:%M:%S') Dates and Times
	datastore viewer http://localhost:8080/_ah/admin/datastore?kind=StockSum&order=-nikkei_max&order_type=float&num=100&start=0
reference	see (back-references), Many-to-many Join
key, key_name ,id	Key names and IDs cannot be used like property values × select * from Greeting where key = "xxxx" × select * from Greeting where id = xxx ○ r = Greeting.get(db.Key.from_path('Greeting', id)) # or key_name ○ r = db.get("agpoZWxsb3dvcmxkcgsLEgRCbG9nGNQBDA") key = r.key() id = r.key().id()