sql processor performance

> It looks like this performance issue was related to my database setup
> after all - amazing what indexing can do :-).
>
>
> On Jul 11, 2006, at 1:17 PM, Alexander Zatko wrote:
>
>> I created a XPL file that contains a sql processor containing multiple
>> sql:connection elements. I noticed that execution time of the app with
>> this XPL is quite slow, so I decided to do some digging into reasons
>> for this. I timed the queries issued by the processor using MS SQL
>> Profiler (the db used is MS SQL). It looks like the queries are
>> executed quickly, but the time between the return of data by the
>> database and start of the next execution is long - between 14 and 20
>> seconds. The queries themselves are between 5 to 90 ms which is what I
>> would expect as the returned resultsets have less than 100 rows and a
>> single column.
>>
>> I am using jTDS jdbc driver to connect to the database and
>> version 3.0.1.200602032326 of OPS.
>>
>> Maybe some of you would be able to shed light at how to make the
>> processing faster? Below is shown content of two sql:connection
>> elements for illustration. The po_reports_V object is a view.
>>
>> A.
>>
>> <!-- find all buyers -->
>> <sql:connection>
>>     <buyers>
>>         <sql:execute>
>>             <sql:query>
>>                 select p.buyer_ID
>>                 from po_reports_V p
>>                 where p.customerName = <sql:param
>> select="/session/user-info/employee/customerName" type="xs:string"/>
>>                 group by p.buyer_ID
>>             </sql:query>
>>             <sql:result-set>
>>                 <sql:row-iterator>
>>                     <buyer>
>>                         <sql:get-column-value type="xs:string"
>> column="buyer_ID"/>
>>                     </buyer>
>>                 </sql:row-iterator>
>>             </sql:result-set>
>>             <sql:no-results>
>>                 <buyer/>
>>             </sql:no-results>
>>         </sql:execute>
>>     </buyers>
>> </sql:connection>
>> <!-- find all activities -->
>> <sql:connection>
>>     <activities>
>>         <sql:execute>
>>             <sql:query> select p.activity from po_reports_V p
>>                 where p.customerName = <sql:param
>> select="/session/user-info/employee/customerName" type="xs:string"/>
>>                 group by p.activity
>>             </sql:query>
>>             <sql:result-set>
>>                 <sql:row-iterator>
>>                     <activity>
>>                         <sql:get-column-value type="xs:string"
>> column="activity"/>
>>                     </activity>
>>                 </sql:row-iterator>
>>             </sql:result-set>
>>             <sql:no-results>
>>                 <activity/>
>>             </sql:no-results>
>>         </sql:execute>
>>     </activities>
>> </sql:connection>
>>
>>
>
>
> ------------------------------------------------------------------------
>
>
> --
> You receive this message as a subscriber of the [hidden email] mailing list.
> To unsubscribe: mailto:[hidden email]
> For general help: mailto:[hidden email]?subject=help
> ObjectWeb mailing lists service home page: http://www.objectweb.org/wws

> Good news.
>
> I wanted to add that when the JDBC query returns, the entire result-
> set has not necessarily been retrieved from the database. The JDBC  
> driver may use a cursor to iterate over the result-set, and  
> accessing further elements may take some time.
>
> -Erik
>
> Alexander Zatko wrote:
>> It looks like this performance issue was related to my database  
>> setup after all - amazing what indexing can do :-).
>> On Jul 11, 2006, at 1:17 PM, Alexander Zatko wrote:
>>> I created a XPL file that contains a sql processor containing  
>>> multiple sql:connection elements. I noticed that execution time  
>>> of the app with this XPL is quite slow, so I decided to do some  
>>> digging into reasons for this. I timed the queries issued by the  
>>> processor using MS SQL Profiler (the db used is MS SQL). It looks  
>>> like the queries are executed quickly, but the time between the  
>>> return of data by the database and start of the next execution is  
>>> long - between 14 and 20 seconds. The queries themselves are  
>>> between 5 to 90 ms which is what I would expect as the returned  
>>> resultsets have less than 100 rows and a single column.
>>>
>>> I am using jTDS jdbc driver to connect to the database and  
>>> version 3.0.1.200602032326 of OPS.
>>>
>>> Maybe some of you would be able to shed light at how to make the  
>>> processing faster? Below is shown content of two sql:connection  
>>> elements for illustration. The po_reports_V object is a view.
>>>
>>> A.
>>>
>>> <!-- find all buyers -->
>>> <sql:connection>
>>>     <buyers>
>>>         <sql:execute>
>>>             <sql:query>
>>>                 select p.buyer_ID
>>>                 from po_reports_V p
>>>                 where p.customerName = <sql:param select="/
>>> session/user-info/employee/customerName" type="xs:string"/>
>>>                 group by p.buyer_ID
>>>             </sql:query>
>>>             <sql:result-set>
>>>                 <sql:row-iterator>
>>>                     <buyer>
>>>                         <sql:get-column-value type="xs:string"  
>>> column="buyer_ID"/>
>>>                     </buyer>
>>>                 </sql:row-iterator>
>>>             </sql:result-set>
>>>             <sql:no-results>
>>>                 <buyer/>
>>>             </sql:no-results>
>>>         </sql:execute>
>>>     </buyers>
>>> </sql:connection>
>>> <!-- find all activities -->
>>> <sql:connection>
>>>     <activities>
>>>         <sql:execute>
>>>             <sql:query> select p.activity from po_reports_V p
>>>                 where p.customerName = <sql:param select="/
>>> session/user-info/employee/customerName" type="xs:string"/>
>>>                 group by p.activity
>>>             </sql:query>
>>>             <sql:result-set>
>>>                 <sql:row-iterator>
>>>                     <activity>
>>>                         <sql:get-column-value type="xs:string"  
>>> column="activity"/>
>>>                     </activity>
>>>                 </sql:row-iterator>
>>>             </sql:result-set>
>>>             <sql:no-results>
>>>                 <activity/>
>>>             </sql:no-results>
>>>         </sql:execute>
>>>     </activities>
>>> </sql:connection>
>>>
>>>
>> ---------------------------------------------------------------------
>> ---
>> --
>> You receive this message as a subscriber of the ops-
>> [hidden email] mailing list.
>> To unsubscribe: mailto:[hidden email]
>> For general help: mailto:[hidden email]?subject=help
>> ObjectWeb mailing lists service home page: http://
>> www.objectweb.org/wws
>
>
> --
> Orbeon - XForms Everywhere:
> http://www.orbeon.com/blog/
>
>
>
> --
> You receive this message as a subscriber of the ops-
> [hidden email] mailing list.
> To unsubscribe: mailto:[hidden email]
> For general help: mailto:[hidden email]?subject=help
> ObjectWeb mailing lists service home page: http://www.objectweb.org/ 
> wws

>
> Hi,
>
> I'm using a query like
>
>
>                             <Response>                                  
>                            
>                                             <sql:execute>
>                                                 <sql:query>
>                                                 SELECT
>                                                     MSGSL_ID,
>                                                     MSGSL_S_ID,
>                                                 FROM RECIPIENTS
>                                                 WHERE MSGSL_ID = 24
>                                            </sql:query>
>                                                <sql:result-set>
>                                                    <sql:row-iterator>
>                                                         <CurrentRecipient>
>                                                             <ID>
>                                                                
> <sql:get-column type="xs:decimal" column="MSGSL_ID"/>
>                                                             </ID>      
>                                                                        
>                                    
>                                                             <sql:execute>
>                                                                 <sql:query>
>                                                                    SELECT
>                                                                     S_ID,
>                                                                     S_NAME,
>                                                                    FROM
> SUBJECTS
>                                                                    WHERE
> S_ID = <sql:param type="xs:int"><sql:get-column type="xs:decimal"
> column="MSGSL_S_ID"/></sql:param>
>                                                             </sql:query>
>                                                              
>  <sql:result-set>                                                      
>            
>                                                                  
>  <sql:row-iterator>
>                                                                      
>  <Subject>
>                                                                        
>     <ID><sql:get-column type="xs:decimal" column="S_ID"/></ID>
>                                                                        
>     <Name><sql:get-column type="xs:string" column="S_NAME"/></Name>    
>                                                                        
>                                                              
>                                                                        
>    </Subject>
>                                                                  
>  </sql:row-iterator>                                                    
>                  
>                                                              
>  </sql:result-set>  
>                                                                
> <sql:no-results>
>                                                                    
> <Subject>
>                                                                        
> <ID>0</ID>
>                                                                        
> <Name>Unknown</Name>
>                                                                        
> </Subject>
>                                                                
> </sql:no-results>                                                      
>        
>                                                            
> </sql:execute>                                                          
>                                                              
>                                                         </CurrentRecipient>
>                                                    </sql:row-iterator>
>                                                </sql:result-set>  
>                                             </sql:execute>              
>                                                                        
>                        
>                             </Response>          
>                      
> With ops 2.8 this query works (with the old tags like "results" instead
> of "result-set", with 3.x not (I tried also the old syntax).
> If I use a no-result tag in the outer query and there is indeed no data,
> then I get as result the xml in the no-result declaration.
> Is this a bug?
>
> Greets
>
> Sebastian

>
> Hi Erik,
>
> I whatched the source and I'm not quite sure, but perhaps here is the
> problem.
>
> ResultSetInterpreter.java line 112 - 116
>
>
>  final ResultSet resultSet = stmt.getResultSet();
>             final boolean hasNext = resultSet.next();
>             interpreterContext.setEmptyResultSet(!hasNext);
>             interpreterContext.setResultSet(resultSet);
>             interpreterContext.setGotResults(hasNext ||
> interpreterContext.isGotResults());
>
> I think the bug is in the last line. Once the variable  "gotResults" is
> set to true, cos an outer query delivered results this variable is never
> set again to "false", cos the logical OR is allways true.
> So substituting following code seems to work:
> Line 116:            interpreterContext.setGotResults(hasNext);
> Would be glad, if I could help you a little bit (even if I dont know at
> the moment, if there are more side effects).
>
> Sebastian
>
>
>
>
> *"Sebastian Kraus/INPLUS/DE" <[hidden email]>*
>
> 24.07.2006 14:21
> Please respond to
> [hidden email]
>
>
>
> To
> [hidden email]
> cc
>
> Subject
> Re: [ops-users] Nested sql queries: Problem with no-result
>
>
>
>
>
>
>
>
>
> Hi Erik,
>
> Nice answer :-)
>
> Yes, my declaration looks like this:
> <p:config xmlns:p="http://www.orbeon.com/oxf/pipeline"
>          xmlns:oxf="http://www.orbeon.com/oxf/processors"
>    xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
>                          xmlns:xs="http://www.w3.org/2001/XMLSchema">
>
> If this is really a bug this would be a hard drawback. Specially in
> nested queries it i not the funniest task to solve this with an XSLT
> template.
> Of reason I'm using a own sql processor (its the same as the original
> one only enhanced with the feature to handel oracle "date" type as an
> xml "dateTime" type) I could try to fix this.
> But at the moment I still hope I do something wrong :-(
>
> Greets
>
> Sebastian
>
> *Erik Bruchez <[hidden email]>*
> Sent by: Erik Bruchez <[hidden email]>
>
> 24.07.2006 14:12
> Please respond to
> [hidden email]
>
>
> To
> [hidden email]
> cc
>
> Subject
> Re: [ops-users] Nested sql queries: Problem with no-result
>
>
>
>
>
>
>
>
>
>
> Sebastian,
>
> That's not completely impossible ;-)
>
> Do you declare the "xs" prefix for types, with:
>
>  xmlns:xs="http://www.w3.org/2001/XMLSchema"
>
> -Erik
>
> Sebastian Kraus/INPLUS/DE wrote:
>  >
>  > Hi,
>  >
>  > I'm using a query like
>  >
>  >
>  >                             <Response>                                  
>  >                            
>  >                                             <sql:execute>
>  >                                                 <sql:query>
>  >                                                 SELECT
>  >                                                     MSGSL_ID,
>  >                                                     MSGSL_S_ID,
>  >                                                 FROM RECIPIENTS
>  >                                                 WHERE MSGSL_ID = 24
>  >                                            </sql:query>
>  >                                                <sql:result-set>
>  >                                                    <sql:row-iterator>
>  >                                                        
> <CurrentRecipient>
>  >                                                             <ID>
>  >                                                                
>  > <sql:get-column type="xs:decimal" column="MSGSL_ID"/>
>  >                                                             </ID>      
>  >                                                                        
>  >                                    
>  >                                                             <sql:execute>
>  >                                                                
> <sql:query>
>  >                                                                    SELECT
>  >                                                                     S_ID,
>  >                                                                    
> S_NAME,
>  >                                                                    FROM
>  > SUBJECTS
>  >                                                                    WHERE
>  > S_ID = <sql:param type="xs:int"><sql:get-column type="xs:decimal"
>  > column="MSGSL_S_ID"/></sql:param>
>  >                                                             </sql:query>
>  >                                                              
>  >  <sql:result-set>                                                      
>  >            
>  >                                                                  
>  >  <sql:row-iterator>
>  >                                                                      
>  >  <Subject>
>  >                                                                        
>  >     <ID><sql:get-column type="xs:decimal" column="S_ID"/></ID>
>  >                                                                        
>  >     <Name><sql:get-column type="xs:string" column="S_NAME"/></Name>    
>  >                                                                        
>  >                                                              
>  >                                                                        
>  >    </Subject>
>  >                                                                  
>  >  </sql:row-iterator>                                                    
>  >                  
>  >                                                              
>  >  </sql:result-set>  
>  >                                                                
>  > <sql:no-results>
>  >                                                                    
>  > <Subject>
>  >                                                                        
>  > <ID>0</ID>
>  >                                                                        
>  > <Name>Unknown</Name>
>  >                                                                        
>  > </Subject>
>  >                                                                
>  > </sql:no-results>                                                      
>  >        
>  >                                                            
>  > </sql:execute>                                                          
>  >                                                              
>  >                                                        
> </CurrentRecipient>
>  >                                                    </sql:row-iterator>
>  >                                                </sql:result-set>  
>  >                                             </sql:execute>              
>  >                                                                        
>  >                        
>  >                             </Response>          
>  >                      
>  > With ops 2.8 this query works (with the old tags like "results" instead
>  > of "result-set", with 3.x not (I tried also the old syntax).
>  > If I use a no-result tag in the outer query and there is indeed no data,
>  > then I get as result the xml in the no-result declaration.
>  > Is this a bug?
>  >
>  > Greets
>  >
>  > Sebastian
>
> --
> Orbeon - XForms Everywhere:
> http://www.orbeon.com/blog/
>
>
> --
> You receive this message as a subscriber of the [hidden email]
> mailing list.
> To unsubscribe: mailto:[hidden email]
> For general help: mailto:[hidden email]?subject=help
> ObjectWeb mailing lists service home page: http://www.objectweb.org/wws
>
> --
> You receive this message as a subscriber of the [hidden email]
> mailing list.
> To unsubscribe: mailto:[hidden email]
> For general help: mailto:[hidden email]?subject=help
> ObjectWeb mailing lists service home page: http://www.objectweb.org/wws
>
>
> ------------------------------------------------------------------------
>
>
> --
> You receive this message as a subscriber of the [hidden email] mailing list.
> To unsubscribe: mailto:[hidden email]
> For general help: mailto:[hidden email]?subject=help
> ObjectWeb mailing lists service home page: http://www.objectweb.org/wws