pbootcms网站模板|日韩1区2区|织梦模板||网站源码|日韩1区2区|jquery建站特效-html5模板网

  • <small id='zRYqC'></small><noframes id='zRYqC'>

  • <i id='zRYqC'><tr id='zRYqC'><dt id='zRYqC'><q id='zRYqC'><span id='zRYqC'><b id='zRYqC'><form id='zRYqC'><ins id='zRYqC'></ins><ul id='zRYqC'></ul><sub id='zRYqC'></sub></form><legend id='zRYqC'></legend><bdo id='zRYqC'><pre id='zRYqC'><center id='zRYqC'></center></pre></bdo></b><th id='zRYqC'></th></span></q></dt></tr></i><div class="tpdrz5l" id='zRYqC'><tfoot id='zRYqC'></tfoot><dl id='zRYqC'><fieldset id='zRYqC'></fieldset></dl></div>

  • <tfoot id='zRYqC'></tfoot>

      <bdo id='zRYqC'></bdo><ul id='zRYqC'></ul>
  • <legend id='zRYqC'><style id='zRYqC'><dir id='zRYqC'><q id='zRYqC'></q></dir></style></legend>

      1. SQLITE_ERROR:通過 JDBC 從 Spark 連接到 SQLite 數(shù)據(jù)庫時(shí)

        SQLITE_ERROR: Connection is closed when connecting from Spark via JDBC to SQLite database(SQLITE_ERROR:通過 JDBC 從 Spark 連接到 SQLite 數(shù)據(jù)庫時(shí),連接已關(guān)閉)

            <tbody id='4G5zC'></tbody>
          <i id='4G5zC'><tr id='4G5zC'><dt id='4G5zC'><q id='4G5zC'><span id='4G5zC'><b id='4G5zC'><form id='4G5zC'><ins id='4G5zC'></ins><ul id='4G5zC'></ul><sub id='4G5zC'></sub></form><legend id='4G5zC'></legend><bdo id='4G5zC'><pre id='4G5zC'><center id='4G5zC'></center></pre></bdo></b><th id='4G5zC'></th></span></q></dt></tr></i><div class="l7tp5fr" id='4G5zC'><tfoot id='4G5zC'></tfoot><dl id='4G5zC'><fieldset id='4G5zC'></fieldset></dl></div>

            <bdo id='4G5zC'></bdo><ul id='4G5zC'></ul>
            <legend id='4G5zC'><style id='4G5zC'><dir id='4G5zC'><q id='4G5zC'></q></dir></style></legend>

            <small id='4G5zC'></small><noframes id='4G5zC'>

                <tfoot id='4G5zC'></tfoot>

                  本文介紹了SQLITE_ERROR:通過 JDBC 從 Spark 連接到 SQLite 數(shù)據(jù)庫時(shí),連接已關(guān)閉的處理方法,對大家解決問題具有一定的參考價(jià)值,需要的朋友們下面隨著小編來一起學(xué)習(xí)吧!

                  問題描述

                  我正在使用 Apache Spark 1.5.1 并嘗試連接到名為 clinton.db 的本地 SQLite 數(shù)據(jù)庫.從數(shù)據(jù)庫表創(chuàng)建數(shù)據(jù)框工作正常,但是當(dāng)我對創(chuàng)建的對象執(zhí)行某些操作時(shí),我收到以下錯(cuò)誤消息,其中顯示SQL 錯(cuò)誤或丟失的數(shù)據(jù)庫(連接已關(guān)閉)".有趣的是,我還是得到了手術(shù)的結(jié)果.知道我可以做些什么來解決問題,即避免錯(cuò)誤嗎?

                  I am using Apache Spark 1.5.1 and trying to connect to a local SQLite database named clinton.db. Creating a data frame from a table of the database works fine but when I do some operations on the created object, I get the error below which says "SQL error or missing database (Connection is closed)". Funny thing is that I get the result of the operation nevertheless. Any idea what I can do to solve the problem, i.e., avoid the error?

                  spark-shell 的啟動(dòng)命令:

                  Start command for spark-shell:

                  ../spark/bin/spark-shell --master local[8] --jars ../libraries/sqlite-jdbc-3.8.11.1.jar --classpath ../libraries/sqlite-jdbc-3.8.11.1.jar
                  

                  從數(shù)據(jù)庫中讀取:

                  val emails = sqlContext.read.format("jdbc").options(Map("url" -> "jdbc:sqlite:../data/clinton.sqlite", "dbtable" -> "Emails")).load()
                  

                  簡單計(jì)數(shù)(失敗):

                  emails.count
                  

                  錯(cuò)誤:

                  15/09/30 09:06:39 WARN JDBCRDD:異常結(jié)束語句java.sql.SQLException: [SQLITE_ERROR] SQL 錯(cuò)誤或缺少數(shù)據(jù)庫(連接已關(guān)閉)在 org.sqlite.core.DB.newSQLException(DB.java:890)在 org.sqlite.core.CoreStatement.internalClose(CoreStatement.java:109)在 org.sqlite.jdbc3.JDBC3Statement.close(JDBC3Statement.java:35)在 org.apache.spark.sql.execution.datasources.jdbc.JDBCRDD$$anon$1.org$apache$spark$sql$execution$datasources$jdbc$JDBCRDD$$anon$$close(JDBCRDD.scala:454)在 org.apache.spark.sql.execution.datasources.jdbc.JDBCRDD$$anon$1$$anonfun$8.apply(JDBCRDD.scala:358)在 org.apache.spark.sql.execution.datasources.jdbc.JDBCRDD$$anon$1$$anonfun$8.apply(JDBCRDD.scala:358)在 org.apache.spark.TaskContextImpl$$anon$1.onTaskCompletion(TaskContextImpl.scala:60)在 org.apache.spark.TaskContextImpl$$anonfun$markTaskCompleted$1.apply(TaskContextImpl.scala:79)在 org.apache.spark.TaskContextImpl$$anonfun$markTaskCompleted$1.apply(TaskContextImpl.scala:77)在 scala.collection.mutable.ResizableArray$class.foreach(ResizableArray.scala:59)在 scala.collection.mutable.ArrayBuffer.foreach(ArrayBuffer.scala:47)在 org.apache.spark.TaskContextImpl.markTaskCompleted(TaskContextImpl.scala:77)在 org.apache.spark.scheduler.Task.run(Task.scala:90)在 org.apache.spark.executor.Executor$TaskRunner.run(Executor.scala:214)在 java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142)在 java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617)在 java.lang.Thread.run(Thread.java:745)res1:長 = 7945

                  推薦答案

                  我遇到了同樣的錯(cuò)誤 今天,并且重要的一行就在異常之前:

                  I got the same error today, and the important line is just before the exception:

                  15/11/30 12:13:02 INFO jdbc.JDBCRDD:關(guān)閉連接

                  15/11/30 12:13:02 INFO jdbc.JDBCRDD: closed connection

                  15/11/30 12:13:02 WARN jdbc.JDBCRDD:異常結(jié)束語句java.sql.SQLException: [SQLITE_ERROR] SQL 錯(cuò)誤或缺少數(shù)據(jù)庫(連接已關(guān)閉)在 org.sqlite.core.DB.newSQLException(DB.java:890)在 org.sqlite.core.CoreStatement.internalClose(CoreStatement.java:109)在 org.sqlite.jdbc3.JDBC3Statement.close(JDBC3Statement.java:35)在 org.apache.spark.sql.execution.datasources.jdbc.JDBCRDD$$anon$1.org$apache$spark$sql$execution$datasources$jdbc$JDBCRDD$$anon$$close(JDBCRDD.scala:454)

                  15/11/30 12:13:02 WARN jdbc.JDBCRDD: Exception closing statement java.sql.SQLException: [SQLITE_ERROR] SQL error or missing database (Connection is closed) at org.sqlite.core.DB.newSQLException(DB.java:890) at org.sqlite.core.CoreStatement.internalClose(CoreStatement.java:109) at org.sqlite.jdbc3.JDBC3Statement.close(JDBC3Statement.java:35) at org.apache.spark.sql.execution.datasources.jdbc.JDBCRDD$$anon$1.org$apache$spark$sql$execution$datasources$jdbc$JDBCRDD$$anon$$close(JDBCRDD.scala:454)

                  所以Spark成功關(guān)閉JDBC連接,然后關(guān)閉JDBC語句

                  So Spark succeeded to close the JDBC connection, and then it fails to close the JDBC statement

                  看源碼,close()被調(diào)用了兩次:

                  第 358 行(org.apache.spark.sql.execution.datasources.jdbc.JDBCRDD,Spark 1.5.1)

                  Line 358 (org.apache.spark.sql.execution.datasources.jdbc.JDBCRDD, Spark 1.5.1)

                  context.addTaskCompletionListener{ context => close() }
                  

                  第 469 行

                  override def hasNext: Boolean = {
                    if (!finished) {
                      if (!gotNext) {
                        nextValue = getNext()
                        if (finished) {
                          close()
                        }
                        gotNext = true
                      }
                    }
                    !finished
                  }
                  

                  如果您查看 close() 方法(第 443 行)

                  If you look at the close() method (line 443)

                  def close() {
                    if (closed) return
                  

                  您可以看到它檢查了變量 closed,但該值從未設(shè)置為 true.

                  you can see that it checks the variable closed, but that value is never set to true.

                  如果我沒看錯(cuò)的話,這個(gè)bug還在master里面.我已提交錯(cuò)誤報(bào)告.

                  If I see it correctly, this bug is still in the master. I have filed a bug report.

                  • 來源:JDBCRDD.scala(行號略有不同)
                  • Source: JDBCRDD.scala (lines numbers differ slightly)

                  這篇關(guān)于SQLITE_ERROR:通過 JDBC 從 Spark 連接到 SQLite 數(shù)據(jù)庫時(shí),連接已關(guān)閉的文章就介紹到這了,希望我們推薦的答案對大家有所幫助,也希望大家多多支持html5模板網(wǎng)!

                  【網(wǎng)站聲明】本站部分內(nèi)容來源于互聯(lián)網(wǎng),旨在幫助大家更快的解決問題,如果有圖片或者內(nèi)容侵犯了您的權(quán)益,請聯(lián)系我們刪除處理,感謝您的支持!

                  相關(guān)文檔推薦

                  How to use windowing functions efficiently to decide next N number of rows based on N number of previous values(如何有效地使用窗口函數(shù)根據(jù) N 個(gè)先前值來決定接下來的 N 個(gè)行)
                  reuse the result of a select expression in the quot;GROUP BYquot; clause?(在“GROUP BY中重用選擇表達(dá)式的結(jié)果;條款?)
                  Does ignore option of Pyspark DataFrameWriter jdbc function ignore entire transaction or just offending rows?(Pyspark DataFrameWriter jdbc 函數(shù)的 ignore 選項(xiàng)是忽略整個(gè)事務(wù)還是只是有問題的行?) - IT屋-程序員軟件開發(fā)技
                  pyspark mysql jdbc load An error occurred while calling o23.load No suitable driver(pyspark mysql jdbc load 調(diào)用 o23.load 時(shí)發(fā)生錯(cuò)誤 沒有合適的驅(qū)動(dòng)程序)
                  How to integrate Apache Spark with MySQL for reading database tables as a spark dataframe?(如何將 Apache Spark 與 MySQL 集成以將數(shù)據(jù)庫表作為 Spark 數(shù)據(jù)幀讀取?)
                  In Apache Spark 2.0.0, is it possible to fetch a query from an external database (rather than grab the whole table)?(在 Apache Spark 2.0.0 中,是否可以從外部數(shù)據(jù)庫獲取查詢(而不是獲取整個(gè)表)?) - IT屋-程序員軟件開
                    <legend id='OfZ5w'><style id='OfZ5w'><dir id='OfZ5w'><q id='OfZ5w'></q></dir></style></legend>

                          <tfoot id='OfZ5w'></tfoot>
                          • <bdo id='OfZ5w'></bdo><ul id='OfZ5w'></ul>
                          • <i id='OfZ5w'><tr id='OfZ5w'><dt id='OfZ5w'><q id='OfZ5w'><span id='OfZ5w'><b id='OfZ5w'><form id='OfZ5w'><ins id='OfZ5w'></ins><ul id='OfZ5w'></ul><sub id='OfZ5w'></sub></form><legend id='OfZ5w'></legend><bdo id='OfZ5w'><pre id='OfZ5w'><center id='OfZ5w'></center></pre></bdo></b><th id='OfZ5w'></th></span></q></dt></tr></i><div class="7zf5rvp" id='OfZ5w'><tfoot id='OfZ5w'></tfoot><dl id='OfZ5w'><fieldset id='OfZ5w'></fieldset></dl></div>

                            <small id='OfZ5w'></small><noframes id='OfZ5w'>

                              <tbody id='OfZ5w'></tbody>

                            主站蜘蛛池模板: MES系统-WMS系统-MES定制开发-制造执行MES解决方案-罗浮云计算 | GEDORE扭力螺丝刀-GORDON防静电刷-CHEMTRONICS吸锡线-上海卓君电子有限公司 | 大米加工设备|大米加工机械|碾米成套设备|大米加工成套设备-河南成立粮油机械有限公司 | 硅胶布|电磁炉垫片|特氟龙胶带-江苏浩天复合材料有限公司 | 国产液相色谱仪-超高效液相色谱仪厂家-上海伍丰科学仪器有限公司 | 铸钢件厂家-铸钢齿轮-减速机厂家-淄博凯振机械有限公司 | 防爆电机生产厂家,YBK3电动机,YBX3系列防爆电机,YBX4节防爆电机--河南省南洋防爆电机有限公司 | 万烁建筑设计院-建筑设计公司加盟,设计院加盟分公司,市政设计加盟 | 深圳公司注册-工商注册代理-注册公司流程和费用_护航财税 | 拖链电缆_柔性电缆_伺服电缆_坦克链电缆-深圳市顺电工业电缆有限公司 | 自动记录数据电子台秤,记忆储存重量电子桌称,设定时间记录电子秤-昆山巨天 | 百度爱采购运营研究社社群-店铺托管-爱采购代运营-良言多米网络公司 | 板式换网器_柱式换网器_自动换网器-郑州海科熔体泵有限公司 | 进口消泡剂-道康宁消泡剂-陶氏消泡剂-大洋消泡剂 | 武汉宣传片制作-视频拍摄-企业宣传片公司-武汉红年影视 | 大米加工设备|大米加工机械|碾米成套设备|大米加工成套设备-河南成立粮油机械有限公司 | 转子泵_凸轮泵_凸轮转子泵厂家-青岛罗德通用机械设备有限公司 | 蓝米云-专注于高性价比香港/美国VPS云服务器及海外公益型免费虚拟主机 | 啤酒设备-小型啤酒设备-啤酒厂设备-济南中酿机械设备有限公司 | atcc网站,sigma试剂价格,肿瘤细胞现货,人结肠癌细胞株购买-南京科佰生物 | 四川职高信息网-初高中、大专、职业技术学校招生信息网 | 回转炉,外热式回转窑,回转窑炉-淄博圣元窑炉工程有限公司 | 撕碎机,撕破机,双轴破碎机-大件垃圾破碎机厂家 | 黑田精工电磁阀-CAMMOZI气缸-ROSS电磁-上海茂硕机械设备有限公司 | 电子海图系统-电梯检验系统-智慧供热系统开发-商品房预售资金监管系统 | 贝朗斯动力商城(BRCPOWER.COM) - 买叉车蓄电池上贝朗斯商城,价格更超值,品质有保障! | 北京印刷厂_北京印刷_北京印刷公司_北京印刷厂家_北京东爵盛世印刷有限公司 | 物联网卡_物联网卡购买平台_移动物联网卡办理_移动联通电信流量卡通信模组采购平台? | 广东恩亿梯电源有限公司【官网】_UPS不间断电源|EPS应急电源|模块化机房|电动汽车充电桩_UPS电源厂家(恩亿梯UPS电源,UPS不间断电源,不间断电源UPS) | 杭州厂房降温,车间降温设备,车间通风降温,厂房降温方案,杭州嘉友实业爽风品牌 | COD分析仪|氨氮分析仪|总磷分析仪|总氮分析仪-圣湖Greatlake | 一航网络-软件测评官网 | 爱佩恒温恒湿测试箱|高低温实验箱|高低温冲击试验箱|冷热冲击试验箱-您身边的模拟环境试验设备技术专家-合作热线:400-6727-800-广东爱佩试验设备有限公司 | 悬浮拼装地板_幼儿园_篮球场_悬浮拼接地板-山东悬浮拼装地板厂家 | 安徽千住锡膏_安徽阿尔法锡膏锡条_安徽唯特偶锡膏_卡夫特胶水-芜湖荣亮电子科技有限公司 | 西装定制/做厂家/公司_西装订做/制价格/费用-北京圣达信西装 | 丝印油墨_水性油墨_环保油墨油漆厂家_37国际化工 | 便携式高压氧舱-微压氧舱-核生化洗消系统-公众洗消站-洗消帐篷-北京利盟救援 | 广东恩亿梯电源有限公司【官网】_UPS不间断电源|EPS应急电源|模块化机房|电动汽车充电桩_UPS电源厂家(恩亿梯UPS电源,UPS不间断电源,不间断电源UPS) | 翅片管散热器价格_钢制暖气片报价_钢制板式散热器厂家「河北冀春暖气片有限公司」 | 自清洗过滤器,浅层砂过滤器,叠片过滤器厂家-新乡市宇清净化 |